SQL Server & BI Blog by Andreas Wolter - Category: "Integration Services" https://www.insidesql.org/blogs/andreaswolter/ InsideSQL.org Blogs - Blogs über SQL Server en-EU http://blogs.law.harvard.edu/tech/rss 60 Dieser Blog ist umgezogen // This Blog has moved: http://andreas-wolter.com/blog/ https://www.insidesql.org/blogs/andreaswolter/2017/09/blog-umgezogen-this-blog-moved-andreas-wolter-com Wed, 20 Sep 2017 10:41:00 +0000 Andreas Wolter Seminare SQLPASS Tracing & Monitoring Analysis Services Extended Events Conferences Oracle Security Locking & Blocking SQL Trace & Profiler SQL Server 2014 Indexing Columnstore Index APS/Parallel Data Warehouse Reporting Services Integration Services Miscellaneous Geospatial Certification, MCM & MCSM, MVP In-Memory OLTP / XTP, HTAP Surveys / Umfragen Scripts HADR, AlwaysOn MDW Storage Engine Trivia Azure Performance SQL Server 2016 Patching 3918@https://www.insidesql.org/blogs/ <p><a href="http://andreas-wolter.com/blog/">http://andreas-wolter.com/blog/</a></p> <table> <tbody> <tr> <td width="302"> <p>Liebe Leser<br /> dieser Blog ist hiermit nur noch „Archiv“ und wird nicht mehr weiter gepflegt.<br /> Seit August 2017 finden sich neue Artikel ausschließlich unter der <strong>neuen URL:<br /> <a href="http://andreas-wolter.com/blog/">http://andreas-wolter.com/blog/</a></strong></p> </td> <td width="302"> <p>Dear Readers<br /> this blog is now merely an „archive“ and no longer being updated.<br /> Since August 2017 new articles are exclusively available under the <strong>new URL:<br /> <a href="http://andreas-wolter.com/en/blog/">http://andreas-wolter.com/en/blog/</a></strong></p> </td> </tr> <tr> <td width="302"> <p>Die aufwändige Mehrsprachigkeit (Deutsch und Englisch professionell manuell übersetzt) wird beibehalten – aber Layout-technisch anders gelöst. Damit dürfte ich immer noch den einzigen mehrsprachigen IT-Blog weltweit betreiben.<br /> Ich hoffe, das neue Design gefällt Ihnen.</p> </td> <td width="302"> <p>The complex multilingualism (German and English professionally manually translated) is being continued – but solved differently in terms of layout. With that I most likely still operate the only multilingual IT-Blog worldwide.<br /> I hope you like the new design.</p> </td> </tr> </tbody> </table> <p> </p> <div class="image_block"><a href="http://andreas-wolter.com/blog/"><img class="loadimg" src="http://www.insidesql.org/blogs/media/blogs/andreaswolter/quick-uploads/p3918/170918_website_blog.jpg?mtime=1505903940" alt="" width="800" height="552" /></a></div> <p> </p> <table> <tbody> <tr> <td width="302"> <p>Mein aktueller Artikel, der erstmalig ausschließlich auf der neuen Website zu finden ist, lautet: <strong><a href="http://andreas-wolter.com/optimierung-von-workflows-mit-inmemory-objekten/">Optimieren von Workflows mit In-Memory und nativ kompilierten Objekten - oder wie es nicht funktioniert</a></strong></p> </td> <td width="302"> <p>My currently last article, which is exclusively available at the new website for the first time, is <strong><a href="http://andreas-wolter.com/en/optimizing-workflows/">Optimizing workflows with In-Memory and Natively Compiled Objects - or how it does not work</a></strong></p> </td> </tr> </tbody> </table> <p> </p> <p>Cu at my new Blog</p> <p>Andreas</p> http://andreas-wolter.com/blog/

Liebe Leser
dieser Blog ist hiermit nur noch „Archiv“ und wird nicht mehr weiter gepflegt.
Seit August 2017 finden sich neue Artikel ausschließlich unter der neuen URL:
http://andreas-wolter.com/blog/

Dear Readers
this blog is now merely an „archive“ and no longer being updated.
Since August 2017 new articles are exclusively available under the new URL:
http://andreas-wolter.com/en/blog/

Die aufwändige Mehrsprachigkeit (Deutsch und Englisch professionell manuell übersetzt) wird beibehalten – aber Layout-technisch anders gelöst. Damit dürfte ich immer noch den einzigen mehrsprachigen IT-Blog weltweit betreiben.
Ich hoffe, das neue Design gefällt Ihnen.

The complex multilingualism (German and English professionally manually translated) is being continued – but solved differently in terms of layout. With that I most likely still operate the only multilingual IT-Blog worldwide.
I hope you like the new design.

 

 

Mein aktueller Artikel, der erstmalig ausschließlich auf der neuen Website zu finden ist, lautet: Optimieren von Workflows mit In-Memory und nativ kompilierten Objekten - oder wie es nicht funktioniert

My currently last article, which is exclusively available at the new website for the first time, is Optimizing workflows with In-Memory and Natively Compiled Objects - or how it does not work

 

Cu at my new Blog

Andreas

]]> https://www.insidesql.org/blogs/andreaswolter/2017/09/blog-umgezogen-this-blog-moved-andreas-wolter-com#comments https://www.insidesql.org/blogs/andreaswolter/?tempskin=_rss2&disp=comments&p=3918 Integration Services: Looping & “continue on error” https://www.insidesql.org/blogs/andreaswolter/2010/03/integration-services-looping-continue-on-error Thu, 18 Mar 2010 20:32:00 +0000 Andreas Wolter Integration Services 3559@https://www.insidesql.org/blogs/ <p>Eine häufige Aufgabe bei der Arbeit mit Integration Services Paketen ist es, eine Routine in einer Schleife auszuführen.</p> <p>Nehmen wir den konkreten Fall: ein For Each-Loop zum rekursiven Auslesen von Textdateien aus einer Verzeichnisstruktur und Verschieben an einen Zielort.</p> <p>Wenn die Operation aufgrund von einer geöffneten Datei (z.B. der Log-Writer Prozess) fehlschlägt, schlägt damit der Task “Move file” fehl. Sodann der Container “For Each Loop”, und dann das gesamte Paket. Das ist das Standardverhalten: das Event “Error” wird propagiert.</p> <p>Das sieht in etwa so aus (hier mit einen For Loop):</p> <p><img src="http://www.andreas-wolter.com/blog-images/1003SSIS_EventPropagation_standard.jpg" alt="SSIS_EventPropagation_standard" width="464" height="308" border="0" /></p> <p>Man sieht trotz der versuchten “Fehlerbehandlung” in dem Script-Task “SCR-Fail” schlägt der Container fehl.</p> <p>Das ist in diesem Fall aber nicht unbedingt das gewünschte Ergebnis. <br />Man möchte, das die Operation einfach mit der nächsten Datei fortfährt und eventuell liegengebliebene Dateien in einem späteren Durchlauf einfach holen.</p> <p>Dafür muss man das propagieren des Fehlers auf Container-Ebene unterbinden. Die dafür extra vorhandene Systemvariable “Propagate” ist ausnahmsweise deswegen auch manuell änderbar. Allerdings gibt es diese nur in den Event Handlern.</p> <p>Das heisst für den fehlschlagenen SQL-Task in diesem Beispiel ist ein EventHandler für “OnError” anzulegen. Dort findet man dann die besagte Variable und schaltet sie auf False</p> <p><img src="http://www.andreas-wolter.com/blog-images/1003SSIS_EventPropagation_SystemVariablePropagate.jpg" alt="SSIS_EventPropagation_SystemVariablePropagate" width="551" height="109" border="0" /> </p> <p> </p> <p>Das würde an sich schon genügen, um das Paket einfach weiterlaufen zu lassen.</p> <p>Allerdings ist es in der Regel wünschenswert, im Anschluss eine bedingte Reaktion auf das erfolgreiche oder erfolglose Verschieben der Datei erfolgen zu lassen. In diesem Beispiel ein T-SQL-Schritt bei Erfolg, und der Script-Task “Fail” bei Misserfolg.</p> <p>Da nun kein Fehler mehr propagiert wird, ist ein kleiner Kunstgriff vonnöten: Man definiert sich eine Variable, welche im Fehlerfall einen anderen Wert erhält und liest diese dann bei dem Precedence-Constraint zusätzlich mit aus.</p> <p>Am einfachsten geht das mit dem im Fehlerfall ohnehin vorhandenen ErrorCode – innerhalb des EventHandler natürlich.</p> <p>Dort leitet man den Wert der Systemvariable “ErrorCode” einfach in seine eigens zuvor angelegte User-Variable um:</p> <p><em>Dts.Variables("User::ErrorCode").Value = Dts.Variables("System::ErrorCode").Value</em></p> <p>Im ControlFlow wird dann ein “OnCompletion” – Precedence Constraint verwendet, und zusätzlich die Variable in der Expression "<em>@[User::ErrorCode] != 0</em>" ausgewertet</p> <p>Das gewünschte Ergebnis verhält sich dann so:</p> <p><a href="http://www.vb-magazin.de/forums/blogs/andreaswolter/1003SSIS_EventPropagation_Result_1446EC1E.jpg" target="_blank"><img src="http://www.andreas-wolter.com/blog-images/1003SSIS_EventPropagation_Result.jpg" alt="SSIS_EventPropagation_Result" width="459" height="303" border="0" /></a></p> <p>Der Fehler im Task wird abgehandelt, und die Arbeit wird fortgesetzt.</p> <p> </p> <p>happy coding :)</p> <p> </p> <p>Andreas Wolter</p> <p> </p> <p><a href="http://www.sarpedonqualitylab.com/" target="_blank">Sarpedon Quality Lab</a></p> Eine häufige Aufgabe bei der Arbeit mit Integration Services Paketen ist es, eine Routine in einer Schleife auszuführen.

Nehmen wir den konkreten Fall: ein For Each-Loop zum rekursiven Auslesen von Textdateien aus einer Verzeichnisstruktur und Verschieben an einen Zielort.

Wenn die Operation aufgrund von einer geöffneten Datei (z.B. der Log-Writer Prozess) fehlschlägt, schlägt damit der Task “Move file” fehl. Sodann der Container “For Each Loop”, und dann das gesamte Paket. Das ist das Standardverhalten: das Event “Error” wird propagiert.

Das sieht in etwa so aus (hier mit einen For Loop):

SSIS_EventPropagation_standard

Man sieht trotz der versuchten “Fehlerbehandlung” in dem Script-Task “SCR-Fail” schlägt der Container fehl.

Das ist in diesem Fall aber nicht unbedingt das gewünschte Ergebnis.
Man möchte, das die Operation einfach mit der nächsten Datei fortfährt und eventuell liegengebliebene Dateien in einem späteren Durchlauf einfach holen.

Dafür muss man das propagieren des Fehlers auf Container-Ebene unterbinden. Die dafür extra vorhandene Systemvariable “Propagate” ist ausnahmsweise deswegen auch manuell änderbar. Allerdings gibt es diese nur in den Event Handlern.

Das heisst für den fehlschlagenen SQL-Task in diesem Beispiel ist ein EventHandler für “OnError” anzulegen. Dort findet man dann die besagte Variable und schaltet sie auf False

SSIS_EventPropagation_SystemVariablePropagate 

 

Das würde an sich schon genügen, um das Paket einfach weiterlaufen zu lassen.

Allerdings ist es in der Regel wünschenswert, im Anschluss eine bedingte Reaktion auf das erfolgreiche oder erfolglose Verschieben der Datei erfolgen zu lassen. In diesem Beispiel ein T-SQL-Schritt bei Erfolg, und der Script-Task “Fail” bei Misserfolg.

Da nun kein Fehler mehr propagiert wird, ist ein kleiner Kunstgriff vonnöten: Man definiert sich eine Variable, welche im Fehlerfall einen anderen Wert erhält und liest diese dann bei dem Precedence-Constraint zusätzlich mit aus.

Am einfachsten geht das mit dem im Fehlerfall ohnehin vorhandenen ErrorCode – innerhalb des EventHandler natürlich.

Dort leitet man den Wert der Systemvariable “ErrorCode” einfach in seine eigens zuvor angelegte User-Variable um:

Dts.Variables("User::ErrorCode").Value = Dts.Variables("System::ErrorCode").Value

Im ControlFlow wird dann ein “OnCompletion” – Precedence Constraint verwendet, und zusätzlich die Variable in der Expression "@[User::ErrorCode] != 0" ausgewertet

Das gewünschte Ergebnis verhält sich dann so:

SSIS_EventPropagation_Result

Der Fehler im Task wird abgehandelt, und die Arbeit wird fortgesetzt.

 

happy coding :)

 

Andreas Wolter

 

Sarpedon Quality Lab

]]> https://www.insidesql.org/blogs/andreaswolter/2010/03/integration-services-looping-continue-on-error#comments https://www.insidesql.org/blogs/andreaswolter/?tempskin=_rss2&disp=comments&p=3559