Report Builder 3.0 vs. BIDS / Data Tools Report Projects

Report Builder 3.0 gegen BIDS / Data Tools Report Projects

(DE)

Dieser Artikel dient einfach als Referenz für die hin und wieder aufkommende Frage, wenn ich zeige, wie schnell man einen einzelnen Bericht mit Report Builder/Generator alleine alleine entwickeln kann: Warum sollte ich Business Intelligence Development Studio (BIDS), bzw. die SQL Server Data Tools dem Report Builder vorziehen?

Beide Werkzeuge haben Vor- und Nachteile, die man beachten muss. Vor allem hängt die Entscheidung stark an von der Zielgruppe/Anwendertypus ab.

Das Thema habe ich erstmalig in meinem Vortrag “Report Builder - What's in it for You“ auf dem PASS Summit in Seattle/USA 2010 präsentiert. (Tatsächlich wurde diese session in die Top Top 5 sessions in der Kategorie "BI Information Delivery" votiert :-) ) Da ich erst kürzlich wieder über das Thema zu sprechen kam, erinnerte ich mich an diese Folie und entschied, sie einfach mal als Referenz für alle online zu stellen.

Hier der (komplette) Feature-Vergleich, der sich nur auf die Unterschiede konzentriert -  abgesehen von optischen und Workflow –Eigenschaften (gültig für SQL Server 2008 R2 – SQL 2012): 

(EN)

This article just serves as a reference to the question that arises occasionally, when showing how fast one can develop a single report using Report Builder alone: Why should I prefer Business Intelligence Development Studio (BIDS), respectively SQL Server Data Tools over the Report Builder?

Both tools have pro’s and con’s to consider. Above all, the decision depends much on the audience/type of user being served.

I first presented this topic in my session “Report Builder - What's in it for You“ at PASS Summit in Seattle/USA 2010 (In fact this session was voted into the Top 5 sessions in category "BI Information Delivery" :-) ) Since I have been talking about this topic recently, I remembered this slide and decided I should just put it online as a reference for all.

Here you have the (complete) feature comparison, focussing on only the differences – aside from visual and workflow-differences (valid for SQL Server 2008 R2 – SQL 2012):

- English version on bottom -

happy report developing

Andreas

Extreme Transactional Processing mit XTP in SQL Server 2014 - liegt die Zukunft in InMemory? – Auf der TechNet Conference 2013

Vom 12. – 13. November findet in Berlin die TechNet Conference statt. Veranstalter ist Microsoft bzw. TechNet Deutschland.

 TechNet_Conference2013

In knapp 40 Sessions in den drei Tracks „Microsoft Cloud OS“, „New Era“ und „Modern Workstyle“ geben nationale und internationale Experten in tieftechnischen Vorträgen (Level 300 und höher) einen detaillierten Einblick in unter anderem Windows Server 2012 R2, System Center 2012 R2, Windows 8.1, Windows Intune, SQL Server 2014, Office 2013, Office 365 oder Windows Azure.

Als Sprecher werden nationale und internationale Microsoft-Experten sowie führende Köpfe aus der Community vor Ort sein. So sind unter anderem Bernhard Frank, Aiden Finn, Carsten Rachfahl, Heike Ritter, die Security-Expertin Paula Januszkiewcz und meine Wenigkeit mit Vorträgen vertreten.

Darüber hinaus können Teilnehmer in zwei IT Camps zu „Windows 8.1 Enterprise“ und „Cloud OS mit Windows Server 2012 R2 und System Center 2012 R2“ noch tiefer eintauchen und das Gelernte unter fachkundiger Anleitung selbst ausprobieren. Außerdem besteht während der Konferenz zusätzlich die Chance, sich direkt bei Partnern vor Ort zu zertifizieren.

In 2 Vorträgen wird dabei auch, meinem Kenntnisstand nach, erstmalig, der SQL Server in der neuen Version 2014 offiziell in Deutschland vorgestellt.

– Das wird noch keine Final Release sein(!), sondern in einer CTP-Version, die zu dem Zeitpunkt verfügbar sein wird. Ich hoffe auf ein Release der CTP2 aus dem PASS Summit in Charlotte/USA, aber das wird sich erst kurzfristig entscheiden.

Die SQL Server Sessions:

  • Big Data mit Microsoft? Wie HDInsight (Hadoop auf Azure), SQL Server 2014 und Excel zusammenspielen

Von Olivia Klose & Georg Urban, beide von Microsoft Deutschland GmbH

Ich habe die Ehre, „Extreme Transactional Processing“ vorstellen zu dürfen :-):

  • SQL Hekaton: Extreme Transactional Processing mit XTP in SQL Server 2014 - liegt die Zukunft in InMemory?

SQL Server 2014 enthält eine neue Datenbank Engine unter dem Namen Extreme Transactional Processing (XTP) - die auf dem Summit 2012 unter dem Codenamen "Hekaton" angekündigt wurde. Wie man am Namen schon erkennen kann, ist XTP für extrem schnelle Verarbeitung von OLTP Abfragen designt. Zusammen mit der auf xVelocity basierenden InMemory Speichertechnologie sind extreme Performancesteigerungen gegenüber traditionellen Systemen möglich. Diese Session bietet einen Einblick in die Architektur, die diese Performance ermöglicht, die notwendigen Voraussetzungen und natürlich eine Live Demo der Leistungssteigerung.

Hier geht es zur Startseite der Konferenz:
http://www.microsoft.de/technetconference

Und hier ist die vollständige Agenda:
www.event-team.com/events/TechNetConference2013/Agenda.aspx

Wer sich schnell für eine Teilnahme entscheidet, kann noch den Early Bird-Tarif nutzen. Die ersten 100 Anmeldungen zahlen nur 149 Euro (zzgl. 19 Prozent MwSt.). Danach kostet die Anmeldung 199 Euro (zzgl. 19 Prozent MwSt.).

 

Die nächste Gelegenheit in Deutschland, nicht nur den SQL Server 2014 zu sehen, sondern sogar „anfassen“ zu können, ist auf dem PASS Camp vom 3.-5. Dezember!
-> www.sqlpasscamp.de


man sieht sich.. ;-)

Andreas Wolter, Sarpedon Quality Lab

Microsoft Certified Master & Architect (MCM & MCA) – The End of Advanced Certification. – And a planned new beginning?

Microsoft Certified Master & Architect (MCM & MCA) – Das Ende der Advanced Certification. – Und ein geplanter Neubeginn?

(de)
"Der MCM ist tot, es lebe der Neue…"

- Es gibt keinen Neuen. (Oder vielleicht doch? – mehr dazu am Ende.)

Heute Morgen, Samstag den 31.8. kurz nach 7, in den USA 10 Uhr Freitagabend vor einem Feiertagswochenende, kam eine Email vom „Advanced Certification Program“ mit dem harmlosen Titel „MCM/MCSM/MCA Program Update“.

Und es handelte sich nicht um die lange erwarteten Neuigkeiten, wann man endlich den MCSM für SQL Server 2012 machen kann. Der entscheidende Satz im Zitat:

(en)
“The MCM is dead, long live the new one…”

 – There is no new one. (Or maybe there is? – I’ll get to that at the end of the blog.)

This morning, Saturday, the 31st of August, shortly after 7 o’clock – corresponding to a Friday evening at 10 o’clock, just before the national holiday weekend, in the US – I received an email from “Advanced Certification Program” with the harmless title “MCM/MCSM/MCA Program Update.”

However, these were not the long anticipated news as to when it was finally possible to do the MCSM for SQL Server 2012. To quote the decisive sentence:

 

 “Microsoft will no longer offer Masters and Architect level training rotations and will be retiring the Masters level certification exams as of October 1, 2013.”

 

Ja, richtig gelesen. In klarem Deutsch: Ab 1. Oktober es wird keine Möglichkeit mehr geben, die Zertifizierung zum Microsoft Certified Solutions Master (MCSM) oder gar Microsoft Certified Architect (MCA) abzuschließen. (Wer die komplette Email lesen möchte, findet sie am Ende des Artikels.) Das Master- /Advanced Certification Programm ist dann beendet.

Update 18.9.13: aufgrund der starken Reaktionen aus der Community, hat Microsoft Learning das Programm doch noch um 3 Monate verlängert: Microsoft Certified (Solutions) Master, MCM/MCSM: Das Rennen geht in die Verlängerung. - Wer wird der letzte MCM SQL Server ;-) ?

Der MCM selber hat kein „Ablaufdatum“ – auch, da man in der Regel die Produktversion dazu nannte. „Gnädigerweise“ darf zusätzlich der Titel MCSM Charter Member weiter geführt werden.

Yes, you read correctly. In other words: As of October 1st, there will no longer be the possibility to pass the certification of the Microsoft Certified Solutions Master (MCSM) or even Microsoft Certified Architect (MCA). (If you would like to read the complete email, please find it at the end of the article.) The Master/Advanced certification program will thus be terminated.

Update 18 Sept. 2013: Due to the strong reactions from the community, Microsoft Learning has extended the program by 3 months:  Microsoft Certified (Solutions) Master, MCM/MCSM: The race is extended. – Who will be the last MCM SQL Server ;-) ?

The MCM itself has no “expiration date” – also due to the fact that one would usually add the product version to the title. “Thanks to grace,” one may continue holding the additional title MCSM Charter Member.

 „As a Microsoft Certified Master, Microsoft Certified Solutions Master, or Microsoft Certified Architect, you have earned one of the highest certifications available through the Microsoft Certification program. Although individuals will no longer be able to earn these certifications, you will continue to hold the credential and you will not be required to recertify your credential in the future.”

Oder, um es Robert Davis, den vorherigen Manager des MCM Programmes bildlich zu zitieren:

Or, to visually quote from Robert Davis, the former MCM program manager:

 

MCM_4_Life_by_Robert_Davis

 

Der martialische Look ist natürlich nicht so ernst zu nehmen ;-)

Als Architekt für Datenbanksysteme und selber MCM für SQL Server 2008 (also der 2. und zugleich letzten Version, für die es diesen Titel gab), kann ich meine Enttäuschung über diese Entscheidung nicht verleugnen. Zumal sie völlig aus der Kalten kam. So wurde erst Mitte August die Anzahl der Test-Center erhöht(!).
Vor genau 3 Monaten habe ich noch mit meinem Blog versucht den MCSM bekannter zu machen. („Umfrage zur Zertifizierung Microsoft Certified Master (MCM) / Solutions Master (MCSM), Trainingsmöglichkeiten und Interview“), und nun darf ich das Ende mitteilen. Da könnte man schon leicht frustriert sein...

Of course, the martial look is not to be taken so seriously ;-)

Being a database system architect and MCM for SQL Server 2008 myself (thus the second and simultaneously last version available for this title), I cannot deny my disappointment in this decision. Also because it came completely out of the blue. In fact, just in mid-August, the number of test centers had been increased (!). And it was exactly 3 months ago that I was trying to make the MCSM more known through my blog (“Survey about the Microsoft Certified Master (MCM) certification, training opportunities and interview”), and now I am supposed to announce the end. I think it is legitimate to be slightly frustrated.

 

Microsoft-Zertifizierungenen heute

Ich war immer der Meinung, und bin es noch, das die bestehenden Zertifizierungen, die Microsoft vergab, aufgrund vielfältiger Gründe, die Spreu nicht vom Weizen trennen konnten. Ursache hierfür ist zum einen die weit verbreitete Methode, sich mittels Brain-Dumps die Prüfungsinhalte vorab genau anzusehen und auswendig zu lernen. Und zum anderen sogenannte „BootCamps“; meist hochpreisige Seminare wo Teilnehmer innerhalb einer Woche genau den Stoff eingetrichtert bekommen, der für eine jeweilige Prüfung notwendig ist. Und innerhalb von 2-3 Wochen hat man dann ein Zertifikat erreicht. Einer der bekanntesten Anbieter dieser Methode ist Firebrand. (Ich habe mich verweigert, meinen MCT + MCM-Titel für diese Trainings zu stellen.)

Jeder, der sich einmal die Beschreibungen zu den Zertifizierungslevels angesehen hat, wird wissen, dass sich unter den empfohlenen Voraussetzungen immer eine Jahreszahl > 1 in der praktischen Erfahrung mit der jeweiligen Technologie befindet. Es ist also per se unseriös, diese Zertifizierungen „mal eben so zu machen“. Daraus ergab sich das geflügelte Wort „MCSE: Microsoft Consultant Searching Experience“ und ähnliche Übersetzungen. Als das entstanden ist, gab es gerade die „Inflation“ an MCSE’s um Windows Server 2000 herum. Nun haben wir das Akronym MCSE wieder mit einer neuen Bedeutung (Microsoft Certified Solutions Expert). Auch wenn die Prüfungen der neuen Generation tatsächlich deutlich schwieriger sind, als noch für die MCITP’s, so ändert das leider nichts an deren Anfälligkeit gegenüber den oben genannten Methoden. Dazu kommen extreme (aber nicht seltene Fälle), wo Prüfungen komplett gefaked oder von anderen durchgeführt werden. Dafür ist die Dunkelziffer naturgemäß sehr hoch. Mit der Materie vertraute, werden diese Dinge jedoch bestätigen können.

All das trägt entsprechend zur Abwertung der Zertifizierungen bei.

 – Die Leidtragenden sind wie immer die, die es ernst nehmen und wirklich praktische Erfahrung sammeln oder sich in echten Deep-Dive Trainings & Workshops weiterbilden, anstelle von „Antworten Pauken“.

 Als Gegenpol zu diesen Breitenangeboten habe ich vor einiger Zeit zum Beispiel begonnen, die SQL Server Master-Classes auszuarbeiten – vorrangig praxisorientierte und weit in die Interna von SQL Server gehenden Trainings -, wie es Sie auf dem offenen deutschen Markt bislang kaum gibt. – Weshalb ich seinerzeit selber auf Angebote zu Master-Level Classes aus und in den USA zurückgriff.

 

Microsoft certifications today

I have always held the opinion, and still do, that due to manifold reasons the existing certifications awarded by Microsoft were not able to separate the wheat from the chaff. This can be accounted, for one, to the widespread method of checking out the exam materials using brain dumps and memorizing them beforehand. And on the other hand, it can be accounted to the so called “Boot Camps”; mostly upscale seminars where study materials required by a particular exam are being drummed into the participants in one week’s time. Within 2-3 weeks, one will have achieved the certificate. One of the best known providers of this method is Firebrand. (I have refused to offer my MCT and MCM title for these trainings.)

Whoever has looked at the descriptions of the certification levels before will know that among the recommended requirements there is always a number of years >1 of practical experience with the respective technology. It is thus inherently frivolous to do these certifications “hands down.” Thus arose the dictum “MCSE: Microsoft Consultant Searching Experience” and similar translations. At the time when it was created, there was just an “inflation” of MCSEs around Windows Server 2000. Now, we have the acronym MCSE with yet another meaning (Microsoft Certified Solutions Expert). Even if the exams of the new generation are in fact significantly more difficult than those for the MCITPs, this will not, I am afraid, change their vulnerability to the methods stated above. Moreover, there are extreme (but not rare) cases in which exams are completely faked or carried out by someone else. The dark figure for these cases is by nature very high. Those familiar with the topic will confirm these issues.

 All of this correspondingly adds to the devaluation of these certifications.

– In the end, it is those who take it seriously and actually gain practical experiences or educate themselves further in real deep-dive trainings and workshops instead of “drilling answers” who suffer from this.

 As an antipole to these common offers, for example, I have started to work out the details of the SQL Server Master classes some time ago. These are trainings primarily based on practice and diving deep into the SQL Server, and are scarcely available on the open German market up to now. – Which is why I myself accessed the offers of Master level classes from and in the USA at the time.

 

MCSE – die neue Top-Level Zertifizierung anstelle des MCSM?

Wo für einen MCITP/MCSE eine Erfahrung von 4-6 Jahren als Mindestmaß angegeben wird, so lag es für den MCM/MCSM eben bei 10 Jahren. Braindumps: Fehlanzeige (Das war übrigens ein Grund auch für die hohen Prüfungskosten.)

Dass die Examen für den MCSE bei weitem nicht an den MCM heranreichen, ist denke ich doch hinreichend bekannt. Dazu habe ich auch in meinem Blog-Artikel vom Juni schon geschrieben.

 Auch wenn ich mit Sorge betrachtet habe, wie das MCM/MCSM-Programm in den letzten Monaten weiter aufgeweicht wurde (verkürzte bis gar keine Wartezeiten für Retakes), ist es dennoch die einzige Microsoft-Zertifizierung, für dessen Prüfung ein echter praktischer Nachweis des Könnens - und eben nicht nur theoretischen Wissens - erbracht werden musste.

Eben weil man praktisches Können nicht zwingend neu „beweisen“ muss, wenn man es einmal hat, gilt der MCM (im Gegensatz zu dem Geplanten MCSM) als eine Nicht-Ablaufende Zertifizierung.

Zwei bis drei Releases von heute an, wird der Titel aber möglicherweise völlig unbekannt sein – wenn er nicht ein „Revival“ erlebt.

MCSE – the new top-level certification instead of the MCSM?

When for a MCITP/MCSE a 4-6 year experience is noted as a minimum, it was 10 years for the MCM/MCSM. Brain dumps: negative report. (By the way, this was another reason for the high exam costs.)

I suppose it is sufficiently known that the exams for the MCSE do not approximate the MCM by far, which I have already written about in my blog article from June.

 Even if I have been observing with concern how the MCM/MCSM program was further softened in the past months (shortened to no waiting time for retakes), it is still the only Microsoft certification for the exam of which a real practical proof of one’s skills – not just theoretical knowledge – had to be performed.

 And just because one does not necessarily need to “re-prove” practical skills once you have acquired it, the MCM is valid as a certification without expiration (contrary to the planned MCSM).

 Two to three releases from today, and the title will possibly be completely unknown – unless it experiences a “revival.”

 

Nach der einzigen öffentlichen Liste, die es gibt, gibt es derzeit 121 Microsoft Certified Master für SQL Server 2008 weltweit, davon 7 in Deutschland, und davon wiederum 5 bei Microsoft oder der Microsoft-Tochter Avanade. Wie viele sich an der Zertifizierung vergeblich versucht haben.. man wird es nie erfahren…

 An dieser Zahl wird sich also vermutlich nichts mehr ändern, auch wenn das offizielle „Beendigungsdatum“ des Programmes am 1. Oktober ist. Aber wer weiß. "Letzte Chance", für alle, die "mit dem Gedanken spielten“.

 Leid tut es mir für alle, die das Zeug und den Ehrgeiz für diese Zertifizierung gehabt hätten. Aber für echtes Know-How und praktische Erfahrung gibt es immer Bedarf. Deswegen sollte man nicht weniger in seine eigenen Fähigkeiten investieren. Ob zertifiziert oder nicht. Vielleicht gehört die Zukunft für Fortgeschrittene Zertifizierungen auch den herstellerunabhängigen Zertifizierungen.(?)

 Genaue Gründe für die Abkündigung sind uns, liebe Leser, übrigens auch nicht mitgeteilt worden, wenn Sie diese hier vermissen. Im Oktober auf dem PASS Summit in Charlotte/USA wird das sicherlich ein heißes Thema unter uns „letzten MCMs“ sein.

 

According to the sole existing public list, there are currently 121 Microsoft Certified Masters for SQL Server 2008 worldwide, 7 of whom in Germany, of whom 5 are at Microsoft or the Microsoft subsidiary Avanade. How many have unavailingly tried themselves at the certification will remain unknown…

 This number is unlikely to change even though the official “termination date” of the program is October 1st. But who knows. “Last chance” for all those who “played with the idea.”

 I am sorry for those who would have had the skills and ambition for this certification. Yet, there will always be demand for true know-how and practical experience. Therefore, one should not invest less in one’s own skills. Whether certified or not. Maybe the future for advanced certifications will also belong to manufacturer-independent certifications. (?)

 Exact reasons for the discontinuation were not announced to us, in case you, dear reader, were missing them here. At the PASS Summit in Charlotte/USA in October 2013, this will doubtless be a hot topic among us, the “last MCMs.”

 

Es gilt, wie immer: Wenn eines konstant ist, dann ist es die Veränderung.

Das Ende des MCM-Programms ist nicht das Ende allen Lernens. Praktisches Wissen & Reputation ist wichtiger als Zertifikate.

In diesem Sinne: viel Erfolg beim Lernen und praktizieren – denn es gibt noch genügend andere Möglichkeiten, den Unterschied zu machen.

 

One thing will always be true: If something is constant, it is change.

 The end of the MCM program is not the end of all learning. Practical knowledge and reputation are more important than certificates.

In this spirit: good luck with the studying and practicing. There are still plenty of other opportunity to make a difference.

 

Update 1.9.: Bei Microsoft Connect wurde ein Feedback-Item gestartet, um den MCM & MCA für SQL Server zu erhalten. Zahlreiche, teilweise wütende, Kommentare zeigen wie aufgebracht die Community wegen dieser Entscheidung ist. Mit mehr als 200 Stimmen am ersten Tag, dürfte das eines der am höchsten votierten Connect Items überhaupt sein.

 

Update Sept. 1: At Microsoft Connect, a feedback item was initiated in order to acquire the MCM & MCA for SQL Server. Numerous, partly enraged, comments show how stirred the community is because of this decision. With more than 200 voices on the first day, this might actually be one of the most voted Connect Item.

 

Update  2.9.: > 460 Stimmen für die Weiterführung des MCM Programms. Innerhalb von 3 Tagen ist es zum Nummer 2 Feedback-Item für SQL Server überhaupt geworden! - Auch ein Zeichen wie stark gerade die SQL Community im Vergleich zu allen anderen Produktgruppen ist. Darauf alleine können wir alle stolz sein. Wie Microsoft das sieht, das muss sich wohl zeigen

 

Update Sept. 2: Less than 460 voices in favor of the continuation of the MCM program. Within 3 days, it has become the No. 2 feedback item for SQL Server! – At the same time, an indication of how strong the SQL community is at the moment compared to all other product groups. We can be proud of this. It remains to be seen how Microsoft regards this.

 

Update 1.10.: Beim Stand von über 750 Stimmen(!) wurde das Connect Item am 6.9. auf Wunsch von Jen Stirrup, die dieses auch geöffnet hatte, geschlossen. Grund waren einige direkte und persönliche Angriffe auf Mitglieder der Community. Das ist sehr bedauerlich, da diese wenigen damit der MCM Community als Ganzes Schaden. Mehr dazu von ihr selber auch hier: www.jenstirrup.com/2013/09/why-i-asked-microsoft-to-close-mcm.html

Ein anonymes Mitglied der Community hat das Item vorab noch mitsamt vieler Kommentare hierhin gespiegelt: bringbackmcm.wordpress.com/

 

Update Oct. 1: At the status of more than 750 (!) voices, the Connect Item was closed on 6 Sept. on the request of Jen Stirrup who had opened the item. This was on account of a couple of direct and personal attacks on community members. This is a shame, as these few ones damage the MCM community as a whole. Read more about it from herself: http://www.jenstirrup.com/2013/09/why-i-asked-microsoft-to-close-mcm.html

An anonymous community member has copied the item including many comments before it was closed: http://bringbackmcm.wordpress.com/

 

Man kann wohl davon ausgehen, dass mit einem solchen Aufschrei keiner der Entscheider gerechnet hat. Es ist ja nicht so, dass man solche Dinge nicht auch mit längerer Vorwarnzeit angehen könnte. Und hier geht es nicht um "IT Profis", sondern um die Vorreiter und Architekten, die Microsofts Technologien implementieren. Viele haben zigtausende Dollar/Euro/Pfund usw. in Ihre Ausbildung und Jahre in die Vorbereitung gesteckt, dieses Level zu erreichen. Denn wer wird gerufen, wenn Probleme unlösbar erscheinen? Ja, richtig, genau jene MCMs und MCA‘s... - Die Konsequenzen aus dem durch diese Vorgehensweise entstandenen Vertrauensverlust sind möglicherweise noch nicht absehbar, und die Zukunft ja leider im Dunklen.

 

One can presume that none of the decision-makers has anticipated this kind of outcry. It is not like one could not go about such issues with a longer advance warning period. In fact, here, it is not about “IT pros,” but it is about the precursors and architects implementing Microsoft’s technologies. Many of them have invested thousands of dollars/Euros/pounds etc. in their education, and put years into the preparation to achieve this level. And guess who they call when problems seem unsolvable? Yes, indeed, exactly those MCMs and MCAs… - The consequences of the loss of confidence born from this course of action are not yet quite foreseeable, and the future is still in the dark.

 

Tim Sneath von Microsoft übernimmt unter den zahlreichen Kommentaren dort ausdrücklich die Verantwortung für diese Entscheidung, erklärt die Hintergründe dazu und deutet auch Überlegungen für die Zukunft an.

Einige Auszüge aus seinem Kommentar:

 

Among the numerous comments, Tim Sneath from Microsoft expressly assumes responsibility for this decision, explains background information and suggests deliberations for the future.

Some excerpts from his comment:

 

 

 

„We simply think we could do much more for the broader community at this level – that we could create something for many more to aspire to. We want it to be an elite community, certainly. But some of the non-technical barriers to entry run the risk of making it elitist for non-technical reasons. Having a program that costs candidates nearly $20,000 creates a non-technical barrier to entry. Having a program that is English-only and only offered in the USA creates a non-technical barrier to entry. Across all products, the Masters program certifies just a couple of hundred people each year, and yet the costs of running this program make it impossible to scale out any further. And many of the certifications currently offered are outdated – for example, SQL Server 2008 - yet we just can't afford to fully update them. “

„That’s why we’re taking a pause from offering this program, and looking to see if there’s a better way to create a pinnacle, WITHOUT losing the technical rigor. We have some plans already, but it’s a little too early to share them at this stage. Over the next couple of months, we'd like to talk to many of you to help us evaluate our certifications and build something that will endure and be sustainable for many years to come.“

“Perhaps you think it is wrong-headed, but I wanted to at least explain some of the rationale. It comes from the desire to further invest in the IT Pro community, rather than the converse. It comes from the desire to align our programs with market demand, and to scale them in such a way that the market demand itself grows. It comes from the desire to be able to offer more benefits, not fewer. And over time I hope we'll be able to demonstrate the positive sides of the changes we are going through as we plan a bright future for our certifications.”

Viele der genannten Gründe sind meiner Meinung nach nachvollziehbar und ich finde darunter auch einige in der Tat wichtige Aspekte, wie z.B. die Sprachbarriere und der mangelnde Bekanntheitsgrad wieder.

Jedoch bin ich mit der Konsequenz, das MCM Programm zu schließen, nicht einverstanden – der geringe Bekanntheitsgrad ist wohlbekannt, aber daran hätte man eben auch arbeiten müssen und können - meine Meinung.

Auch die Aussage, dass gerade einmal 0,08% aller MCSE’s im MCM Programm sind (!), sehe ich nicht als Schwäche, sondern eben genau als Gütesiegel.

 

In my view, many of the listed reasons are comprehensible, and I am actually also seeing some truly important aspects, such as language barriers and a lack of name recognition.

However, I do not agree on the resulting conclusion to close the MCM program. The marginal name recognition is well-known, and in my opinion, one should and could have worked on that.

As for the statement that merely 0.08% of all MCSEs are in the MCM program (!), this is something I do not consider a weakness but in fact a hallmark of quality.

 

Reaktionen der Community & Presse

In diesem Sinne äußert sich auch WindowsITPro: Microsoft Learning kills MCM and MCA accreditations - ebenfalls lesenswert, für wer sich mit der Thematik Zertifizierungen generell auseinandersetzt.

2 Artikel von „The Register“:

Reactions from the community and press

In the same vein, Windows ITPro expresses itself, too: Microsoft Learning kills MCM and MCA accreditations – interesting to read for those dealing with the subject of certifications in general.

2 articles by “The Register”:

 

Weitere Kommentare von MCMs und MVPs:

Further comments from MCMs and MVPs:

 

An dieser Stelle noch 3 Zitate aus der Community, die ich ansonsten unkommentiert lasse, weil sie für sich selbst sprechen:

At this place 3 quotes from community members, which I leave uncommented, since they speak for themselves.

Gail Shaw (MCM, MVP)

As of last night, there are now 0 certifications that one can take that I will immediately respect. MCITP/MCTS/MCSA/MCSE tell me that either a person is interested in learning more, that they were required by their company to take the exams and did the absolute bare minimum memorisation or that they’re a cheat, which it is I have to find in the interview. 

Grant Fritchey

Just read about the death of the MCM. The one and only Microsoft certification I respected is gone. Back to no respect.

Greg Low (MVP)

A first step in making the program more relevant would have been to make use of it within other Microsoft programs. For example, Microsoft Certified Trainers could have been required to have at least taken the knowledge exam. When I suggested that, it was met with howls of “but we’d lose most of the trainers”. While that’s partly true, what does that tell you about the existing trainers?

 

Ich bin gespannt, was die Zukunft bringt, aber auch in Sorge, dass eine Neuauflage in der Art "Master light" geschehen könnte.
Ich hoffe sehr, dass Microsoft Learning Qualität nicht mit Quantität vertauscht, und kurzfristige finanzielle Vorteile nicht über eine auf Langfristigkeit ausgelegte Strategie gewinnen.

 

I am curious about the future, but also worried, that a new edition could be sort of a “Master light”.
I strongly hope, that Microsoft Learning doesn’t interchange quality with quantity, and short-term financial advantages don’t win against a strategy based on long-term considerations.

 

Andreas Wolter

MCSM: Charter Data Platform
MCM SQL Server 2008

 

Jetzt ist der Seltenheitswert dieser Plakette endgültig…

Now this badge is something of a rarity for real…

 MCM_Plakette_AndreasWolter

 

Anbei die (fast) komplette Email vom 30.8.:

Attached the (almost) complete Email from 8/30:

"MCM/MCSM/MCA Program Update"

We are contacting you to let you know we are making a change to the Microsoft Certified Master, Microsoft Certified Solutions Master, and Microsoft Certified Architect certifications. As technology changes so do Microsoft certifications and as such, we are continuing to evolve the Microsoft certification program. Microsoft will no longer offer Masters and Architect level training rotations and will be retiring the Masters level certification exams as of October 1, 2013. The IT industry is changing rapidly and we will continue to evaluate the certification and training needs of the industry to determine if there’s a different certification needed for the pinnacle of our program.

 As a Microsoft Certified Master, Microsoft Certified Solutions Master, or Microsoft Certified Architect, you have earned one of the highest certifications available through the Microsoft Certification program. Although individuals will no longer be able to earn these certifications, you will continue to hold the credential and you will not be required to recertify your credential in the future. You will continue to have access to the logos through the MCP site, and your certifications will continue to show in the appropriate section of your transcript, according to Microsoft technology retirement dates. If you are a Charter Member, you will continue to hold the Charter Member designation on your transcript.

 Also as a Microsoft Certified Master, Microsoft Certified Solutions Master, or Microsoft Certified Architect, you are a member of an exclusive, highly technical community and you’ve told us this community is one of the biggest benefits of your certification. We encourage you to stay connected with your peers through the main community distribution lists. Although we won’t be adding more people to this community, you continue to be a valued member of it. Over time, Microsoft plans to transition the distribution lists to the community, and, with your consent, will include your information so that it can continue to be a valuable resource for your ongoing technical discussions.

 Within the coming weeks, you will receive invitations to an updated community site. This community site will require you to sign in with a Microsoft Account and will replace the need for a Microsoft Partner account as is required today. From this site, you will be able to manage service requests for the Masters and Architects communities – such as ordering welcome kits and managing your contact information for the distribution lists and directory - and accessing training rotation and other community content (if applicable).

 ...

We thank you for your commitment to Microsoft technologies.

 ...

PreCon Performance Analysis & Tuning Techniques at SQLSaturday in Istanbul

PreCon Performance Analyse & Tuning Techniken auf dem SQLSaturday in Istanbul

(DE)

Was für ein Jahr: nachdem ich bereits  3 SQLSaturdays (Dänemark, Niederlande, Deutschland) hinter mir habe, werde ich nun auch auf dem SQSaturday #258 (5. Okt.) in Istanbul sprechen.
Und nach meiner ersten PreCon dieses Jahr auf dem SQLSaturday in Deutschland, die ich zusammen mit Mladen Prajdić, zum Part “XEvents” gegeben habe, werde ich dieses mal einen ganzen Tag PreCon (4. Okt.) zum Thema “Performance Analyse & Tuning Techniken” geben!

(EN)

What a year: after already 3 SQLSaturdays (Denmark, Netherlands, Germany) behind me, I will now also speak at SQSaturday #258 (Oct. 5th) in Istanbul, Turkey.
And after my first PreCon this year at the SQLSaturday in Germany, which I was co-presenting together with Mladen Prajdić, on the part “XEvents”, I will now be giving a full day PreCon (Oct. 4th) on “Performance Analysis & Tuning Techniques”!

SQLSaturday258_Istanbul_Speaking

Ich freue mich wirklich sehr über das Thema und zugleich auch über den Austragungsort.
Istanbul ist für Geschichts- & Fotografie Enthusiasten wie mich ein absolutes Muss. (Meine Facebook Wand erwartet wieder tolle Bilder :)

Zurück zum Technischen: Hier ist die Vortrags-Beschreibung & Agenda:

Sei bereit für einen vollen Tag Abtauchen in SQL Server Performance Analyse.
Diese Session konzentriert sich auf Werkzeuge und Techniken und wie man häufige Probleme löst.
Wir starten auf Betriebssystem-Ebene mit PerfMon, und steigen dann weiter ein in SQL Server Wait Stats Analyse für Flaschenhalsanalyse. Wir verwenden verschiedene Werkzeuge wie SQL Trace & Profiler und den Nachfolger: Extended Events für detaillierte Analyse und sehen auch, welche anderen Tools von Codeplex zur Verfügung stehen.
Wir untersuchen den Plan Cache und Indexierung mithilfe von DMVs und steigen schließlich auch in Sperren und Parallelitätsprobleme ein.
Macht Euch auf viele Demos und einen Deep Dive in Kern-Konzepte von SQL Server gefasst.“

I am really excited about the topic and location at the same time. Istanbul is a must-see city for history- & photography enthusiasts like me. (My Facebook wall is awaiting great images :)

Back to the technical stuff. Here is the session description & agenda:

“Be ready for a full day of diving into SQL Server Performance Analysis.
This session is focussed on tools and techniques and how to resolve common problems.
We will start on Operating System level using Perfmon and advance into SQL Server Wait Stats analysis for identifying bottlenecks. We will use different tools like SQL Trace & Profiler and the successor: Extended Events for detailed analysis and see what other tools are available from codeplex. We will examine the Plan cache and Indexing using DMVs and finally get into locking & concurrency problems.
Expect lots of demos and a deep dive into core concepts of SQL Server.”

Enthaltene Themen:

  • Performance Monitor für Server-Ebenen Performance Analyse
  • Wait-Stats Methodik
  • SQL Trace & Profiler bis Extended Events für Arbeitslast & Abfrage-Analyse
  • Tempdb Performance Optimimierung
  • Plan-Cache Analyse
  • Index & Statistiken, Analyse & Tuning
  • Sperren & Blockade Analyse / Parallelitätsprobleme

 

Included Topics:

  • Performance Monitor for Server-Level Performance Analysis
  • Wait-Stats Methology
  • SQL Trace & Profiler to Extended Events for Workload & Query-Analysis
  • Tempdb Performance Optimization
  • Plan-Cache Analysis
  • Index & Statistics, Analysis & Tuning
  • Locking & Blocking Analysis / Concurrency problems

And hier ist der Link zur PreCon (4. Okt.) Registrierung: www.eventbrite.com/event/7619115981

Wer ein Wochenende in einer historischen Stadt voller Sehenswürdigkeiten mit deep-dive SQL Server Themen kombinieren möchte, ist gern willkommen :-)

And here is the link to the PreCon (4th of Oct.) registration:
www.eventbrite.com/event/7619115981

If you want to combine a week-end in a city of history and beauty, with some deep-dive SQL Server topics, come and join us :-)

Neben der PreCon werde ich auch einen Vortrag am Samstag (5. Okt) halten.

Thema: Sicherheit

Titel: "SQL Attack…ed” – SQL Server under attack."

Und auch zwei weitere Kollegen von der PASS Deutschland e.V. werden dabei sein: Tillmann Eitelberg und Oliver Engels.

Besides the PreCon I will also hold a presentation on Saturday (5th of Oct.).

Topic: Security

Title: "SQL Attack…ed” – SQL Server under attack."

And also two other colleagues from the German PASS will be there: Tillmann Eitelberg and Oliver Engels.

 See you in Istanbul.

 Andreas

Performance overhead of tracing with Extended Event targets vs SQL Trace under CPU Load

Leistungseinbußen beim Tracing, Extended Event Ziele gegen SQL Trace unter CPU Last

(DE)

Inspiriert durch den Blog Post Post “Measuring Observer Overhead of SQL Trace vs. Extended Events” von Jonathan Kehayias, war ich neugierig, ein paar weitere Benchmarks durchzuführen. Die Resultate habe ich bereits in meinen SQL Server Master-Class Workshops zu XEvents und auf der PreCon des SQLSaturday #230 präsentiert. Nun teile ich sie endlich hier.

Vor allem folgende Aspekte interessierten mich:

  • Was ist der Performance-overhead einer Extended Event Session selber – ohne die Verarbeitung und des Dispatchens zu den Targets
  • Wie verhält sich das im Vergleich zu SQL Trace – auch das ohne Overhead für ein Ziel (Keine Datei, kein Profiler: gar kein Konsument)

Da ich einmal das Setup bereit hatte, habe ich mich entschieden, alle anderen Ziele ebenfalls aufzunehmen, sowie einige grundlegende Options-Variationen, um einen kompletten Überblick zu erhalten, der in sich vergleichbar ist.

(EN)

Inspired by the Blog Post “Measuring Observer Overhead of SQL Trace vs. Extended Events” by Jonathan Kehayias, I was curious to do some more benchmarking.
I have already presented the results in my SQL Server Master-Class workshops on XEvents as well as at the PreCon of the SQLSaturday #230. Now I am finally sharing them with you here.

I was interested in the following aspects, in particular:

  • What is the Performance-overhead of an Extended Event Session itself – not including the processing/dispatching for the target
  • How does this compare to the old-school SQL Trace – again with no Target overhead (No File, no Profiler: no consumer at all)

Besides that, once I had the setup ready, I decided to include all the other targets and some basic option-variations, to have a complete overview that is comparable in itself.

Ich entschied mich für ein System, das bereits unter CPU Druck stehtdie CPU Verwendung liegt fast vollständig bei 100%.
Unter diesen Umständen hoffte ich die maximalen Auswirkungen von Extended Events („Erweiterte Ereignisse“) als auch SQL Trace (Zur Erinnerung: SQL Profiler basiert auf SQL Trace) zu erhalten. Man könnte meinen, dass eine E/A(I/O)-lastige Arbeitslast noch mehr beeinflusst werden würde, aber das hängt an den Targets für Extended Events. – 4 davon gehen lediglich in den Arbeitsspeicher, gegenüber einem File-Target (welches man ohnehin auf ein Nicht-Daten-Volume legen sollte). Und da ich auch den reinen Overhead der Trace-Technologien (ohne Ziel) messen möchte, macht das noch mehr Sinn. Abgesehen davon kann I/O in der Regel meist recht einfach getuned werden, indem man auf ein ansonsten unverwendetes und schnelles Device schreibt, wohingegen es für CPU nicht so einfach ist, die Kosten unsichtbar zu halten. Das im Hinterkopf zu behalten hilft, die Resultate, die hier präsentiert werden zu evaluieren und sie in den rechten Kontext zu rücken.

I also decided for a test of a system that’s already under CPU pressure - so the Processor Usage is almost constantly hitting 100%.
Under these circumstances I was hoping to get the maximum impact of Extended Events as well as SQL Trace. (Remember: SQL Profiler is based on SQL Trace) One could think that an I/O driven workload would be even more influenced, but that depends on the targets of Extended Events. - 4 of which only go to memory, vs. one file target (which one should put onto a non-data volume anyways). And since I also want to measure the pure overhead of the tracing technologies (without any target), this makes even more sense.
Besides that, I/O usually can be tuned quite easily by writing to an otherwise idle and fast device, whereas for CPU it is not as simple to keep the costs invisible. Keeping this in mind helps to evaluate the results presented here and bringing them into the right context.

 

Test Umgebung

“Einfach aber physikalisch”

1 Windows 2008 R2 Server mit SQL Server 2012 SP1. Keine laufenden Dienste abseits des minimal Notwendigem, um Seiten-Effekte zu verhindern.
Ich habe auch die Default-Trace sowie die system_health_session gestoppt.
Der Distributed Replay-Client wurde für alle Test local ausgeführt, und Ja, das hat Effekt auf den Server, aber das war gleich für alle Tests. Alle Tests wurden 3 Mal wiederholt (einige sogar öfter), um sicherzustellen, dass der Durchschnitt/Median valide ist.
Der Server, wie gesagt, war physikalisch (das kommt praktisch, wenn man Benchmarks mit einer Gesamtzeit von ~50 Stunden durchführt.): 1 Dual Core Intel Xeon mit 8 GB RAM (was bei Weitem genug war), Daten Volumen und Volumen für Trace-Targets auf separate Controllers.

Die Arbeitslast war ein Mix von meist kurzen (Sub-Sekunden) aber auch einigen Abfragen mit mehreren Sekunden Laufzeit, (Ad Hoc und gespeicherte Prozeduren), um eine einigermaßen realistische Decision-Support-System Last zu simulieren – jedoch ohne Datenänderungen.
Die Baseline Workload dauerte 00:24:24 Minuten. Die Statistiken blieben für alle Workload-Zyklen identisch. Die verwendete Datenbank war AdventureWorks2012.

Test Environment

“Simple but physical”

1 Windows 2008 R2 Server with SQL Server 2012 SP1. No running services above the minimum required, to avoid side-effects.
I also shut down the default trace as well as the system_health_session.
The Distributed Replay-client was run locally for all tests, so yes, this has effect on the server, but it was equally for all tests. All tests have been repeated 3 times (some even more) to make sure the average/median is valid.
The server, as I already said, was physical (which comes in handy when you are running benchmarks for a total of ~50 hours): 1 Dual Core Intel Xeon with 8 GB of RAM (which was by far enough), Data Volumes and Volumes for Trace-Targets on separate Controllers.

The workload was a mixture of mostly short (sub-second) but also several queries of several second runtime, (Ad Hoc and stored procedures) to simulate a somehow realistic decision-support-systems’ load – no data changes though.
The baseline workload took 00:24:24 minutes. The statistics stayed the same for all workloads cycles. The database used was AdventureWorks2012.

 

Trace-Konfigurationen

Ich habe mich für eine einfache, aber nicht unübliche Trace entschieden, die typischerweise viele Daten sammelt.
Die Trace sammelt nur 2 Ereignisse:

Trace-Configurations

I decided for a simple but not uncommon trace that typically collects a lot of data. The trace collects only 2 events:

  • Lock acquired
  • Lock released

 

Ausgefiltert: System-Sitzungen und andere Datenbanken als die, die hier unter Last steht.

Gesammelte Daten:

Filtered out: System-sessions and other databases than the one under load here.

CollectedData:

 

  • Lock:Released   BinaryData
  • Lock:Released   DatabaseID
  • Lock:Released   TransactionID
  • Lock:Released   SPID
  • Lock:Released   ObjectID
  • Lock:Released   Mode
  • Lock:Released   BigintData1
  • Lock:Released   IntegerData2
  • Lock:Released   ObjectID2
  • Lock:Released   Type
  • Lock:Released   OwnerID
  • Lock:Released   IsSystem
  • Lock:Acquired   BinaryData
  • Lock:Acquired   DatabaseID
  • Lock:Acquired   TransactionID
  • Lock:Acquired   SPID
  • Lock:Acquired   Duration
  • Lock:Acquired   ObjectID
  • Lock:Acquired   IsSystem
  • Lock:Acquired   Mode
  • Lock:Acquired   BigintData1
  • Lock:Acquired   IntegerData2
  • Lock:Acquired   ObjectID2
  • Lock:Acquired   Type
  • Lock:Acquired   OwnerID

Das gab mir den Vorteil, einen validen Test für alle Extended Event Targets, die bereitgestellt werden, zu haben (lediglich ETW-Tracing wurde ausgelassen) - speziell das Histogramm und die „Ereignispaarbildung“ (Pair-Matching)(Die wenigen Ereignisse von Lock-Escalation störten mich bewusst nicht).

Die folgenden Trace Technologien und -Ziele wurden verwendet:

This gave me the advantage to have a valid test for all Extended Event Targets that are provided (only ETW-Tracing was left out) - specifically histogram and Pair Matching (I did not care about the few occasions of lock escalation on purpose).

The following Trace technologies and -Targets were used:

 

  • XEvent Trace, Target: None
  • XEvent Trace, Target: Ring Buffer
  • XEvent Trace, Target: File
  • XEvent Trace, Target: Counter
  • XEvent Trace, Target: Histogram
    • Here I chose to filter on lock acquired and to bucketize on the lock mode
  • XEvent Trace, Target: Pair Matching
    • Guess, what I matched here ;-)
  • SQL Trace, Target: None (I had to trick a little bit to get this to work, but I made sure, the behavior of this unsupported configuration did not distort the results: It’s just a SQL Trace with no Provider processing, so all events are lost by nature.)
  • SQL Trace, Target: File
  • SQL Profiler, remotely

Für jedes Ziel der Extended Events habe ich 4 Varianten getestet, basierend auf den Sitzungsoptionen:

For each Extended Event Target I tested 4 variations, based on the session options:

  • Single event loss
  • No event loss
  • Multiple event loss
  • Single event loss with causality tracking on

Alle anderen Optionen verwendeten die Standardwerte für diese Tests.

All other options were using the defaults for these tests.

 XEvent_PerfComparison_sessions

Picture: the 24 prepared traces

Die Ergebnisse

Ich habe die Gesamtlaufzeit für die Workload sowie Batches pro Sekunde und CPU Zeit % gemessen.

Und hier ist die vollständige Tabelle mit den Ergebnissen:

The Results

I measured the total time for the workload to take as well as batches per second and CPU time %.

And here is the complete Table of Results:

 

 XEvent_PerfComparison_Runtime_Avg_EvSec

EL = Ereignisverlust. S = Verlust einzelner Ereignisse, N = Kein Ereignisverlust, M = Verlust mehrerer Ereignisse

CT = Kausalitätsverfolgung (Causality Tracking) Ein

EL = Event Loss. S = Single event loss, N = No event loss, M = Multiple event loss

CT = Causality Tracking On

 

Um Zeit und Platz zu sparen, konzentriere ich mich auf die Benchmarks mit den Optionen single event loss und no event loss ohne Causality Tracking. Tatsächlich waren die Kosten von Causality Tracking weniger als 1% für alle Ziele.

Hier ist daher das komprimierte Ergebnis:

For the sake of saving space and time, I will focus on the benchmarks with the options single event loss and no event loss without causality tracking. In fact, the cost of causality tracking was less than 1% for all targets.

So this is the more condensed result:

 

 XEvent_PerfComparison_Runtime_S_N_Avg_EvSec

Was wir demnach sagen können, ist:
(Erinnern wir uns daran: alles läuft unter Hoher CPU Last. Das ist die Grundlage aller Ergebnisse.)

What we can tell from that, is:
(Remember: Everything is running under High CPU Load, so that’s the base of all results.)

  • Eine blanke XEvent Session alleine, ohne Targets, hat bereits einen spürbaren Einfluss von ~15 % Leistungsverlust.
  • Der Aufschlag („Overhead“) der künstlich erzeugten (nicht unterstützten) Version einer blanken SQL Trace, ohne den Aufschlag eines Rowset oder File Providers („Target“), ist nicht allzu weit von dem einer Extended Events Session ohne dem Dispatchen zu einem Target entfernt (~19% gegen ~15%).
  • Der Ringpuffer (Ring Buffer) ist das XE-Target mit dem größten Overhead (~40%). (!)
  • Das Ereignisdateiziel (“File-Target”) hat, wie erwartet, wirklich den geringsten Overhead, aber dieser beläuft sich immer noch auf 25%.
  • Die Unterschiede zwischen den Targets Ereigniszähler („Counter“), Histogramm und Ereignispaarbildung („Pair Matching“) sind irrelevant.
    • Ja, sogar der simple Counter hat einen höheren Overhead als das File Target.
    • Das File Target mit No Event Loss zu konfigurieren, fügt fast den vierfachen Overhead hinzu.
    • Die Unterschiede für die anderen Targets zwischen single, multiple und sogar no event loss ist in diesem Szenario fast negierbar.
    • Verglichen mit Extended Events ist der Overhead durch eine SQL Trace fast schon “brutal”: Er vervierfacht die Gesamtlaufzeit.
    • Und noch mehr: Tracing mit dem SQL Profiler ist in solch einem Szenario schlicht ein Ding der Unmöglichkeit: Ich habe 21 Stunden eingetragen, aber das ist tatsächlich eine Schätzung: Ich beendete diese Test-Zyklen nach rund 3 Stunden (man möge mir verzeihen, aber es ist schlicht Zeitverschwendung...), zählte die beendeten Events und rechnete aus, wie lange es noch gedauert hätte, grob – aber tatsächlich eher optimistisch. Profiler ist, wie ich es immer sage, ein “No-Go” um für längere Zeiträume zu tracen, vor allem, wenn die Performance ohnehin bereits leidet.
 
  • A plain XEvent Session itself, with no Targets, already does have a noticeable impact of ~15 % performance decrease.
  • The overhead of the artificial (not supported) version plain SQL Trace, without the overhead of a rowset or file provider (aka target), is not too far off the Extended Events Session without the dispatching to any target (~19% versus ~15%).
  • The Ring Buffer is the XE-Target with the greatest overhead (~40%). (!)
  • The File-Target really does have the lowest overhead as expected, but it’s still 25%.
  • The differences between the Targets Counter, Histogram and Pair Matching are irrelevant.
    • Yes, even the simple Counter has a higher overhead than the File Target.
    • Configuring the file target with no event loss adds approximately 4 times as much performance overhead.
    • The difference for the other targets between single, multiple and even no event loss is mostly negligible in this scenario.
    • Compared to Extended Events, the overhead through SQL Trace is almost “brutal”: It quadruplicated the total runtime.
    • And there's even more: Tracing with SQL Profiler is absolutely impossible for such a scenario: I filled in 21 hours, but that’s actually an estimate: I stopped those test cycles after around 3 hours (forgive me, but it’s just a waste of time...), counted the finished events and calculated how much else it would have taken, roughly – in an actually rather optimistic manner. Profiler, as I always say, is a “no go” for tracing longer periods of time, especially if performance is already at stake.

Ein schönes Bild der SQL Trace Architektur findet sich in den BOL: msdn.microsoft.com/en-us/library/hh245121.aspx
Die Extended Events Architektur wird hier bildlich gezeigt: msdn.microsoft.com/en-us/library/bb630318%28v=sql.105%29.aspx

You have a nice picture of the SQL Trace Architecture in BOL: msdn.microsoft.com/en-us/library/hh245121.aspx
The Extended Events Architecture is depicted here: msdn.microsoft.com/en-us/library/bb630318%28v=sql.105%29.aspx

 

Hinzufügen von Filtern

Wie ändert das Hinzufügen von Filtern den Beobachter-Overhead?

Es ist wichtig, zu wissen, was ich als Filter verwendet habe: Die database_id / source_database_id.
- Tatsächlich habe ich einen Filter verwendet, der niemals “true” zurückgeben würde, indem ich einen Filter auf database_id = 77 angelegt habe – da keine Sitzung/Abfrage/Sperre je auf dieser nicht-existenten Datenbank lag.
Warum habe ich das gemacht? – Das ist ein rein künstlicher Test/Benchmark. Was mich interessiert, ist der reine Overhead des Tracen, und nicht, was passiert, wenn ein bestimmter Prozentsatz der Aktivität nicht protokolliert wird. (Das könnte vielleicht etwas für einen anderen Benchmark sein. :-))

Adding Filters

How does adding filters change the observer overhead?

Now it is important to note what I actually used as a filter: The database_id / source_database_id.
- I essentially added a filter that would never return “true” by adding a filter on database_id = 77 – since no session/query/lock was on this non-existing database.
Why did I do that? – This is a totally artificial test/benchmark. I am interested what the pure overhead of tracing is, and not what happens if a certain percentage of activity is not logged. (That might be something for a different benchmark. :-))

Dieses Mal konzentriere ich mich nur auf „single“ und „no event loss“.

Die Resultate des gefilterten Tracing, ohne tatsächlich irgendwelche Events zu speichern/protokollieren, ist wie folgt:

This time I only focused on “single” and “no event loss”.

The results of Filtered Tracing, without actually storing/logging any events is as follows:

 

 XEvent_PerfComparison_Runtime_Filtered_Avg

  • Wie man sehen kann, fällt der Overhead der reinen XEvent Session ohne Target von ~ 15% auf 9% bzw. ~ 16,5% gg. 12,5 % (No Event loss)
  • Die anderen Targets zeigen in diesem Setup tatsächlich die größten Unterschiede:
    • Das Counter Target mit single event loss profitiert am Meisten von dem Filter und fällt von ~33,5 auf 8,4 % Overhead.
    • Nur Ring Buffer und Pair Matching zeigen keinen Unterschied zwischen single und no event loss.
    • SQL Trace mit und ohne rowset Provider (Datei) als Target haben fast den gleichen Overhead – keine Überraschung, wenn man die Architektur kennt. Das ist tatsächlich ein weiterer risen Unterschied, der für Extended Events spricht, wo Filters viel früher in der Trace berücksichtigt werden.
    • Das der Overhead von SQL Trace ohne Target und zugleich aller Events herausgefiltert sogar höher ist, als der Overhead ohne Target aber auch ohne Filter (von dem vorhergehenden Test-Zyklus), muss an dem Verarbeiten des Ausfilterns selber liegen. Ich werde mich damit aber nicht weiter befassen, da das Setup weder dokumentiert noch unterstützt ist.
      Und in meinen Augen ist “SQL Trace“ sowieso „tot“ ;-) – Okay, ich übertreibe hier ein wenig, aber ich bin auch ganz offen: Für SQL Server 2012 gibt es fast keinen Grund mehr zu dessen Verwendung. – Benchmarks mithilfe von Distributed Replay durchzuführen, ist so ein Grund – ist das nicht ironisch?

Für diesen Test habe ich SQL Profiler nicht ausgeführt, Pardon. Sie wissen bis hierhin wahrscheinlich schon, warum. ;-)

  • As one can see, the overhead of the pure XEvent session without target drops from ~ 15% to 9% respectively ~ 16.5% vs. 12.5 % (no Event loss)
  • The other targets do in fact show more differences in this setup:
    • The Counter Target with single event loss benefits most of the filter and drops from ~33.5 to 8.4 % overhead.
    • Only Ring Buffer and Pair Matching show no difference between single and no event loss.
    • SQL Trace with and without rowset provider (file) as target have almost the same overhead – no surprise if you know the architecture. This is in fact another huge difference which counts for Extended Events, where filters get honored much sooner within the Trace.
    • That the overhead of SQL Trace without target and at the same time all events being filtered out is actually higher than the overhead without target but no filtering (from the former test cycle) must be caused by the processing of for filtering out. I will not dive more into this though, since this setup is not documented and or supported.
      And in my eyes, “SQL trace is dead” anyways ;-) – okay, I am exaggerating a bit here, but I am also just being frank: For SQL Server 2012 there is almost no need to use it any more. – Running benchmarks using Distributed Replay is such a reason – isn’t that ironic?

I did not run SQL Profiler for this Test, forgive me. You probably know why by now. ;-)

 

Wait-Types für Extended Events

Ein weiterer Aspekt, der mich interessierte, waren die XEvent Wait-Typen, die auftreten würden, wenn man Extended Event Sessions ausführt. (Die Warte-Statistiken sind oft die Basis für Performance-Analysen)

Allgemein sieht man folgende:

Wait-Types for Extended Events

Another aspect I was interested in were the specific XEvent wait-types which would occur when running Extended Event sessions.
(Wait-Statistics are often the base for performance analysis)

In general, you will see the following:

 

Beim Starten einer Sitzung:

When starting a session:

PREEMPTIVE_XE_TARGETINIT
PREEMPTIVE_XE_CALLBACKEXECUTE
PREEMPTIVE_XE_SESSIONCOMMIT

Beim Beenden einer Sitzung:

When stopping a session:

PREEMPTIVE_XE_SESSIONCOMMIT
XE_BUFFERMGR_ALLPROCESSED_EVENT
PREEMPTIVE_XE_CALLBACKEXECUTE

 Während Sessions aktiv sind, sieht man:

While running sessions you will see:

XE_DISPATCHER_WAIT  - From BOL: Occurs when a background thread that is used for Extended Events sessions is waiting for event buffers to process. - You should be able to safely ignore this unless you believe a problem is occurring with processing of events for async targets. Since this works on a queue you can have bursts of high wait times especially when no XEvent sessions are active.

XE_TIMER_EVENT – From BOL: Used to indicate a background task is waiting for "expired" timers for internal Xevent engine work. - You should be able to safely ignore this one. Just used by the Xevent engine for internal processing of its work. If something was possibly wrong with Xevent processing you might see if this thread ever "wakes up"

Beim Starten eines File-Targets sieht man außerdem:

When starting the File target you will also see:

PREEMPTIVE_XE_TARGETINIT

Wenn man eine Sitzung mit der No Event Loss Option ausführt, sieht man gegebenenfalls:

If you run a session with the no event loss option you might see

XE_BUFFERMGR_FREEBUF_EVENT - which by BOL means: An Extended Events session is configured for no event loss, and all buffers in the session are currently full. This can indicate that the buffers for an Extended Events session are too small, or should be partitioned.

 

So. Ich hoffe das war interessant. Man kann noch weitere und andere Schlüsse aus den Ergebnissen ziehen. Immer im Hinterkopf zu behalten, ist, dass das ein sehr spezielles Szenario ist, wo keine CPU Reserven zur Verfügung stehen, so das der Trace/Beobachter-Overhead sich manifestieren muss – keine Chance, als eben (CPU) Ressourcen wegzunehmen.

So, I hope this was interesting for you. You may draw more and other conclusions out of these results. Remember though: this is a very specific scenario with no CPU reserves, so the Tracing/observer overhead has to show up – no choice but to take away (CPU) resources.

 

Happy Tracing

 

Andreas

PS: I just discovered that my MCM and SQLSkills-class buddy Steven Ormrod also has recently blogged about the performance overhead from a SQL Trace to remote file share on production here: stevenormrod.com/2013/06/remote-trace-slowing-down-server/