Europäische DSGVO - automatisches Führen der Verarbeitungsdatei - leicht gemacht

English Version at the end of the german part ------------


Sofern Sie den SQL Server 2016 oder größer (ab der kostenfreien Express-Edition !!) als Backend für Ihre Verarbeitungsdatei relevanten Daten einsetzen, so ist das automatische Erstellen und Führen der lt. DSGVO notwendigen Verarbeitungsdatei zwar kein Kinderspiel, aber dennoch vergleichsweise einfach zu handhaben.

Bei den Kunden, bei denen ich gerade DSGVO relevante Daten verarbeite, habe ich überall den SQL Server 2017 Express im Einsatz.

Für alle DSGVO relevantern Tabellen setzte ich jeweils zusätzlich eine sog. Temporal Table ein. Dies vergrößert zwar den notwendigen Speicherplatz, aber das sollte heutzutage kein größeres Problem darstellen. Zudem ist das Fearture insgesamt sehr einfach zu handhaben. Wenn man jetzt noch die zwei zusätzlich benötigten Datumsfelder auf "Hidden" setzt, muss man ggf. nicht mal das bestehende Programm ändern.

https://docs.microsoft.com/de-de/sql/relational-databases/tables/temporal-table-usage-scenarios

Achtung - Gamz kleines "Drawback" für SSMS: im SSMS 2017 ändert sich die rechte Maustaste, wenn eine Tabelle von einer "normalen" in eine "temporal" Tabelle geändert wird.

Ein deutschsprachiger Deep-Dive Vortag von Uwe (Ricken) dazu - in der üblichen Super-Ricken Qualität:
https://channel9.msdn.com/Events/microsoft-techncial-summit/Technical-Summit-2016/SQL-Server-2016-Temporal-Tables

In Youtube findet man mit
https://www.youtube.com/results?search_query=temporal+tables
einige geeignete EInträge, die einem das thema näher bringen.

mfg

Klaus Oberdalhoff

----------- english part ----------

European DSGVO-Automatic execution of the processing file - made easy

If you use the SQL Server 2016 or larger (even the kostfree Express Edition !!) as backend for your processing file relevant data, the automatic creation and management of the DSGVO necessary processing file is not child's play, but still comparatively easy to handle.

For those customers where I'm currently processing DSGVO-related data, I'm using SQL Server 2017 Express everywhere.

For each DSGVO relevant table, I additionally used a so-called Temporal Table. Although this increases the storage space required, it shouldn't matter these days. It is very easy to handle overall. If you now set the mandatory two additionally required date fields to "Hidden", you do not even have to change the existing program.

https://docs.microsoft.com/en-us/sql/relational-databases/tables/temporal-table-usage-scenarios

Attention - Very small drawback for SSMS: in SSMS 2017, the right mouse button changes when a table is changed from a "normal" to a "temporal" table.

A German-speaking Deep-Dive webcast by Uwe (Ricken) in addition - in the usual Super-Ricken quality:
https://channel9.msdn.com/Events/microsoft-techncial-summit/Technical-Summit-2016/SQL-Server-2016-Temporal-Tables

In Youtube one finds with
https://www.youtube.com/results?search_query=temporal+tables
some suitable webcasts that bring you closer to the topic.

Kind regards

Klaus Oberdalhoff

 

Microsoft SQL Server Migration Assistant v7.7 for Access enthält wider separaten Download für X86-er Versionen !!!!

English at the bottom of the German part.

Die neueste Version des SSMA für Access 7.7 enthält - oh Wunder - auch wieder eine eigene X86-er Version zum separaten download

 

Microsoft SQL Server Migration Assistant v7.7 for Access

enthält wieder einen separaten Download für X86-er Versionen !!!!

https://www.microsoft.com/en-us/download/details.aspx?id=54255

 

The newest version 7.7 of SSMA for Access - oh wonder - contains TWO different files for download again. A 64 bit one and a X86 one ...

Microsoft SQL Server Migration Assistant v7.7 for Access

contains seperate download for X86-Versions again !

https://www.microsoft.com/en-us/download/details.aspx?id=54255

 

 

SSMS - "Edit TOP n Rows" - Script dazu anzeig- und editierbar

English at the bottom of the German part.

Obwohl ich schon jahrelang mit dem SSMS (SQL Server Management Studio)- und dort mit der rechten Maustaste - arbeite, war mir nicht klar, dass man sich den dahinterliegenden SQL Script editierbar anzeigen lassen und ändern kann, im Prinzip genau wie das SELECT TOP n. Der Unterschied ist nur, dass beim "SELECT TOP n" automatisch oben der Script und unten das Ergebnis steht. Beim "EDIT TOP n" wird "nur" das Ergebnis angezeigt und ich habe keine Möglichkeit gefunden, die Anzeigen so zu ändern wie beim "SELECT TOP n", dass das Ergebnis genauso geteilt erscheint.

Aber auch hier hilft die rechte Maustaste weiter. "EDIT TOP n" ausführen.  In der angezeigten Tabelle rechte Maustaste "Pane" (Deutsche Version: "Bereich")  öffnet ein weiteres Submenü mit

"Diagram"   - Die zugrundeliegende Tabelle als Bild
"Criteria"     - Die Spalten der Tabelle mit Ankreuz-Option (praktisch, ankreuzen ändert das SQL Statement)
"SQL"           - Das dazugehörige SQL Script
"Results"     - Ein- und Ausblenden der editierbaren Tabelle

Nach dem Ändern des SQL Statements muss man nochmals die rechte Maustaste - Execute SQL - bemühen, da die "Execute" Taste (aus dem Edit Menü) oben in der Menüleiste ausgegraut bleibt.

Auf diese Weise kann man auch mit "EDIT TOP n" das SQL Statement editieren.

Shortcut - "Show SQL" <CTRL> 3  - "Execute SQL" <CTRL> R

Das "Pane" ("Bereich") Menü ist wohl im "SELECT TOP n " Submenü nicht vorhanden.

--------------------------------------

Although I have been working with the SSMS (SQL Server Management Studio) for years - and there with the right mouse button - I did not realize that you can edit the underlying SQL script and change it, in principle just like the "SELECT TOP n" The difference is that the "SELECT TOP n" automatically shows the script at the top and the result at the bottom. When "EDIT TOP n" "only" the result is displayed and I have not found a way to change the outfit as in the "SELECT TOP n", so that the result appears equally visually divided.

But here too the right mouse button helps. After executing "EDIT Top n"  - in the table displayed use right mouse button "Pane" - that opens another submenu with

"Diagram" - The underlying table as image
"Criteria" - The columns of the checkbox option (handy, tick changes the SQL statement)
"SQL" - The associated SQL script
"Results" - hide / show the editable table

After changing the SQL statement, you have to re-execute the right mouse button - Execute SQL - because the "Execute" button (from the Edit menu) at the top of the menu bar remains greyed out.

In this way you also can edit the SQL statement with "EDIT TOP n".

Shortcut - "Show SQL" <CTRL> 3  - "Execute SQL" <CTRL> R

The "Pane" menu does not exist in the "SELECT TOP n" submenu.

Cumulative update 3 (CU3) for SQL Server 2017

Hi,

https://support.microsoft.com/en-us/help/4052987

4052987 Cumulative update 3 (CU3) for SQL Server 2017

Seit 4.1.2018 gibt es das Update CU3, das in Zusammenhang mit dem "großen" CPU Patch steht...

Cumulative Update 3 (CU3) for Microsoft SQL Server 2017 was also released in the January 3, 2018, SQL Server Security Bulletin ADV180002. See KB 4058562 for more information. Because of this, you may already have CU3 installed as part of that security release. If you do try to install CU3 after ADV180002, you may receive the following message:

There are no SQL Server instances or shared features that can be updated on this computer

This indicates that CU3 is already installed and that no further action is required.

Siehe auch http://www.insidesql.org/blogs/cmu/sql_server/sql-server-leitfaden 

mfg Klaus

 

SQL Server 2016 / 2017 und SSMS 2017 - Vermischtes

english version at the end of the German part - as usual

Bei meinem derzeitigen Hauptkunden stelle ich gerade Access gebunden auf SQL Server 2017 Express ungebunden (Formulare) um und werde wohl manches direkt mit ADO machen…. Dabei habe ich folgendes (unsortiert) getestet, ich dachte, das interessiert vielleicht…

Voraussetzung: SQL Server 2016 oder besser 2017 (EXPRESS ist OK) sowie das neueste SQL Server Management Studio (derzeit 17.4) Sowie Visual Studio 2015 oder 17 (Community edition ist OK) mit installierten SSDT (SQL Server Data Tools)

Meine Vorgehensweise war: Mit dem SQL Server Migration Assistant 7.6 für Access (Siehe separater Blog-Eintrag hier) die Originaldaten des Kunden in eine eigene (temporäre) xx_IMPORT Datenbank kopiert. Dann mit Visual Studio (2015 oder besser 2017 - Community edition ist OK) und den darauf installierten SQL Server Dtata Tools in einer leeren Kopie dieser Import-Datenbank alle Felder und Tabellen den neuen Anforderungen angepasst (incl. Rowveresion <aka Timestamp> für alle Tabellen) und diese als Grundversion deklariert und gesichert. Danach die Datenbanken verglichen und per Change-Script des SSDT die Daten rüberkopiert. Dieser FÜll-Vorgang ist mit neueren Daten beliebig oft wiederholbar...

--------------------------------------------

Zum Testen der Performance verwende ich den neuen SQL Server 2017 Query Store. Der Query Store ist sehr einfach in der Installation und Bedienung.
Beim Query Store finde ich interessant, dass man den kostenfreien SentryOne Explorer auch dort direkt vom SSMS (17.4) aufrufen und damit verknüpfen kann.
Aber auch die Möglichkeiten, zwei ExcutionPlans direkt visuell zu vergleichen finde ich gut.

Soweit ich das verstanden habe, werden jetzt die Extended Events und das ganze Debug-Geraffel (das mir immer sehr suspekt war und ich nie so richtig genutzt habe) wohl nicht mehr so dringend <wenn überhaupt> benötigt. Was mir fehlt, ist ein Tipp, wie und wann man die Default-Einstellungen des Query Store am besten setzt, da ich keine aktuellen Produktionsdaten (im Zeitverlauf) besitze … Ich denke, dass für kleinere Datenbanken eher ein kürzeres Intervall, aber dafür auch „nur“ eine Woche an Verlaufsdaten zu speichern sinnvoll ist.
Eine sehr gute englischsprachige Einführung in den Query Store findet man hier (https://www.youtube.com/watch?v=HZIkOGDpq3E)

---------------------------------------

Aber auch die neuen Temporal Tables werde ich an zwei Stellen wohl verwenden, da der Kunde schon lange meinte, bei den Artikeln und Kunden hätte er gerne eine Änderungs-Historie… (Zumal die Temporal Tables, wenn man die Einschränkungen beachtet, wirklich sehr einfach zu implementieren und zu benutzen sind)
https://docs.microsoft.com/en-us/sql/relational-databases/tables/temporal-table-usage-scenarios
Achtung - Drawback für SSMS: im SSMS 2017 ändert sich die rechte Maustaste, wenn eine Tabelle von einer "normalen" in eine "temporal" Tabelle geändert wird.
Deutschsprachiger Deep-Dive Vortag von Uwe (Ricken) dazu - in der üblichen Super-Ricken Qualität:
https://channel9.msdn.com/Events/microsoft-techncial-summit/Technical-Summit-2016/SQL-Server-2016-Temporal-Tables

-----------------------------------------

Zum SQL Server Management Studio (SSMS):
<Ich benutze hier immer die neueste Version, da man mit dem SSMS alle gängigen, früheren SQL Server Versionen bearbeiten kann.>

Beim SSMS nutze ich folgende vom Standard abweichenden Einstellungen:

Tools
  Options
    Designers
    Prevent saving changes that require table re-creation (unchecked)

Tools
  Options
    SQL Server Object Explorer
      All output values increased, output 10,000 instead of 1,000 ... Edit 2,000 instead of 200

Ausgabe in einem seperaten Tab-Fenster :

Tools
  Options
    Query Results
      SQL Server
        Results to Grid
          Display Results in a Separate Tab (checked)
          Switch to Results tab after the query executes (ticked)
        Results to text
          Display Results in a Separate Tab (checked)
          Switch to Results tab after the query executes (ticked)

-------------

SSMS Zusatztools - alle kostenfrei:
SentryOne
Plan Explorer (Aufrufbar direkt aus SSMS - auch zusammen mit dem Query Store)

Redgate
SQL Search

ApexSQL Refaktor
Daraus zwei Funktionen: Formatieren von unformatiertem SQL Code
und
Convert to Code

Convert to Code generiert einen Wrapper um den SQL Code - extrem praktisch für VBA Stored-Procedure Aufrufe

Für den Convert to Code habe ich mir die "Custom language" VBA generiert
Language VBA
Escape Charachter "
Copy code with less than 60 chars as a single line
Code before
Dim sql As String
sql = "

Code after
"

Line terminator
" _
& "

-----------------

Zwei Dinge, die in der Express Edition noch immer fehlen, sind das automatisache Komprimieren von Backups und ein eigener Task-Manager. Der Task-manager von Windows ist ja ein Graus. Es gibt jedoch Powershell Scripte, die die Einrichtung erleichtern. Infos dazu finden sich in meinem SSIS Blog.

-----------------

Bzgl komprimiertem Backup: Vergleichsweise habe ich die gleiche Datenbank einmal unkomprimiert mit der Express Edition gesichert und einmal komprimiert in der Dev-Edition. Interessant war das Ergebnis schon:
AdventureWorks2012 Backup
Unkomprimiert 194.523 KB
7Zip der BAK 24.866 KB

Komprimiert 45.818 KB
7Zip der BAK 42.901 KB
D.h. wenns um den reinen Platz geht, ist unkomprimiert sichern und dann zippen der bessere Weg …

----------- Python ----------

Testweise habe ich gestern erfolgreich ein Python-Script mit der Express Edition getestet. Wenn ich es jetzt noch schaffe, das Launchpad parallel zweimal (auch für die Dev Instanz) zum Laufen zu bringen, dann läuft das auch mit der Dev … (Ich habe bei mir sowohl Developer als auch Express-Edition installiert.)

Launchpad der Instanz muss laufen, Phyton- und R-Support installiert, und External Scripts enabled sein …

-- Python Part 1 - Onte time - Enable External Scripts
sp_configure 'show advanced options', 1
reconfigure with OVERRIDE
reconfigure
GO
sp_configure 'external scripts enabled', 1
reconfigure with OVERRIDE
reconfigure
GO
sp_configure
GO

Danach Dienst neu starten

Was wohl allgemein nicht bekannt ist, wenn du mit dem neuen SSMS im Object Explorer gaaaaanz oben auf den Connect und dort mit der rechten Maustaste auf Restart gehst, dann wird (nach einer separaten Bestätigung in einem extra Fenster) der SQL Server (od. Express) Dienst neu gestartet, ohne dass man extra den Configuration Manager bemühen muss… Finde ich super praktisch.

sp_execute_external_script
@language = N'Python',
@script = N'print("Welcome to my first Python script")'

,,, gibt einem "Welcome ..."  aus

-----------

Neu in der Version SSMS 17.4 ist (rechte Maustaste unter Tasks der Datenbank) ist das sog. „Vulnerability Assessment“ das einem eine Vulnerability-Liste generiert. Naja, für den, der‘s braucht <Achselzuck> …

----------

Da finde ich den seit 17.3 mitgelieferten Import / Export Wizzard denn doch wesentlich praktischer, zumal man da man, im Zusammenspiel mit den Data Tools von Visual Studio (2015 od. 17) aus dem Wizzard ein Script erzeugen und mit VS + SSDT weiterverarbeiten kann. Da man SSIS-Scripts auch unter der Express-Edition ausführen kann, ist das Ganze eine wirklich runde Sache …

----------

PS: Neue Hardware von HP + SQL Server 2017 unter Linux
Absolut sehenswertes 5 Minuten Video von Bob Ward
https://www.youtube.com/watch?v=QElCYYoVA3Q&feature=youtu.be
und der Blog dazu:
https://blogs.technet.microsoft.com/dataplatforminsider/2017/11/29/sql-server-2017-the-worlds-first-enterprise-class-diskless-database/
Und das Rack kostet irgendwas zwischen 5 und 10 k $ - also wirklich „Normalsterblich tauglich“ – beachtlich …
(Die SQL Server Enterprise Lizenz dazu ist <mehr als ?> doppelt so teuer)
Da macht dann das neue SQL Operation Studio so richtig Sinn …


---------------------------------------------
English version
---------------------------------------------

With my current main customer, I am currently working on converting MS Access Backend (bound forms) to SQL Server 2017 Express (unbound forms) and will probably do some things directly with ADO .... I tested the following (unsorted), I thought that might be interesting ...

Prerequisite: SQL Server 2016 or better 2017 (EXPRESS is OK) and the latest SQL Server Management Studio (currently 17.4) as well as Visual Studio 2015 or 17 (Community edition is OK) with SSDT (SQL Server Data Tools) installed

My procedure was: With the SQL Server Migration Assistant 7.6 for Access (see separate blog entry here) the original data of the customer copied into its own (temporary) xx_IMPORT database. Create an empty copy of the _IMPORT DB. Edit this empty database with VS until it suits your needs (including Rowveresion <aka Timestamp> for all tables).
I declared this file as a basic version and made a backup. Then the data is copied over via the change script of the SSDT. This filling process can be repeated as often as desired with newer data ...

-----------------------------------

To test the performance I use the new SQL Server 2017 Query Store. The Query Store is very simple in installation and operation.
I find it interesting, that you can also call the free SentryOne Explorer directly from the SSMS (17.4) and link with the Query Store plans. But I also like the possibilities of visually comparing two ExcutionPlans directly.

As far as I understand it, now the Extended Events and the whole debug rubbish (which was always very suspicious to me and I never really used it) are probably not so urgent <if ever> needed anymore. What I miss is a tip on how and when to best set the default settings of the Query Store, as I have no up-to-date production data (over time) ... I think that for smaller databases rather a shorter interval, but also "only" one week to save historical data makes sense.
A very good English introduction to the Query Store can be found here (https://www.youtube.com/watch?v=HZIkOGDpq3E)

----------------------------------

Also the new Temporal Tables I'll probably use in two places, because the customer asked me to get a change history for articles and customers  ... (Especially since the Temporal Tables, if you consider the restrictions, really very easy to implement and use)

https://docs.microsoft.com/en-us/sql/relational-databases/tables/temporal-table-usage-scenarios
Attention - Drawback for SSMS: in SSMS 2017, the right mouse button changes its behaviour, when a table is changed from a "normal" to a "temporal" table.
German-speaking deep-dive webinar by Uwe (Ricken) in addition - in the usual Super-Ricken quality:
https://channel9.msdn.com/Events/microsoft-techncial-summit/Technical-Summit-2016/SQL-Server-2016-Temporal-Tables

-----------------------------------------------------

To the SQL Server Management Studio (SSMS): <I always use the latest version here, because with the SSMS you can edit all common, earlier SQL Server versions.>

In SSMS, I use the following options, deviating from the standard settings:

Tools
  Options
    Designers
    Prevent saving changes that require table re-creation (unchecked)

Tools
  Options
    SQL Server Object Explorer
      All output values increased, output 10,000 instead of 1,000 ... Edit 2,000 instead of 200

  
For Output in a seperate Tab

Tools
  Options
    Query Results
      SQL Server
        Results to Grid
          Display Results in a Separate Tab (checked)
          Switch to Results tab after the query executes (ticked)
        Results to text
          Display Results in a Separate Tab (checked)
          Switch to Results tab after the query executes (ticked)

SSMS additional tools - all free of charge:
SentryOne
Plan Explorer (can be called directly from SSMS - also together with the Query Store)

Redgate
SQL Search

ApexSQL Refactor
Two functions: Formatting of unformatted SQL code
and
Convert to code

Convert to Code creates a VBA-wrapper for SQL Code which is extrmely useful for SP called from VBA

For the Convert to Code I have generated the "Custom language" VBA
Save VBA
Escape Charachter "
Copy code with less than 60 chars as a single line
Code before
Dim sql As string
sql = "

Code after
"

Line terminator
"_
    & "

-------------------------------------

Two things that are still missing in Express Edition are the automatic compression of backups and a dedicated task manager. The task manager of Windows is a horror. However, there are Powershell scripts that make it easier to set up. Information can be found in my SSIS blog.

Regarding compressed backup: Comparatively, I once backed up the same database uncompressed within the Express Edition and one compressed in the Dev Edition.
The result is rather interesting, i think:
AdventureWorks2012 Backup
Uncompressed 194,523 KB
7Zip of the BAK 24,866 KB

Compressed 45,818 KB
7Zip of the BAK 42.901 KB
So uncompressed backup and zipping it seperately gives a better compression (and frees more space)

----------- Python ----------

As a test, yesterday I successfully tested a Python script with the Express Edition. If I manage to get the Launchpad running twice (also for the Dev instance), then it works with the Dev ...
(I have both Developer and Express Edition installed on my system).

Launchpad for used Instance must be running, Phyton and R support installed, and External Scripts enabled ...

- Python Part 1 - Onte time - Enable External Scripts
sp_configure 'show advanced options', 1
reconfigure with OVERRIDE
reconfigure
GO
sp_configure 'external scripts enabled', 1
reconfigure with OVERRIDE
reconfigure
GO
sp_configure
GO

Then restart the service

What generally is unknown, if you click SSMS in Object Explorer (on top) into the Database-Connect and there click with the right mouse button on Restart, then (after a separate confirmation in an extra window) the SQL Server (or Express ) Service is restarted, without having to open the Configuration Manager extra ... I find it super handy.

sp_execute_external_script
@language = N'Python ',
@script = N'print ("Welcome to my first Python script") '

will show the "Welcome ..."

-----------

New in the version SSMS 17.4 (right mouse click under Tasks of a database) is the so-called "Vulnerability Assessment" which generates a vulnerability list.
Well, for the one who needs it <shrug shoulders> ...

----------

The Import / Export Wizzard however, included since 17.3 is much more practical, especially because it enables you, in conjunction with the Data Tools of Visual Studio (2015 od. 17) from the Wizzard to generate a script and then process it with VS + SSDT. As you can also run SSIS scripts under the Express Edition (as explained in a separate blog), the whole thing runs really smooth  ...

----------

PS: New hardware from HP + SQL Server 2017 on Linux
Absolutely worth seeing 5 minute video of Bob Ward
https://www.youtube.com/watch?v=QElCYYoVA3Q&feature=youtu.be
and the blog about it:
https://blogs.technet.microsoft.com/dataplatforminsider/2017/11/29/sql-server-2017-the-worlds-first-enterprise-class-diskless-database/
Tthe rack costs something between 5 and 10 k $ - so really "normal mortality" - considerable ...
(The SQL Server Enterprise license is <more than?> twice as expensive)
That's where the new SQL Operation Studio makes sense ...