SSIS für Azure Data Factory

Im folgenden Kapitel wird erklärt wie das SSIS Paket in Azure Data Factory einerichtet und genutzt werden kann. Bezüglich der Eingabetabelle gilt die gleiche Struktut wie bereits im Kapitel Vorbereiten der Eingabetabelle erklärt wurde.

Installation und Konfiguration

Info

In Azure Data Factory können lediglich SSIS Pakete mit der MS SQL Version 2017 installiert werden, nutzen Sie hierfür also unbedingt die Version 2017 des process.science SSIS Paketes.

Installieren von Abhängigkeiten

Bevor Sie das process.science SSIS Paket installieren und verwenden können, müssen Sie die erforderlichen Abhängigkeiten im Integration Runtime installieren. Die notwendigen Bibliotheksdateien (.dll) und ein Installationsscript erhalten Sie, wenn Sie das Installationsprogramm processscienceSSISLibraryInstaller.exe lokal auf Ihrem Rechner installieren. Installieren Sie die Datei an einem Ort Ihrer Wahl:

Folgende Dateien aus dem Ordner benötigen Sie für die nächsten Schritte:

Erstellen eines Speicherkontos in Azure

Die Bibliotheksdateien werden innerhalb des Integration Runtime aus einem Blob-Speicher in Azure geladen, dafür müssen Sie die oben genannten Dateien in einem Speicherkonto Ihrer Wahl ablegen. Der .log Ordner wird automatisch nach dem ersten Start des Integration Runtime angelegt.

Abrufen einer SAS URI

Für den oben verwendeten Speichercontainer muss nun eine SAS URI erstellt werden, die im folgenden Schritt verwendet wird:

Konfigurieren des Integration Runtime

Als nächstes konfigurieren wir das Integration Runtime so, dass es beim Start die DLLs in ein vorgebenes Verzeichnis kopiert. Das Verzeichnis ist in der main.cmd Datei auf %ProgramFiles%\Microsoft SQL Server gesetzt.

1. Ein neues Integration Runtime anlegen oder ein bestehendes stoppen und bearbeiten
2. Auf der dritten Seite kann ein benutzerdefinierter Einrichtungscontainer angegeben werden, dort muss die SAS URI aus dem vorherigen Kapitel eingetragen werden.
3. Beenden Sie die Einrichtung mit den gewünschten Parametern und starten Sie ggf. das Integration Runtime.

Installieren des Paketes

Als nächstes wird ein neuer SSIS Schritt in einer Pipeline erstellt in dem das SSIS Paket ausgeführt wird. Gehen Sie dafür wie folgt vor: Ausführen eines SSIS-Pakets mit der Aktivität „SSIS-Paket ausführen“ im Azure-Portal.

Definieren Sie die Parameter, indem Sie auf den Reiter SSIS Parameters klicken.

Konfigurieren der Parameter

ConnectionString: Die Verbindungszeichenfolge. Dieser Parameter ist zwingend erforderlich. ConnectionTimeout: Die Zeitüberschreitung der Verbindung in Sekunden, auf 0 gesetzt, um keine Begrenzung zu haben. Dieser Parameter ist zwingend erforderlich. EventLogName: Der Name der Event Log-Tabelle. Dieser Parameter ist zwingend erforderlich. LibraryInstallationPath: Der Pfad, in den Sie die Bibliothek installiert haben, wenn in der main.cmd Datei nichts verändert wurde ist der Pfad C:\Program Files\Microsoft SQL Server. Dieser Parameter ist zwingend erforderlich.
LicenseFilePath: Der Lizenzschlüssel, geben Sie den Inhalt der .pslicense Datei ein. Dieser Parameter ist zwingend erforderlich. LogPath: Der Pfad zu dem Ort, an dem die Protokolldatei erstellt werden soll, ist eine .log-Datei. Dieser Parameter ist zwingend erforderlich.
SchemaNameIn: Der Name des Eingabeschemas, in dem die Event Log-Tabelle gespeichert ist. Dieser Parameter ist zwingend erforderlich. SchemaNameOut: Der Name des Ausgabeschemas, in dem die Event Log-Tabelle gespeichert ist. Dieser Parameter ist zwingend erforderlich. TablePrefix: Das Präfix für alle Ausgabetabellen. Dieser Parameter ist optional. UseGroupedMode: Das Kennzeichen, wenn Sie mit Aktivitätsgruppen arbeiten. Dieser Parameter ist zwingend erforderlich.

Verbinden mit Verbindungszeichenfolge

Der Verbindungsstring sieht wie folgt aus: Data Source=localhost;Initial Catalog=processscience;User Id=XY;Password=XY Lesen Sie mehr über Verbindungsstrings auf dieser Website: https://www.connectionstrings.com/sqlconnection/.

Importieren der Daten

Das Importieren der Daten in die Power BI Datei funktioniert äquivalent zu dem normalen SSIS-Paket, lesen Sie dafür das Kapitel Importieren der Daten