MySQL Server Transformation

Die MySQL Server Transformation wird in der Enterprise Version von process.science für Power BI zur Aufbereitung der Daten verwendet. Das Paket ist so konzipiert, dass es die Daten aus der MySQL-Datenbank in eine Form bringt, die für Power BI geeignet ist. Es erstellt vier Tabellen, die für die Analyse in Power BI verwendet werden können.

Vorbereiten der Eingabetabelle

Bevor die Skripte verwendet werden können, müssen Sie sicherstellen, dass Ihre Eingabetabelle die folgenden Anforderungen erfüllt. Die Spaltennamen für case_id, activity und timestamp sind festgelegt und müssen in Ihrer Eingabetabelle vorhanden sein. Die anderen Namen können im Skript geändert werden.

Feldname	Beschreibung	Datentyp	Pflichtfeld
case_id	Über dieses Feld können die Prozessinstanzen unterschieden werden.	text	✓
activity	Dieses Feld beschreibt die Aktivität, die stattgefunden hat.	text	✓
activity_grouped	Dieses Feld beschreibt die Gruppe der Aktivität, die stattgefunden hat.	text	✗
timestamp	Dieses Feld beschreibt, wann ein Ereignis stattgefunden hat.	timestamp	✓
timestamp_end	Dieses Feld kann verwendet werden, um die Dauer von Aktivitäten zu berechnen.	timestamp	✗
sort_key	Dieses Feld kann verwendet werden, um die Sortierung des Ereignisprotokolls anzupassen.	bigint	✗
value	Hier können Sie die Kosten für das aktuelle Ereignis festlegen.	bigint	✗
automated	Hier können Sie festlegen, ob der Vorgang automatisiert wurde oder nicht.	bigint	✗
resource	Über dieses Feld können Nutzerinformationen pro Aktivität mitgegeben werden.	Beliebig	✗
Zusätzliche Aktivitätswerte	Weitere Informationen pro Aktivität, z. B. die Menge der Positionen. Alle Felder, die nicht mit anderen Namen übereinstimmen, werden als zusätzliche Aktivitätswerte abgebildet und in der neu erstellten Ereignisprotokolltabelle gespeichert.	Beliebig	✗
Additional Cases Values	Weitere Informationen pro Fall, z.B. ein Unternehmensbereich. Alle Felder, die mit case_ beginnen, werden als zusätzliche Fallwerte abgebildet und in der neu erstellten Falltabelle gespeichert.	Beliebig	✗
Zusätzliche Aktivitätswerte gruppiert	Weitere Informationen pro Aktivitätsgruppe, z. B. die Menge der Positionen. Alle Felder, die mit _grouped enden, werden als zusätzliche Aktivitätsgruppenwerte abgebildet und in der neu erstellten Ereignisprotokolltabelle gespeichert.	Beliebig	✗

Herunterladen der Skripte

Die Skripte können immer in der aktuellsten Version aus unserem Self Service Portal heruntergeladen werden. Die Skripte sind in einer ZIP-Datei enthalten und müssen entpackt werden.

Installation und Konfiguration

Schema anpassen

Wenn das Ausgabeschema nicht public ist, müssen Sie die Skripte anpassen, um das richtige Schema zu verwenden. Ersetzen Sie dafür public durch das gewünschte Schema.

Erstellen der statischen Tabellen

1. Öffnen Sie das Skript 1_CreateStaticTables.sql und führen Sie es in Ihrer Datenbank aus.
2. Das Skript erstellt die Tabellen filter_and, filter_or und wenn die gruppierte Berechnung stattfinden soll auch die Tabellen filter_and_grouped, filter_or_grouped und activity_group_map in Ihrem Ausgabeschema.

Dieses Skript muss immer dann ausgeführt werden, wenn sich die Struktur der Eingabetabelle ändert.

Erstellen der Prozeduren

Im nächsten Schritt müssen die Prozeduren erstellt werden, die die Daten in die Tabellen schreiben. Dafür müssen die Skripte 2_CreateEventLogProcedure.sql, 3_CreateEventLogGroupedProcedure.sql, 4_CreateAdditionalGroupedTablesProcedure.sql , 5_CreateCasesDataProcedure.sql ausgeführt werden. Dies muss lediglich einmalig erfolgen.

Ereignisprotokoll (Event Log)

Die Prozedur ps_createEventLogDataTable erstellt die Tabelle eventlog in Ihrem Ausgabeschema und füllt sie mit den Daten aus der Eingabetabelle. Alle zusätzlichen Spalten, die nicht mit case_ anfangen oder mit _grouped enden, werden in der Tabelle eventlog gespeichert.

DROP PROCEDURE  IF EXISTS  ps_createEventLogTable;
CREATE PROCEDURE ps_createEventLogTable(
    IN SchemaName TEXT,
    IN TableName TEXT,
    IN ActivityGroupedName TEXT,
    IN TimestampEndName TEXT,
    IN ValueName TEXT,
    IN AutomatedName TEXT,
    IN ResourceName TEXT,
    IN SortKeyName TEXT
)

Sind die dynamischen Spalten (timestamp_end, sort_key, value, automated und resource) nicht in der Eingabetabelle vorhanden, werden sie automatisch mit Standardwerten befüllt.

Ereignisprotokoll gruppiert (Event Log Grouped)

Die Prozedur ps_createEventLogGroupedTable erstellt die Tabelle eventlog_grouped in Ihrem Ausgabeschema und füllt sie mit den Daten aus der Eingabetabelle. Dieses Skript wird nur ausgeführt, wenn die gruppierte Berechnung stattfinden soll, also die Spalte activity_grouped in der Eingabetabelle vorhanden ist. Alle zusätzlichen Spalten mit dem Suffix _grouped werden in der Tabelle eventlog_grouped gespeichert.

DROP PROCEDURE IF EXISTS ps_createEventLogGroupedTable;
CREATE PROCEDURE ps_createEventLogGroupedTable(
    IN SchemaName VARCHAR(255),
    IN TableName VARCHAR(255),
    IN ActivityGroupedName VARCHAR(255),
    IN TimestampEndName VARCHAR(255),
    IN ValueName VARCHAR(255),
    IN AutomatedName VARCHAR(255),
    IN ResourceName VARCHAR(255),
    IN SortKeyName VARCHAR(255),
    OUT success_flag INT
)

Zusätzliche gruppierte Tabellen (Additional Grouped Tables)

Die Prozedur ps_createAdditionalGroupedTables erstellt die Tabellen filter_and_grouped und filter_or_grouped. Diese Prozedur wird nur ausgeführt, wenn die gruppierte Berechnung stattfinden soll.

DROP PROCEDURE  IF EXISTS ps_createAdditionalGroupedTables;
CREATE PROCEDURE ps_createAdditionalGroupedTables()

Falltabelle (Cases Data)

Die Prozedur ps_createCasesDataTable erstellt die Tabelle cases_data in Ihrem Ausgabeschema und füllt sie mit den Daten aus der Eingabetabelle. Alle zusätzlichen Spalten, die mit case_ beginnen, werden in der Tabelle cases_data gespeichert.

DROP PROCEDURE IF EXISTS ps_createCasesDataTable;
CREATE PROCEDURE ps_createCasesDataTable(
    IN SchemaName TEXT,
    IN TableName TEXT,
    IN PerformGroupedCalculation INT
)

Laden der Daten

Um die Daten zu laden muss das Skript 6_CreatePerformTransformationProcedure.sql ausgeführt werden. Dieses Skript erstellt eine Prozedur, welche alle anderen Prozeduren aufruft, die die Daten in die Tabellen schreiben. In diesem Skript müssen oben die Informationen zur Eingabetabelle und den dynamischen Spalten angepasst werden.

DROP PROCEDURE IF EXISTS ps_performTransformation;
CREATE PROCEDURE ps_performTransformation()
    -- **************** Define the table and column names here ********************** --
    DECLARE SchemaName VARCHAR(255) DEFAULT 'public';
    DECLARE TableName VARCHAR(255) DEFAULT 'eventlog_en';
    DECLARE ActivityGroupedName VARCHAR(255) DEFAULT 'activity_grouped';
    DECLARE TimestampEndName VARCHAR(255) DEFAULT 'timestamp_end';
    DECLARE ValueName VARCHAR(255) DEFAULT 'activity_cost';
    DECLARE AutomatedName VARCHAR(255) DEFAULT 'automated';
    DECLARE ResourceName VARCHAR(255) DEFAULT 'user_name';
    DECLARE SortKeyName VARCHAR(255) DEFAULT 'sort_key';
    DECLARE PerformGroupedCalculation INT;
    -- **************** Define the table and column names here ********************** --

Nachdem diese Prozedur erstellt wurde, kann sie ausgeführt werden, um die Daten in die Tabellen zu schreiben.

CALL public.ps_PerformTransformation();

Zeitplanung

Sie können ein Tool Ihrer Wahl nutzen, um den letzten Call Aufruf zu automatisieren. So können Sie Ihre Daten regelmäßig aktualisieren und sehen immer die neuesten Informationen in Power BI. Hierfür kann zum Beispiel der MySQL Event Scheduler verwendet werden.

CREATE EVENT IF NOT EXISTS update_ps4pbi_data
ON SCHEDULE
  EVERY 1 DAY
  STARTS '2024-01-22 09:00:00'
ENABLE
COMMENT 'Daily task: Update the ps4pbi Process Mining Tables for Power BI'
DO
    CALL public.ps_PerformTransformation();