PostgreSQL Server Transformation

Die PostgreSQL Server Transformation wird in der Enterprise Version von process.science für Power BI zur Aufbereitung der Daten verwendet. Das Paket ist so konzipiert, dass es die Daten aus der PostgreDatenbank in eine Form bringt, die für Power BI geeignet ist. Es erstellt vier Tabellen, die für die Analyse in Power BI verwendet werden können.

Vorbereiten der Eingabetabelle

Bevor die Skripte verwendet werden können, müssen Sie sicherstellen, dass Ihre Eingabetabelle die folgenden Anforderungen erfüllt. Die Spaltennamen für case_id, activity und timestamp sind festgelegt und müssen in Ihrer Eingabetabelle vorhanden sein. Die anderen Namen können im Skript geändert werden.

Feldname	Beschreibung	Datentyp	Pflichtfeld
case_id	Über dieses Feld können die Prozessinstanzen unterschieden werden.	varchar	✓
activity	Dieses Feld beschreibt die Aktivität, die stattgefunden hat.	varchar	✓
activity_grouped	Dieses Feld beschreibt die Gruppe der Aktivität, die stattgefunden hat.	varchar	✗
timestamp	Dieses Feld beschreibt, wann ein Ereignis stattgefunden hat.	timestamp	✓
timestamp_end	Dieses Feld kann verwendet werden, um die Dauer von Aktivitäten zu berechnen.	timestamp	✗
sort_key	Dieses Feld kann verwendet werden, um die Sortierung des Ereignisprotokolls anzupassen.	numeric	✗
value	Hier können Sie die Kosten für das aktuelle Ereignis festlegen.	numeric	✗
automated	Hier können Sie festlegen, ob der Vorgang automatisiert wurde oder nicht.	numeric	✗
resource	Über dieses Feld können Nutzerinformationen pro Aktivität mitgegeben werden.	Beliebig	✗
Zusätzliche Aktivitätswerte	Weitere Informationen pro Aktivität, z. B. die Menge der Positionen. Alle Felder, die nicht mit anderen Namen übereinstimmen, werden als zusätzliche Aktivitätswerte abgebildet und in der neu erstellten Ereignisprotokolltabelle gespeichert.	Beliebig	✗
Additional Cases Values	Weitere Informationen pro Fall, z.B. ein Unternehmensbereich. Alle Felder, die mit case_ beginnen, werden als zusätzliche Fallwerte abgebildet und in der neu erstellten Falltabelle gespeichert.	Beliebig	✗
Zusätzliche Aktivitätswerte gruppiert	Weitere Informationen pro Aktivitätsgruppe, z. B. die Menge der Positionen. Alle Felder, die mit _grouped enden, werden als zusätzliche Aktivitätsgruppenwerte abgebildet und in der neu erstellten Ereignisprotokolltabelle gespeichert.	Beliebig	✗

Herunterladen der Skripte

Die Skripte können immer in der aktuellsten Version aus unserem Self Service Portal heruntergeladen werden. Die Skripte sind in einer ZIP-Datei enthalten und müssen entpackt werden.

Installation und Konfiguration

Schema anpassen

Wenn das Ausgabeschema nicht public ist, müssen Sie die Skripte anpassen, um das richtige Schema zu verwenden. Ersetzen Sie dafür public durch das gewünschte Schema.

Erstellen der statischen Tabellen

1. Öffnen Sie das Skript 1_CreateStaticTables.sql und führen Sie es in Ihrer Datenbank aus.
2. Das Skript erstellt die Tabellen filter_and, filter_or und wenn die gruppierte Berechnung stattfinden soll auch die Tabellen filter_and_grouped, filter_or_grouped und activity_group_map in Ihrem Ausgabeschema.

Dieses Skript muss immer dann ausgeführt werden, wenn sich die Struktur der Eingabetabelle ändert.

Erstellen der Prozeduren

Im nächsten Schritt müssen die Prozeduren erstellt werden, die die Daten in die Tabellen schreiben. Dafür müssen die Skripte 2_CreateEventLogProcedure.sql, 3_CreateEventLogGroupedProcedure.sql, 4_CreateAdditionalGroupedTablesProcedure.sql , 5_CreateCasesDataProcedure.sql ausgeführt werden. Dies muss lediglich einmalig erfolgen.

Ereignisprotokoll (Event Log)

Die Prozedur ps_createEventLogDataTable erstellt die Tabelle eventlog in Ihrem Ausgabeschema und füllt sie mit den Daten aus der Eingabetabelle. Alle zusätzlichen Spalten, die nicht mit case_ anfangen oder mit _grouped enden, werden in der Tabelle eventlog gespeichert.

CREATE OR REPLACE PROCEDURE public.ps_createEventLogTable(
    SchemaName              TEXT,
    TableName               TEXT,
    ActivityGroupedName     TEXT,
    TimestampEndName        TEXT,
    ValueName               TEXT,
    AutomatedName           TEXT,
    ResourceName            TEXT,
    SortKeyName             TEXT
)

Sind die dynamischen Spalten (timestamp_end, sort_key, value, automated und resource) nicht in der Eingabetabelle vorhanden, werden sie automatisch mit Standardwerten befüllt.

Ereignisprotokoll gruppiert (Event Log Grouped)

Die Prozedur ps_createEventLogGroupedTable erstellt die Tabelle eventlog_grouped in Ihrem Ausgabeschema und füllt sie mit den Daten aus der Eingabetabelle. Dieses Skript wird nur ausgeführt, wenn die gruppierte Berechnung stattfinden soll, also die Spalte activity_grouped in der Eingabetabelle vorhanden ist. Alle zusätzlichen Spalten mit dem Suffix _grouped werden in der Tabelle eventlog_grouped gespeichert.

CREATE OR REPLACE PROCEDURE public.ps_createEventLogGroupedTable(
    SchemaName              TEXT,
    TableName               TEXT,
    ActivityGroupedName     TEXT,
    TimestampEndName        TEXT,
    ValueName               TEXT,
    AutomatedName           TEXT,
    ResourceName            TEXT,
    SortKeyName             TEXT,
    INOUT success_flag      INTEGER
)

Zusätzliche gruppierte Tabellen (Additional Grouped Tables)

Die Prozedur ps_createAdditionalGroupedTables erstellt die Tabellen filter_and_grouped und filter_or_grouped. Diese Prozedur wird nur ausgeführt, wenn die gruppierte Berechnung stattfinden soll.

CREATE OR REPLACE PROCEDURE public.ps_createAdditionalGroupedTables()

Falltabelle (Cases Data)

Die Prozedur ps_createCasesDataTable erstellt die Tabelle cases_data in Ihrem Ausgabeschema und füllt sie mit den Daten aus der Eingabetabelle. Alle zusätzlichen Spalten, die mit case_ beginnen, werden in der Tabelle cases_data gespeichert.

CREATE OR REPLACE PROCEDURE public.ps_createCasesDataTable(
    SchemaName                  TEXT,
    TableName                   TEXT,
    PerformGroupedCalculation   INT
)

Laden der Daten

Um die Daten zu laden muss das Skript 6_CreatePerformTransformationProcedure.sql ausgeführt werden. Dieses Skript erstellt eine Prozedur, welche alle anderen Prozeduren aufruft, die die Daten in die Tabellen schreiben. In diesem Skript müssen oben die Informationen zur Eingabetabelle und den dynamischen Spalten angepasst werden.

DECLARE
    -- **************** Define the table and column names here ********************** --
    SchemaName                  TEXT := 'public';              -- Change input schema name here
    TableName                   TEXT := 'eventlog_en';         -- Change input event log name here
    ActivityGroupedName         TEXT := 'activity_grouped';    -- Change activity_grouped column name here
    TimestampEndName            TEXT := 'timestamp_end';       -- Change timestamp_end column name here
    ValueName                   TEXT := 'activity_cost';       -- Change value column name here
    AutomatedName               TEXT := 'automated';           -- Change automated column name here
    ResourceName                TEXT := 'user_name';           -- Change resource column name here
    SortKeyName                 TEXT := 'sort_key';            -- Change sort_key column name here
    PerformGroupedCalculation   INT;                            -- DO NOT CHANGE OR REMOVE
    -- **************** Define the table and column names here ********************** --

Nachdem diese Prozedur erstellt wurde, kann sie ausgeführt werden, um die Daten in die Tabellen zu schreiben.

CALL public.ps_PerformTransformation();

Zeitplanung

Sie können ein Tool Ihrer Wahl nutzen, um den letzten Call Aufruf zu automatisieren. So können Sie Ihre Daten regelmäßig aktualisieren und sehen immer die neuesten Informationen in Power BI. Hierfür können Tools wie PgAgent oder Cronjobs verwendet werden.