Beim Aufbau moderner DWHs kann man sich dem Thema 'Cloud' nur noch schwer entziehen. Echte Cloud-Datenbank wie z.B. Snowflake weisen den Weg konsequent in Richtung einer skalierbaren Datenplattform. Aufseiten der ETL-Werkzeuge kristallisiert sich mit Matillion ein herausragendes Werkzeug für Cloud DWH heraus. Mithilfe eines intelligenten Frameworks und einer agilen Vorgehensweise zeigt dieser Vortrag, wie Unternehmen die Data Vault-Modellierung mit der Skalierbarkeit der Cloud verbinden können.

Zielpublikum: DWH & BI-Experten, BI-Manager, Data Engineer
Voraussetzungen: DWH Grundwissen
Schwierigkeitsgrad: Einsteiger

Extended Abstract:
Moderne DWHs basieren in der Regel auf einer Data Vault-Modellierung. Data Vault zeichnet sich durch eine extreme Flexibilität und Erweiterbarkeit aus, die aber u.a. durch eine Vielzahl an Datenbankobjekten mit entsprechend vielen Referenzen erkauft wird. Eine manuelle Erstellung eines Data Vault-Modells inkl. der Ladroutinen verbietet sich schon vor dem Hintergrund des zu erwartenden Arbeitsaufwandes. Vielmehr noch schreit ein Data Vault-Modell aufgrund der hohen Standardisierung geradezu nach einer Automatisierung oder zumindest automatisierten Generierung.  

Matillion bietet auf den ersten Blick keine Möglichkeit, komplexe Datenmodelle zu erzeugen oder gar ELT-Prozesse zu automatisieren. Matillion bietet aber sehr wohl das technische Grundgerüst, um eine Automatisierung zu entwerfen und auszuführen. Dieser Herausforderung hat sich areto angenommen und einen DV-Generator-Framework entwickelt, das den Aufbau eines Data Vault-basierten DWHs automatisiert und sowohl die Datenmodellierung als auch die Datenbewirtschaftung anhand weniger Metadaten realisiert.  

Der areto DV-Generator basiert auf Matillion Standardoperator und der Fähigkeit Matillions, alle Operatoren mittels Variablen zu dynamisieren. Der Anwender muss lediglich ein paar Metadaten pflegen und die Fragen beantworten, die im Zuge jeder Data Vault-Modellierung gestellt werden. Auf Basis dieser Daten wird dann ein komplettes Data Vault 2.0-Modell generiert und beladen. Dem Entwickler steht somit eine Ergänzung zu Matillion zur Verfügung, die es ermöglicht, innerhalb sehr kurzer Zeit ein komplett standardisiertes und auf Best Practices basierendes DWH zu generieren und sukzessive zu erweitern.