Existierende Datenplattformen liefern eigene Entwicklungsumgebungen, spezifische Integrationsschnittstellen für Umsysteme (z.B. Data Catalogs) und teilweise verschiedene Mechanismen zur Datenspeicherung und -verarbeitung. Hierbei entsteht auf diese Ökosysteme zugeschnittener Code, der nicht ohne weiteres für die Ausführung in anderen Systemen oder im lokalen Kontext geeignet ist. Wir zeigen Dir in in diesem Vortrag, wie Du im Data Engineering portierbare Datenprodukte entwickelst und damit zukünftig frei in der Wahl der Zielumgebung wirst.

Zielpublikum: Data Architects, Data Engineers, Data Scientists, Analytics Professionals
Voraussetzungen :Data engineering and architecture fundamentals
Level: Expert

Extended Abstract:
Der Vortrag wird ein heißer Ritt vorbei an den notwendigen Standards und Kernabstraktionen heutiger Datenplattformen auf der Basis von PySpark und SQL. Es gibt Beispiele für den gesamten Entwicklungszyklus: also Ingestion, Transformation, Load, Serve, Build und Release. Hierbei zeigt sich, wie mit entsprechenden Vorkehrungen im Data Engineering von Data Products lose Kopplung erreicht wird und damit langfristig, zukunftsichere Entwicklung realisiert wird.

Zur Entwicklung portierbare Datenprodukte verwenden wir

• offene Standards zur Beschreibung von Metadaten - Open Data Contract Standards (ODCS)
• bestehende Industriestandards zur Datenspeicherung und -verarbeitung (SQL, Spark, Python, Iceberg / Delta, Spark Declarative Pipelines (SDP))
• eine unabhängiges Framework zur Abstraktion von spezifischen Schnittstellen unter Verwendung offener Software