Keep it simple: Plattformdesign mit Datenproduktvision
Die HUK-COBURG befindet sich im Aufbau einer neuen On-Premise-Datenplattform, ersetzt ihren Data-Techstack durch die Stackable Data Platform und stellt diesen Stack dabei nahezu gänzlich auf den Kopf. Server werden zu Containern, Impala zu Trino, HDFS zu S3.
Die Schwächen der derzeitigen Plattform liegen unter anderem in mangelnder Flexibilität, begrenzter Skalierbarkeit und fehlenden GitOps-Möglichkeiten. Im Talk werden neue und alte Plattform mit Fokus auf diese Schwächen und Technologien miteinander verglichen.
Zielpublikum: Architekten, Engineers, Entscheider
Voraussetzungen: Basiswissen und Erfahrungen (Datenplattformen, Data Mesh)
Schwierigkeitsgrad: Advanced
Extended Abstract:
Das Einführen eines Konzepts wie Data Mesh ist technisch und vor allem organisatorisch äußerst weitreichend und komplex. Viele große Unternehmen, so auch die HUK-COBURG, versuchen daher, sich schrittweise dem Thema Datendemokratisierung zu nähern. Im Zuge des vollständigen Umbaus einer Datalake-Plattform auf die Stackable Data Platform wurde neben der Technologie vor allem auch die Organisation von Use Cases neu aufgerollt.
Kleine, abgegrenzte Datenprodukte werden die Nachfolger großer, monolithischer Mandanten. Das Management dieser Datenprodukte soll künftig vollkommen autonom und demokratisch vorgenommen werden können. Funktionen der zentralen Plattform, wie Transformationen und Konnektoren, verkürzen die time-to-market von neuen Use Cases immens und verringern gleichzeitig den Workload der Data Engineers.
Was ändert sich nach "der Wende" der Umgang mit der Plattform? Neben neuen technischen Möglichkeiten durch neue Tools profitieren Nutzer durch Selbstverantwortung von Unabhängigkeit, bezahlen dafür aber den Preis der Eigenleistung. Ist es das wert? Was bedeutet der "Fall des Elfenbeinturms" für uns als zentrales Plattform-Team?
"Von Technikern, für Techniker" – ohne viel Buzzwording und Marketing soll der Vortrag einen tiefen, aber kritischen Einblick in die Migration und die Benefits/Problemstellungen des Plattformdesigns mit Data-Mesh-Aspekten geben.
Max Gruber ist seit 9 Jahren als Data Engineer im Dataspace der HUK-COBURG unterwegs und vor geraumer Zeit in die Galaxie "Data Mesh" abgebogen. Hier wandeln sich seine Tätigkeiten immer mehr in Richtung Plattformengineering. Aus Spring, Java und Kafka wurden Helm, YAML und Kubernetes. Mit ein wenig Tech-Heimweh ist er derzeit verantwortlich für den Aufbau und Rollout einer neuen Datenplattform in der HUK-COBURG.
Sönke Liebau has been working in the Big Data environment for many years and supports customers in the design and implementation of solutions. He is also actively involved in various open source projects. Through intensive experience in building and supporting infrastructures, he has extensive insight into the different needs and framework conditions within which a Big Data architecture has to work. As CPO at Stackable, it is his job to implement this experience in the product in such a way that the solution fully covers the needs of all customers.
