Der Vortrag zeigt die Migration eines produktiven Data Mesh von Microsoft Synapse zu Databricks am Praxisbeispiel bei der Firma Stihl. Im Fokus stehen Architektur-, Governance- und Kostenaspekte sowie deren Auswirkungen auf Betrieb, Entwicklerteams und Nutzer. Vorgestellt werden Lessons Learned, ein effektives Kosten-Management-Konzept und Empfehlungen für den nachhaltigen Einsatz von Databricks in Data-Mesh-Architekturen.

Zielpublikum: Engineers, Architekten und Data Stewards
Voraussetzungen: Datenarchitektur Wissen, Databricks Erfahrung, Data Governance Verständnis
Level: Advanced

Extended Abstract:
Viele Organisationen haben in den letzten Jahren Data-Mesh-Architekturen auf Basis von Cloud-Plattformen aufgebaut, um Domänenverantwortung, Skalierbarkeit, Innovationsgeschwindigkeit und Datennutzung im gesamten Unternehmen zu erhöhen. In der Praxis zeigen sich mit wachsender Nutzung und Reifegrad immer wieder neue Herausforderungen im operativen Betrieb – insbesondere in den Bereichen Governance-Mechanismen, operative Transparenz, effiziente Nutzung der Plattform-Capabilities, Kostenkontrolle und Wartungsaufwand. Darüber hinaus ergeben sich auch neue Möglichkeiten durch den Austausch und Upgrade von Plattform-Komponenten.

In diesem Vortrag wollen wir die Migration eines produktiven Data-Meshs mit 10+ Instanzen von Microsoft Synapse Analytics zu Databricks vorstellen. Anhand eines realen Praxisbeispiels wird gezeigt, welche architektonischen, organisatorischen und technologischen Entscheidungen im Migrationsprozess getroffen wurden und welche signifikanten Auswirkungen diese auf langfristige Betriebsaufwände, Governance und Kosten der Data Mesh Instanzen sowie die Entwicklerteams und Nutzer hatten.

Wir stellen in diesem Zusammenhang ein effektives Kosten-Management-Konzept für moderne Data Platformen vor, welche die folgenden Fragen beantwortet: Wie lassen sich Kosten verursachungsgerecht zuordnen? Welche architektonischen Muster und Plattform-Features unterstützen Transparenz und Steuerbarkeit? Wie können ETL/ELT Pipelines und die Serving Layer in Databricks kosteneffizient aufgesetzt werden? Welche Stolpersteine entstehen, wenn federated Data-Mesh-Prinzipien auf komplexe Plattformen wie Databricks treffen?

Der Vortrag teilt konkrete Lessons Learned aus der Migration bei der Firma Stihl, vergleicht zentrale Architekturkonzepte von Synapse und Databricks und zeigt, wie Databricks effizient und nachhaltig in eine Data-Mesh-Architektur integriert werden kann. Die Teilnehmenden erhalten praxisnahe Empfehlungen für Architekturentscheidungen, Governance-Modelle und Kostensteuerung – unabhängig davon, ob sie eine Migration planen oder ihre bestehende Plattform weiterentwickeln möchten.