Cloud-Datenplattformen verändern sich schneller als klassische On-Premise-Systeme. Services werden teurer, funktional eingefroren oder eingestellt, wodurch Investitionsschutz in der Cloud an Bedeutung gewinnt. Der Vortrag zeigt, wie Open Lakehouse-Architekturen als Grundlage dienen können, um Abhängigkeiten von einzelnen Anbietern zu reduzieren. Anhand von Erfahrungen aus dem Projektgeschäft wird erläutert, welche Rolle offene Formate, codebasierte Transformationen und ergänzende Open-Source-Tools für eine zukunftssichere Architektur spielen.

Zielpublikum: CIO, IT-Leiter:innen, IT-Architekt:innen, Analytics Leads
Voraussetzungen: Grundverständnis von Cloud-Datenplattformen; Erfahrung mit DWH- oder Lakehouse-Architekturen; Kein Tool-spezifisches Vorwissen notwendig
Level: Advanced

Extended Abstract:
Investitionsschutz in der Cloud bedeutet heute vor allem, Abhängigkeiten zu reduzieren. Steigende Preise, veränderte Produktstrategien und eingestellte Services lassen sich nicht vermeiden, ihre Auswirkungen jedoch durch Architekturentscheidungen begrenzen. Der Vortrag zeigt, welche technischen und konzeptionellen Entscheidungen maßgeblich dafür sind, proprietäre Bindungen zu vermeiden und stattdessen auf offene Standards, abstrahierende Werkzeuge und wiederverwendbare Bausteine zu setzen. Der Fokus liegt dabei nicht auf einzelnen Tools, sondern auf den zugrunde liegenden Prinzipien und deren Umsetzung in realen Projekten.

Zentrales architektonisches Fundament ist die Open Lakehouse Architektur. Sie erlaubt es, einzelne Komponenten unabhängig voneinander zu bewerten und gezielt auszuwählen. Offene Table-Formate schaffen eine migrierbare Speicherbasis, die von unterschiedlichen Engines gelesen und verarbeitet werden kann. Darauf aufbauend ermöglicht Compute-Freiheit, die jeweils passende Engine für einen konkreten Workload einzusetzen, ohne Daten oder Logik neu organisieren zu müssen. Entscheidend ist dabei, Infrastruktur- und Betriebsaufwand möglichst gering zu halten, um Flexibilität nicht mit unnötiger Komplexität zu erkaufen.

Der Vortrag ordnet diese Architektur im Spannungsfeld von SaaS, PaaS und Open Source ein. SaaS-Plattformen bieten einen schnellen Einstieg und geringe Betriebslast. PaaS-Ansätze eignen sich dort, wo mehrere Engines kombiniert oder komplexere Anforderungen umgesetzt werden müssen. Open Source erweitert diesen Werkzeugkasten, ist jedoch nicht kostenfrei, sondern erfordert Betrieb, Monitoring und entsprechende Skills. Flexibilität und Verantwortung stehen dabei stets in einem direkten Zusammenhang.

Die Compute-Freiheit erweist sich dabei als der größte unmittelbare Hebel zur Kostenreduktion. Der Vortrag zeigt, dass verteilte Engines wie Spark nicht für jeden Workload die wirtschaftlich sinnvollste Lösung sind und dass sich durch den gezielten Einsatz alternativer Engines Laufzeiten und Kosten deutlich reduzieren lassen. Anhand konkreter Benchmarks in Microsoft Fabric wird verdeutlicht, wie stark sich unterschiedliche Workloads verhalten und dass Compute-Freiheit auch innerhalb von SaaS-Plattformen praktisch nutzbar ist, ohne zusätzlichen Cluster- oder Betriebsaufwand zu verursachen.

Anhand konkreter Projektarchitekturen wird gezeigt, wie sich eine SaaS-Plattform mit Open-Lakehouse-Bausteinen gezielt öffnen lässt. Offene Table-Formate bilden die stabile Basis, während Open-Source-Werkzeuge wie dbt und Airflow technologieübergreifende Aufgaben wie Transformation, Orchestrierung und Dokumentation übernehmen. Auf diese Weise entsteht eine Architektur, die die Vorteile moderner Cloud-Plattformen nutzt, gleichzeitig aber Portabilität, Weiterentwicklung und langfristige Entscheidungsfreiheit ermöglicht.