Track: Data Architecture
- Dienstag
23.06. - Mittwoch
24.06. - Donnerstag
25.06.
Ich zeige in dieser Session, wie wir Datenchaos in Klarheit verwandelt und aus vielen einzelnen Datenthemen eine skalierbare Enterprise Data Architecture aufgebaut haben. Statt mit abstrakten Frameworks zu starten, sind wir von echten Business-Pain-Points ausgegangen. Mit LeanIX, Integrationsplattformen und Data Governance habe ich Schritt für Schritt Transparenz und Ownership geschaffen und mit pragmatischen Iterationen, Zusammenarbeit und Quick Wins nachhaltige Wirkung erzielt.
Zielpublikum:…
Der Vortrag beschreibt die Reise von der onPrem-BI-Architektur der HUK-COBURG hin zu einer hybriden Datenarchitektur. Beginnend mit der grundlegenden Motivation werden auch Themen betrachtet, die nicht ausschlaggebend waren, dennoch häufig in diesem Zusammenhang in der Literatur als Motivation genannt werden. Es werden die Architektur (Konzept, Prinzipien, Technologien), die Roadmap sowie der erste Anwendungsfall beleuchtet. Ausgehend vom erreichten Stand teilen wir unsere wichtigsten…
congstar hat seine Analytics Plattform modernisiert und die Kultur geformt, um eine Data Driven Company zu werden. Um den damit wachsenden Anforderungen nachzukommen, muss nun das Data Warehouse modernisiert werden. Data Science, moderne Schnittstellen, unstrukturierte Daten sind nicht möglich. Die Kosten für das alte System steigen. Der Weg geht in die Cloud: Ein modernes Lakehouse soll her. Wir zeigen, wie congstar sich auf die nächste Reise begibt, um Transformationen, Business Logik, Daten…
Im Rahmen seiner Cloud-Strategie migriert Mercedes-Benz Cars zentrale Finanzanwendungen von SAP BW nach Microsoft Fabric. Der Vortrag beschreibt das Migrationsframework, Voraussetzungen, Erfolgsfaktoren, Erfahrungen und typische Stolpersteine aus organisatorischer und technischer Sicht. Vorgestellt werden ein „Gold-to-Gold“-Ansatz zur schnellen Datenbereitstellung sowie ein „Bottom-up“-Ansatz zur Neuentwicklung. Im Fokus steht eine Anwendung zur Deckungsbeitragsrechnung.
Zielpublikum:…
Der Vortrag zeigt die Migration eines produktiven Data Mesh von Microsoft Synapse zu Databricks am Praxisbeispiel bei der Firma Stihl. Im Fokus stehen Architektur-, Governance- und Kostenaspekte sowie deren Auswirkungen auf Betrieb, Entwicklerteams und Nutzer. Vorgestellt werden Lessons Learned, ein effektives Kosten-Management-Konzept und Empfehlungen für den nachhaltigen Einsatz von Databricks in Data-Mesh-Architekturen.
Zielpublikum: Engineers, Architekten und Data Stewards
Voraussetzungen: Da…
Datenmodellierung ist nicht tot, aber sie wandelt sich: vom Schemadesign zu Semantik und Interoperabilität. Der Vortrag zeigt, warum Datenmodellierung auch im Lakehouse/Modern Data Stack zentral bleibt, wie sich Data Catalog und Business Glossary vom fachlichen Datenmodell abgrenzen und wie Datenprodukte per Data Contracts skalieren. Außerdem: wann Graph/Linked Data passen und welche Rolle Datenmodelle bei KI mit Text-to-SQL und RAG spielen – mit praxisnahen Beispielen aus verschiedenen Branchen…
Existierende Datenplattformen liefern eigene Entwicklungsumgebungen, spezifische Integrationsschnittstellen für Umsysteme (z.B. Data Catalogs) und teilweise verschiedene Mechanismen zur Datenspeicherung und -verarbeitung. Hierbei entsteht auf diese Ökosysteme zugeschnittener Code, der nicht ohne weiteres für die Ausführung in anderen Systemen oder im lokalen Kontext geeignet ist. Wir zeigen Dir in in diesem Vortrag, wie Du im Data Engineering portierbare Datenprodukte entwickelst und damit…
Cloud-Datenplattformen verändern sich schneller als klassische On-Premise-Systeme. Services werden teurer, funktional eingefroren oder eingestellt, wodurch Investitionsschutz in der Cloud an Bedeutung gewinnt. Der Vortrag zeigt, wie Open Lakehouse-Architekturen als Grundlage dienen können, um Abhängigkeiten von einzelnen Anbietern zu reduzieren. Anhand von Erfahrungen aus dem Projektgeschäft wird erläutert, welche Rolle offene Formate, codebasierte Transformationen und ergänzende…
Bei der Entwicklung von IT-Systemen – wie Data Warehouses und analytischen Applikationen – kommt es zu unerwünschten Nebeneffekten. Neben Fehlern gibt es Abweichungen von Architekturvorgaben oder Design Patterns, die als technische Schuld (Technical Debt) bezeichnet werden. Im Gegensatz zu Fehlern läuft das System zwar korrekt, es hat jedoch Auswirkungen auf die Weiterentwicklung und den Betrieb (Kosten, Zeit, Incidents etc.).
Typische Gruppen von „Technical Debt” werden kurz erklärt, ebenso…
NetCologne ist einer der größten regionalen Netzbetreiber Deutschlands. Wir berichten über die Migration bestehender ETL-Prozesse von Oracle Data Integrator (ODI) nach dbt auf unserem Oracle-Stack. Wir sprechen über die Strategie zur Modernisierung, unsere Vorgehensweise, zentrale Entscheidungen und typische Stolpersteine. Dabei erklären wir, warum wir uns gegen eine reine Tool- oder GenAI-Migration entschieden haben und vieles manuell umgesetzt wurde – unterstützt durch Skripte, Generatoren und…
Data quality is essential for reliable analytics and modelling. While transforming data, robust data pipelines are needed to guarantee that data is trustworthy and usable.
In this talk, I will go through different aspects of testing:
- Avoid faulty data that causes unreliable dashboards and wrong predictions
- Spot unexpected patterns and trends
- Integrate data transformation tests into CI/CD pipelines
I will explain how we use dbt Core tests in our current project to approach these…
Die Datenwelt ist voller Magie - zumindest in unserem Vortrag! Wir öffnen die „Kammer der Historisierung“ und zeigen, warum Historisierung im Data Warehousing alles andere als trivial ist. Von SCD2 über Snapshot-Fakten bis zu bitemporalen Dimensionen: Wir geben einen strukturierten Überblick, teilen Lösungsansätze und lassen die Konzepte mit einer Storyline aus Hogwarts lebendig werden. Begleite uns auf eine Zeitreise durch das Data Warehouse!
Zielpublikum: Data Engineers, BI-Architekten,…
lead link und QUNIS zeigen anhand ihres erfolgreich realisierten Projekts, wie moderne Data-Architecture-Prinzipien in der Praxis umgesetzt werden: von manuellen Excel-Prozessen hin zu einem metadatengetriebenen Data Lakehouse als Single Point of Truth. Der Vortrag beleuchtet Architekturentscheidungen, Trade-offs und Lessons Learned bei der Integration hochgradig heterogener Datenquellen – von E-Mail-Anhängen über EDI bis hin zu APIs – sowie den erfolgreichen Einsatz einer noch jungen…
Der Vortrag zeigt, wie Apache MiNiFi und Apache NiFi eine sichere, skalierbare Datenverarbeitung vom Edge bis zur Cloud ermöglichen. Wir erläutern, wie Daten direkt an der Quelle erfasst, vorverarbeitet und in Cloudumgebungen integriert werden, im Einklang mit Anforderungen wie dem EU Data Act. Typische Einsatzszenarien sowie Potenziale für Automatisierung, Governance und Echtzeitverarbeitung unterstützen Unternehmen dabei, datengetriebene Prozesse zukunftssicher zu gestalten.
Zielpublikum:…
A comprehensive exploration of the intricacies of Data Lake Table Formats and their impact on business analytics.
Data lake table formats are a critical component of modern data analytics. They provide a way to organize and manage data in a data lake, and they offer several benefits for business analytics, and AI.
Target Audience: Technical Leaders and practitioners (CDOs, CTOs, anyone working with data)
Prerequisites: None
Level: Basic
Extended Abstract:
A comprehensive exploration of the…