Die im Konferenzprogramm der TDWI München 2024 angegebenen Uhrzeiten entsprechen der Central European Time (CET).
Thema: Data Lakehouse Architecture
- Dienstag
11.06.
Wir klären, warum die Kombination aus Data Mesh und Data Vault DWH einen entscheidenden Wettbewerbsvorteil in einem dynamischen Umfeld birgt. Und zeigen auf, wie mittels Databricks und dbt die Transformation von einem klassischem DWH hin zu einer modernen Lakehouse-Architektur gelingt. Neben einem technischen 'deep dive' in die Data-Vault-Herausforderungen beinhaltet der Vortrag einen Erfahrungsbericht. Wir beantworten, wie es uns gelungen ist, ein für die Analysten neues Data-Vault-Konzept in einer dezentralen Daten-Umgebung zu implementieren.
Zielpublikum: Data Engineer, Data Architekt, Project Leader, Data Analyst
Voraussetzungen: Grundkenntnisse in Data Vault 2.0 und Data Mesh
Schwierigkeitsgrad: Basic
Extended Abstract:
- Warum birgt die Kombination aus Data Mesh und Data Vault Warehouse einen entscheidenden Wettbewerbsvorteil in einem sehr dynamischen Umfeld?
- Wie entsteht eine Synergie zwischen dezentralem Mesh und zentralem DWH?
In diesem Vortrag wollen wir genau diese Fragestellungen beantworten. Und zeigen auf, wie - mittels Databricks und dbt - die Transformation von einem sehr klassischem DWH hin zu einer modernen Lakehouse-Architektur gelingt.
Seit dem Start der Flaschenpost in Münster umfasst das Liefergebiet mehr als 200 Städte in ganz Deutschland. Das führt zwangsläufig auch datenseitig zu immer neuen und steigenden Anforderungen.
Neben einem technischen 'deep dive' in die Data-Vault-Herausforderungen innerhalb dieser Umgestaltung beinhaltet der Vortrag einen Erfahrungsbericht. Wir beantworten, wie es uns gelungen ist, ein für die Datenanalysten völlig neues Data-Vault-Konzept in einer dezentralen Daten-Umgebung zu implementieren.
Vera Melang verfügt über 9 Jahre Berufserfahrung im Bereich Business Intelligence, Data Warehouse Architektur und Reporting über viele Branchen hinweg. Als Teamleiterin Data Warehouse und Data Engineer hat sie viele Projekte im Bereich BI und DWH absolviert. Zurzeit baut sie zum zweiten Mal ein Data Vault basiertes Data Warehouse.
Marco Lohaus verfügt über mehr als 10 Jahre Erfahrung im Bereich Business Intelligence, Data Science und Dashboarding mit besonderen Fachkenntnissen im E-Commerce.
Im Rahmen seiner Tätigkeit als BI-Leiter, Management-Berater und Architekt hat er Projekte in den Bereichen Reporting, Big Data, DWH, Digitalisierung und Data Science verantwortet.
Vortrag Teilen
This session looks at how adoption of open table formats by data warehouse database management vendors and advances in SQL are making it possible to merge siloed analytical systems into a new federated data architecture supporting multiple analytical workloads.
Target Audience: Data architect, enterprise architect, CDO, data engineer
Prerequisites: Basic understanding of data architecture & databases
Level: Advanced
Extended Abstract:
In the last 12-18 months we have seen many different architectures emerge from many different vendors who claim to be offering 'the modern data architecture solution' for the data-driven enterprise. These range from streaming data platforms to data lakes, to cloud data warehouses supporting structured, semi-structured and unstructured data, cloud data warehouses supporting external tables and federated query processing, lakehouses, data fabric, and federated query platforms offering virtual views of data and virtual data products on data in data lakes and lakehouses. In addition, all of these vendor architectures are claiming to support the building of data products in a data mesh. It's not surprising therefore, that customers are confused as to which option to choose.
However, in 2023, key changes have emerged including much broader support for open table formats such as Apache Iceberg, Apache Hudi and Delta Lake in many other vendor data platforms. In addition, we have seen significant new milestones in extending the ISO SQL Standard to support new kinds of analytics in general purpose SQL. Also, AI has also advanced to work across any type of data.
The key question is what does this all mean for data management? What is the impact of this on analytical data platforms and what does it mean for customers? What opportunities does this evolution open up for tools vendors whose data foundation is reliant on other vendor database management systems and data platforms? This session looks at this evolution and helps vendors realise the potential of what's now possible and how they can exploit it for competitive advantage.
- The demand for data and AI
- The need for a data foundation to underpin data and AI initiatives
- The emergence of data mesh and data products
- The challenge of a distributed data estate
- Data fabric and how can they help build data products
- Data architecture options for building data products
- The impact of open table formats and query language extensions on architecture modernisation
- Is the convergence of analytical workloads possible?
Mike Ferguson is Managing Director of Intelligent Business Strategies and Chairman of Big Data LDN. An independent analyst and consultant, with over 40 years of IT experience, he specialises in data management and analytics, working at board, senior IT and detailed technical IT levels on data management and analytics. He teaches, consults and presents around the globe.