Dieser Vortrag beleuchtet Data Mesh im Detail und streift dabei auch alle zugehörigen Themen, wie Domain-oriented decentralized Data Ownership and Architecture, Data as a Product, Self-serve Data Infrastructure as a Platform und Federated Governance.

Ein besonderer Fokus dieses Vortrags liegt auf den Parallelen zu modernen cloud-nativen OLTP-Architekturen. Der Vortrag endet mit einem Ausblick auf zukünftige Entwicklungen im Bereich Data Mesh und gibt Empfehlungen für Unternehmen, die eine agile und skalierbare Datenstrategie anstreben.

Zielpublikum: Datenarchitekten, Data Engineers und Führungskräfte
Voraussetzungen: Architekturwissen hilfreich, Governance
Schwierigkeitsgrad: Basic

Extended Abstract:
Dieser Vortrag beleuchtet das Konzept des Data Mesh, das einen Paradigmenwechsel in der Verwaltung von Daten in Unternehmen verspricht. Data Mesh geht über traditionelle Vorgehen einer zentralen Datenhaltung für analytische Daten hinaus, indem es eine dezentrale, föderierte Dateninfrastruktur fördert. Das Versprechen eines Data Mesh: Datensilos, wie wir sie bisher kennen, gehören der Vergangenheit an. 

Der Vortrag beginnt mit einer Einführung in die Herausforderungen herkömmlicher Datenarchitekturen und zeigt auf, wie Data Mesh diese adressiert.

Im weiteren Verlauf werden die vier Grundprinzipien von Data Mesh detailliert erläutert: Domain-oriented decentralized Data ownership and architecture, Data as a product, Self-serve data infrastructure as a platform, Federated governance. Diese Prinzipien ermöglichen eine effiziente Skalierung, verbessern die Datenqualität und fördern die Eigenverantwortung der Teams für ihre Daten. Dabei wird auch betrachtet, was diese Ideen eines Data Mesh für die Organisation und die Menschen bedeuten.

Ein besonderer Fokus dieses Vortrags liegt auf den Parallelen zu modernen cloud-nativen OLTP-Architekturen, wobei die Übertragbarkeit der Data-Mesh-Prinzipien auf in diesem Zusammenhang bereits etablierte Integrationskonzepte und -prozesse betont wird. Der Vortrag endet mit einem Ausblick auf zukünftige Entwicklungen im Bereich Data Mesh und gibt Empfehlungen für Unternehmen, die eine agile und skalierbare Datenstrategie anstreben. Dieser Vortrag richtet sich an Datenarchitekten, Data Engineers und Führungskräfte, die ihre Dateninfrastruktur zukunftsfähig gestalten möchten.

This session looks at how adoption of open table formats by data warehouse database management vendors and advances in SQL are making it possible to merge siloed analytical systems into a new federated data architecture supporting multiple analytical workloads.

Target Audience: Data architect, enterprise architect, CDO, data engineer
Prerequisites: Basic understanding of data architecture & databases
Level: Advanced

Extended Abstract:
In the last 12-18 months we have seen many different architectures emerge from many different vendors who claim to be offering 'the modern data architecture solution' for the data-driven enterprise. These range from streaming data platforms to data lakes, to cloud data warehouses supporting structured, semi-structured and unstructured data, cloud data warehouses supporting external tables and federated query processing, lakehouses, data fabric, and federated query platforms offering virtual views of data and virtual data products on data in data lakes and lakehouses. In addition, all of these vendor architectures are claiming to support the building of data products in a data mesh. It's not surprising therefore, that customers are confused as to which option to choose.  

However, in 2023, key changes have emerged including much broader support for open table formats such as Apache Iceberg, Apache Hudi and Delta Lake in many other vendor data platforms. In addition, we have seen significant new milestones in extending the ISO SQL Standard to support new kinds of analytics in general purpose SQL. Also, AI has also advanced to work across any type of data. 

The key question is what does this all mean for data management? What is the impact of this on analytical data platforms and what does it mean for customers? What opportunities does this evolution open up for tools vendors whose data foundation is reliant on other vendor database management systems and data platforms? This session looks at this evolution and helps vendors realise the potential of what's now possible and how they can exploit it for competitive advantage.

• The demand for data and AI
• The need for a data foundation to underpin data and AI initiatives
• The emergence of data mesh and data products
• The challenge of a distributed data estate
• Data fabric and how can they help build data products
• Data architecture options for building data products
• The impact of open table formats and query language extensions on architecture modernisation
• Is the convergence of analytical workloads possible?

Data Mesh is a decentralized approach to enterprise data management. A Data Mesh consists of Data Products, which can be composed to form higher-order Data Products. In order for a Data Mesh to scale, this composition needs to be safe and efficient, which calls for automated testing. In the Microservices architecture, scalably testing the interaction between services is sometimes achieved by an approach called Consumer-Driven Contract Testing. This session explores how this approach can be applied to the automated testing of Data Products.

Target Audience: Data Engineers, Data Scientists
Prerequisites: Basic knowledge of key concepts of Data Mesh, such as Data Products, as well as basic knowledge of Microservices architectural practices
Level: Advanced