Supporting analytics and data science in an enterprise involves more than installing open source or using cloud services. Too often the focus is on technology when it should be on data. The goal is to build multi-purpose infrastructure that can support both past uses and new requirements. This session discusses architecture principles, design assumptions, and the data architecture and data governance needed to build good infrastructure.

Target Audience: BI and analytics leaders and managers; data architects; architects, designers, and implementers; anyone with data management responsibilities who is challenged by recent changes in the data landscape
Prerequisites: A basic understanding of how data is used in organizations, applications and platforms in the data ecosystem, data management concepts
Level: Advanced

Extended Abstract:
The focus in our market has been on acquiring technology, and that ignores the more important part: the landscape within which this technology exists and the data architecture that lies at its core. If one expects longevity from a platform then it should be a designed rather than accidental architecture. 

Architecture is more than just software. It starts with uses, and includes the data, technology, methods of building and maintaining, governance, and organization of people. What are design principles that lead to good design and data architecture? What assumptions limit older approaches? How can one modernize an existing data environment? How will this affect data management? This session will help you answer these questions.

Outline - Topics covered:    

• A brief history of data infrastructure and past design assumptions
• Categories of data and data use in organizations
• Differences between BI, analysis, and data science workloads
• Data architecture
• Data management and governance processes
• Tradeoffs and antipatterns

Auch für die weltweit tätige Helm AG gewinnt der moderne Umgang mit Daten zunehmend an Bedeutung. Der Vortrag beschreibt, wie das Unternehmen Daten als wesentliche Informationsquelle und als Basis für Entscheidungen etabliert und sichergestellt wird, dass alle Nutzenden die notwendigen Informationen zur richtigen Zeit erhalten. Die Herausforderungen bestehen dabei vielmehr darin, moderne Arbeitsweisen in Bezug auf Daten einzuführen. Technisch wurde bei der Umsetzung auf moderne, automatisierte und skalierende Komponenten gesetzt.

Zielpublikum: ArchitektInnen, Geschäftsführung, C-Level, Abteilungs-/Bereichsleitung, Product Owner, BICC-Leitung
Voraussetzungen: keine
Schwierigkeitsgrad: Advanced

Extended Abstract:
Es begann mit der Vorstellung vier unterschiedlicher BI-Tools. Die HELM AG, ein traditionsreiches Hamburger Familienunternehmen mit über 120-jähriger Geschichte, gehört heute zu den weltweit größten Chemie-Marketingunternehmen und sichert mit mehr als 100 Niederlassungen, Verkaufsbüros und Beteiligungen in über 30 Ländern durch spezifische regionale Kenntnis den Zugang zu den wichtigsten Märkten. Kein Wunder also, dass ein zeitgemäßer Umgang mit den Daten des Unternehmens eine Voraussetzung für den Erfolg der HELM AG darstellt. Dieser war jedoch mit den aktuellen Werkzeugen nur noch schwer in Einklang zu bringen. Zuerst wurde das Problem bei der aktuellen BI-Lösung gesucht., aber während der Vorstellung der möglichen Kandidaten identifizierte die Helm AG zusammen mit dem Data Strategy & Analytics-Experten areto die tatsächlichen Probleme, und es wurde allen Beteiligten schnell klar, dass die Herausforderungen nur zu bewältigen waren, wenn die Helm AG das Thema Analytics ganzheitlich betrachten und umsetzen würde Im Folgenden hielt areto eine maßgeschneiderte Workshopserie mit unterschiedlichen Beteiligungen seitens der Helm AG ab.

Mittels Data Strategy Workshops wurde die Vision und die Erwartungen des Unternehmens an einen modernen, analytischen Umgang mit Daten geklärt und ein grundsätzlicher Fahrplan für die Zukunft festgelegt. Die Umsetzung sollte Use Case-bezogen erfolgen, und so wurde mit dem Bereich “Chemicals” in weiteren Workshops über die relevanten Use Cases gesprochen, die dann als Backlog dokumentiert wurden. Gleichzeitig entwickelte areto auf Basis der identifizierten Anforderungen eine Architekturempfehlung, die dann intensiv diskutiert und letztendlich so umgesetzt wurde. Auf in die Zukunft mit dem Projekt “Flux”! Mit “Flux” schafft die Helm AG die Basis für die zentrale Daten- und Analytics-Plattform, die nun sukzessiv auf alle Bereiche des Unternehmens ausgeweitet wird. Das allseits präsente Thema “Data Mesh” wird in diesem Kontext zwar diskutiert, aber in einer für die Helm AG angepassten Variante eingesetzt. Die Umsetzung des Projektes “Flux” erfolgt in einzelnen Abschnitten (“Waves”), die jeweils separat geschätzt wurden. Die technische Umsetzung erfolgte agil an Scrum angelehnt. SAP und Salesforce sind und waren die wichtigsten Datenquellen. SAP befand sich auf dem kritischen Pfad des Projektes, da wegen des parallelen Rollouts von SAP auf andere Regionen wenig internes Personal unterstützen konnte. Mit Microsoft Azure und Snowflake wurden leistungsfähige und skalierende Komponenten gewählt. Die Automatisierung der Datenbewirtschaftung erfolgt über die Azure Data Factory (inkl. der SAP-Anbindung) und den Datavault Builder. Analysen und Dashboards werden über PowerBI implementiert.

Babymarkt.de wollte sich noch stärker als bisher auf den Kunden fokussieren und brauchte dafür eine entsprechende Datengrundlage. Ein Audit zeigte die Schwächen der historisch gewachsenen existierenden Dateninfrastruktur auf. Ausgehend von den erfolgversprechendsten Use Cases wurde daher eine neue Best-of-Breed-Datenplattform in der Cloud konzipiert und implementiert. In diesem Vortrag stellen wir die gemachten Erfahrungen vor und geben Tipps für Unternehmen, die sich in einer ähnlichen Situation befinden.

Zielpublikum: Manager im Datenbereich, Datenarchitekten, Datenstrategen
Voraussetzungen: Grundkenntnisse in Datenmanagement und -organisation
Schwierigkeitsgrad: Basic

In einer Case Study wird gezeigt, wie die Schweizer Biomed AG mit Yotilla, einer Lösung mit einem neuartigen DWH-Automatisierungsansatz, die DWH-Entwicklung trotz eingeschränkt verfügbarer Ressourcen ermöglicht und beschleunigt hat. Der neue Ansatz automatisiert basierend auf einem fachlich orientierten Conceptual Model die logische und physische Data-Vault-Datenmodellierung, sodass das DWH ohne Data-Vault-Know-how erstellt und genutzt werden kann. Im Vortrag werden die Herausforderungen und der Kundennutzen des neuen Ansatzes vorgestellt.

Zielpublikum: Verantwortliche Data & Analytics, BI- und DWH-Manager
Voraussetzungen: Data-Warehouse-Grundwissen
Schwierigkeitsgrad: Basic

Extended Abstract:
Die Entwicklung eines Data Warehouse ist aufwendig und zeitraubend. Der Fachkräftemangel und beschränkte Ressourcen sind eine große Herausforderung, besonders im Mittelstand.

Data-Warehouse-Automatisierungslösungen können die Entwicklung beschleunigen und setzen dabei meist auf Data-Vault-Modellierung. Während das physische Data-Vault-Modell vollständig automatisiert wird, ist das logische Data-Vault-Modell manuell zu erstellen oder auf Basis eines generierten Vorschlags zu überarbeiten. Somit ist weiterhin eine ausgeprägte technische Expertise und Data-Vault-Know-how erforderlich.

Die Schweizer Biomed AG hat mit Yotilla einen neuen Ansatz verfolgt und konnte so ausgehend von einem fachlich orientierten konzeptuellen Modell (Conceptual Model) sowohl die physische als auch die logische Datenmodellierung vollständig automatisieren. In der Folge ist weniger Data-Vault-Know-how erforderlich.

Durch diesen Ansatz entsteht eine Vielzahl weiterer Automatisierungsmöglichkeiten: So kann z. B. die Business-Logik als Teil des Conceptual Model definiert und deren Implementierung ebenfalls vollständig automatisiert werden.

Eine besondere Herausforderung bei der Biomed AG war, dass die Daten der Geschäftsobjekte aus vielen verschiedenen Quellen stammen, mit teilweise sich überschneidenden Daten.

Im Vortrag werden folgende Fragestellungen betrachtet:

• Welche Vorteile hat der Ansatz?
• Wie wird ein Source System Data Vault vermieden?
• Wie kann Business-Logik ohne Kenntnisse des Data-Vault-Modells implementiert werden?
• Welche Voraussetzungen müssen erfüllt sein?
• Wie sind die Erfahrungen mit dem Ansatz bei der Biomed AG?
• Welche Möglichkeiten bringt dieser Ansatz für die Zukunft?

Die HAAS Mediengruppe reagiert mit einer Diversifizierung in digitale Dienstleistungen auf die zunehmende Relevanz des Digitalmarktes. Da der Umgang und die Interpretation von Daten in Zukunft immer bedeutsamer wird, passt sich HAAS den Gegebenheiten an und optimiert ihre Datenlandschaft mit Hilfe von The Data Institute. 
Dieser Vortrag zeigt, wie die Aufnahme des Status quo in Sachen Datenlandschaft hilft, den Weg für die Modernisierung der eigenen Dateninfrastruktur in einer komplexen Stakeholderlandschaft zu ebnen.

Zielpublikum: Manager im Datenbereich, Datenstrategen, Data Architects
Voraussetzungen: Grundkenntnisse in Datenmanagement und -organisation
Schwierigkeitsgrad: Basic

VR-NetWorld's 'Business Intelligence Platform'-Projekt setzte auf die Microsoft Azure Cloud, um entscheidende betriebliche Herausforderungen zu meistern. Die Einführung eines fortschrittlichen Data Warehouses und Power-BI-Tools transformierte die Datenanalyse und -verwaltung. Unter 100 Tagen implementiert, führte die Lösung zu erheblichen Effizienzsteigerungen und Kosteneinsparungen, unterstützt durch die Anpassungsfähigkeit von Azure. Dieses Vorhaben unterstreicht den Mehrwert der Cloud-Technologie für die Förderung des Unternehmenserfolges.

Zielpublikum: Daten-Architekten, Datenanalysten und Business-Intelligence-Experten, Projektmanager und Entscheidungsträger im IT-/Daten-Bereich, Unternehmen, die sich für die digitale Transformation interessieren, Cloud-Technologie-Begeisterte
Voraussetzungen: Grundverständnis von Cloud-Computing, Grundkenntnisse in Microsoft Azure, Grundverständnis in Datenverwaltung & -analyse
Schwierigkeitsgrad: Advanced

Extended Abstract:
Das Projekt 'Business Intelligence Platform', initiiert von der VR-NetWorld GmbH und begleitet von der CINTELLIC Consulting GmbH, konzentriert sich auf die Lösung von vier zentralen Herausforderungen: Zuerst die hohe Wartungsintensität des bestehenden Altsystems; zweitens die inhaltlichen Einschränkungen, die sich aus der komplexen Handhabung und den aufwendigen Änderungen ergeben; drittens, die Belastung durch komplexe Datenstrukturen aufgrund der Vielzahl von Cloud- und On-Premises-Systemen; und viertens, die Hemmnisse in der technologischen Entwicklung, die durch veraltete Technologien verursacht werden. Vor diesem Hintergrund plante die VR-NetWorld die Implementierung eines Data-Warehouse-Systems und ein darauf aufbauendes Reporting-Tool, welches die Basis für visualisierte Reports für die Stakeholder schaffen soll. Dieser Schritt wird eine umfassende Datenbasis für eine ganzheitliche Reporting-Landschaft etablieren und Blaupausen für verschiedene Fachbereiche und Anwendungsfälle zur Verfügung stellen. Das Projekt zielt darauf ab, skalierbar und kosteneffizient zu sein und gleichzeitig eine einfache Wartbarkeit zu bieten, um den dynamischen Anforderungen der VR-NetWorld gerecht zu werden. Die Anforderungen waren zum einen die Nutzung von Microsoft Azure Cloud Services, da bereits eine Cloud-Middleware in Azure aufgebaut wurde und eine Modernisierung der Systemlandschaft basierend auf Cloud-Produkten von Microsoft angestoßen wurde, sowie die vollständige Historisierung des Datenbestandes und die Implementierung des Reporting-Tools Power BI.

Das Projekt startete mit der Anforderung, Microsoft Azure Cloud als technologische Basis zu nutzen. Diese Vorgabe bildete das Fundament für alle weiteren Entwicklungen und garantierte eine zuverlässige und flexible Plattform. Im nächsten Schritt des Projekts widmete sich das Team der Integration und Verarbeitung von Daten, wobei ein besonderer Fokus auf der Implementierung eines Data Warehouses in Azure lag. Dieser Schritt war entscheidend, um verschiedene Datenquellen effizient in das System einzubinden und zu verarbeiten. Das Ziel war es, einen nahtlosen Datenfluss und eine optimierte Nutzung der Daten zu gewährleisten. Durch das Data Warehouse in Azure wurde eine zentrale, konsolidierte Datenbasis geschaffen. Ein zentraler Bestandteil des Projekts war die Gewährleistung von Sicherheit und Zuverlässigkeit. Es wurden Maßnahmen implementiert, um sensible Informationen sicher zu speichern und regelmäßige Datenbackups zu gewährleisten. Zudem wurde ein besonderer Fokus auf die transparente und nachvollziehbare Speicherung der Datenhistorie gelegt, um die Integrität der Daten zu sichern.

Die Entscheidung für die Azure Cloud spiegelt das Bestreben wider, eine kosteneffiziente Lösung zu schaffen, die besonders für mittelständische Unternehmen attraktiv ist. Im Vergleich zu anderen vorgefertigten Lösungen bietet diese maßgeschneiderte Plattform eine flexible, skalierbare und kostengünstige Alternative. Durch die Nutzung von Azure-Cloud-Diensten sowie Cloud Middleware und automatisierten Prozessen können Unternehmen signifikante Kosteneinsparungen erzielen. Sie zahlen nur für die Ressourcen, die sie tatsächlich nutzen, und minimieren den administrativen Aufwand. Dies bietet einen erheblichen finanziellen Vorteil im Vergleich zu On-Premises-Lösungen, die oft hohe Vorabinvestitionen und laufende Wartungskosten erfordern. Das Projekt wurde in weniger als 100 Tagen umgesetzt und demonstrierte eindrucksvoll, wie moderne Technologie genutzt werden kann, um betriebliche Effizienz zu steigern und gleichzeitig Kosten zu senken.

Microsoft Azure Cloud wurde aufgrund seiner Skalierbarkeit, Flexibilität und des umfangreichen Funktionsumfangs als Hauptplattform gewählt. Eine spezielle Cloud-Middleware wurde entwickelt, um externe Datenquellen nahtlos zu integrieren. Für On-Premise-Datenquellen wurde eine Self-Hosted Integration Runtime eingerichtet, um eine sichere Datenübertragung in die Cloud zu ermöglichen. Azure Data Factory wurde als primäres Tool für die Datenverarbeitung genutzt, um Datenpipelines zu erstellen, die Daten integrieren, transformieren und für Analysen vorbereiten. Azure Key Vault wurde zur sicheren Speicherung von Schlüsseln und sensiblen Informationen verwendet, während Azure Functions für die Datenintegrität und automatisierte Backups eingesetzt wurden. Microsoft Azure SQL, insbesondere mit System Versioned Tables, wurde für die Speicherung und Historisierung von Daten genutzt, um Änderungen auf Zeilenebene zu verfolgen und eine klare Trennung zwischen aktuellen und historischen Daten zu ermöglichen.

Das Projekt 'Business Intelligence Platform', umgesetzt mit einer Azure-Cloud-basierten Lösung, stellt einen Meilenstein in der Steigerung betrieblicher Effizienz und der Kostensenkung dar. Es demonstriert eindrucksvoll, wie durch die erfolgreiche Integration, Sicherung und Optimierung von Daten signifikante Verbesserungen in kürzester Zeit erreicht werden können.

Die Scherdel GmbH setzt international Maßstäbe bei der Verarbeitung von metallischem Draht und Band. Das bestehende DWH auf Basis MSSQL, welches über 15 Jahre von verschiedenen Entwicklern aufgebaut wurde, wird Schritt für Schritt modernisiert und in der Azure Cloud aufgesetzt. Im ersten Schritt wurden die Grundlagen geschaffen und ein erster Cube umgesetzt. Als Lösung setzen wir auf MS Fabric, obwohl es erst mit Projektbeginn allgemein verfügbar war. Wir stellen das Projekt vor und berichten über unsere Erfahrungen mit Microsoft Fabric.

Zielpublikum: Data Engineers, Architekten, Projektverantwortliche
Voraussetzungen: Basiswissen Analytics
Schwierigkeitsgrad: Basic

Extended Abstract:
Die Scherdel GmbH setzt seit über 130 Jahren als mittelständisch geprägtes, inhabergeführtes Familienunternehmen international Maßstäbe bei der Verarbeitung von metallischem Draht und Band. Das bestehende DWH auf Basis MSSQL, welches über 15 Jahre hinweg von verschiedenen Entwicklern aufgebaut wurde, soll Schritt für Schritt modernisiert und in der Azure Cloud aufgesetzt werden. In einem ersten Schritt wurden die Grundlagen der neuen DIP (Dateninformationsplattform) geschaffen und ein erster Cube umgesetzt. Bei der Lösung setzen wir auf Microsoft Fabric, obwohl es erst nach Projektbeginn allgemein verfügbar war. Im Vortrag berichten wir über unsere ersten Erfahrungen und Herausforderungen in der Verwendung von Microsoft Fabric.

Zusammen mit der GWQ ServicePlus AG zeigen wir, wie durch eine All-In-One-Open-Source-Lösung auf Basis von Kubernetes datenschutzkonforme und sichere Anwendungen nach neusten Standards entwickelt werden können.

Zielpublikum: Data Engineers, Architects, Decision Makers
Voraussetzungen: Erfahrung in Data Engineering, Cloud Native
Schwierigkeitsgrad: Advanced

Extended Abstract:
Viele Unternehmen stehen vor der Frage: Make (offene Lösung auf Open-Source-Basis) or Buy (anpassbare Insellösung)? Gerade im Gesundheitsbereich spielen Daten-Sicherheitsaspekte eine große Rolle, daher wird in diesem Vortrag aufgezeigt, wie diese Sicherheit mit Open Source gewährleistet werden kann. Die GWQ ServicePlus AG als Tochter gesetzlicher Krankenkassen hat dazu eine hochsichere Open-Source-Kubernetes-Plattform eingerichtet - mit dem Ziel: Public Cloud.

Zusammen mit der GWQ ServicePlus AG zeigen wir, wie durch eine All-In-One-Open-Source-Lösung auf Basis von Kubernetes datenschutzkonforme und sichere Anwendungen nach neusten Standards entwickelt werden können.

Das Ziel ist die Bereitstellung einer hochsicheren Produktiv-Umgebung, damit Anwendungen und Apps für die über 20 Mio. Versicherten der mittelständischen Kranken- und Innungskassen in der Public Cloud zur Verfügung gestellt werden können.

Kernelemente sind SUSE Rancher, mit dem Cluster übersichtlich gemanagt werden können, sowie SUSE NeuVector, mit dem die Umsetzung eines Sicherheitskonzeptes nach DSGVO möglich ist.

Der wesentliche Baustein ist jedoch das neu eingeführte DevSecOps (Development, Security & Operations)-Konzept, mit dem klar definiert wird, wo welche Verantwortlichkeiten und Aufgaben liegen. Auf diese Weise wurde ein Strukturwandel angestoßen, der unter anderem kleinere Inkremente für Anwendungen ermöglicht, das heißt, ein Update einer Anwendung ist in kürzester Zeit umsetzbar - mögliche Sicherheitslücken können sofort geschlossen werden.

Die Bereitstellung dieser komplett neuen hochsicheren Entwicklungsumgebung mit entsprechenden Entwicklungssystemen und Security- und Observability-Tools On-Premise erfolgte innerhalb von drei Monaten. Dabei wurde die komplette Installation portabel gestaltet, sodass sich mit dieser Installation eine Portierung in die Public Cloud ermöglichen lässt.

Viele Organisationen kennen das Problem: SAP-Daten sind für viele Use-Cases interessant, aber der Zugriff ist kompliziert oder sehr teuer. Unsere Lösung: Eine Spark Data Source für SAP, die ohne zusätzliche Software oder Module direkt von Databricks auf SAP-Systeme zugreift und damit native Weiterverarbeitung in der Spark-Welt erlaubt. Am Beispiel des Data-Stacks der GEMA zeigen wir, wie die SAP-Integration unsere Data-Mesh-Plattform im Self-Service beflügelt und welche Use-Cases wir damit umsetzen konnten.

Zielpublikum: Data Engineers und alle Daten-Rollen in Organisationen mit SAP-Quellsystemen
Voraussetzungen: Grundkenntnisse in PySpark
Schwierigkeitsgrad: Basic

Bei der Entwicklung von IT-Systemen, so auch Data Warehouses und analytische Applikationen, kommt es zu unerwünschten Nebeneffekten. Neben Fehlernwerden Abweichungen von Architektur-Vorgaben oder Design Patterns als technische Schuld (Technical debt) bezeichnet. Im Gegensatz zu Fehlern läuft das System zwar korrekt, jedoch hat es Auswirkungen auf die Weiterentwicklung und den Betrieb (Kosten, Zeit, Incidents etc.).

Typische Gruppen von technical Debts werden kurz erklärt, was deren Auswirkungen sind und wie Sie diese vermeiden.

Zielpublikum: Architects, Project Leader, Decision Makers, Developers
Voraussetzungen: Grundlagen in Data Warehousing oder analytischen Infrastrukturen
Schwierigkeitsgrad: Basic

Begonnen hat alles mit einem Cube. Inzwischen hat sich die analytische Landschaft von Agaplesion drastisch erweitert, die Begleitung des 'Patienten-Journey' ohne Daten unvorstellbar. Datengetriebene Entscheidungen beeinflussen alle Aspekte des KKH-Alltags. Ohne leistungsfähige Architektur dahinter undenkbar: Mit seiner Data Fabric nutzt Agaplesion verteilte Datenquellen, Wissen über Daten inkl. umfassender Datenschutzregeln und erlaubt so, mit intelligenten ML-Prozesse die KKH-Prozesse optimal, nachvollziehbar und sicher zu unterstützen.

Zielpublikum: Analytics/Solution Architects, Decision Makers, Controller, Project Leader. More technical than Business
Voraussetzungen: Basic Knowledge of Data Management Strategies and Architectures (Data Warehouse, Data Fabric)
Schwierigkeitsgrad: Advanced

Extended Abstract:
Der Fokus der analytischen Landschaft von Agaplesion hat sich dramatisch gewandelt: Während früher ausschließlich Planung und Reporting im Vordergrund standen und durch kombinierte Einzellösungen repräsentiert wurden, wird heute der Bedarf und Nutzen von Analysen sehr viel höher eingeschätzt. Der umfassende Datenschatz im Unternehmen kann vielfach zur Optimierung oder Steuerung der Prozesse genutzt werden, zum Vorteil für Patienten, medizinisches Personal, aber auch in kommerzieller Hinsicht. In Zeiten von Pandemien, Fachkräftemangel und im Hinblick auf die kommende Alterspyramide kann sich unsere Gesellschaft kein leeres Bett oder unnötige Doppeluntersuchungen leisten!

Der Bedarf an Umgang mit den vorhandenen oder neuen Daten kann nicht nur durch Experten gedeckt werden - Fachanwender, Analysten und Data Scientists sind gefragt! Damit der Umstieg, die Übernahme analytischer Tätigkeit effizient gelingt, sind neue Methoden und damit Technologien gefragt: Self-Service BI, Data Science benötigt gut dokumentierte Daten, damit Bedeutung und Hintergründe nicht nur den Datenexperten transparent sind. Gleichzeitig muss mit definierten, automatisierbaren Zugriffsregeln der Datenschutz sichergestellt werden. Und nicht zuletzt geht mit der zunehmenden Nutzung von Data Science und AI die Verantwortung nach Nachvollziehbarkeit und Überwachung der AI einher.

Agaplesion hat sich daher in einer technischen Neubewertung entschlossen, eine analytische Plattform einzuführen, die sowohl die Aspekte Data Governance, Datenzugriff und Potenzial für umfassende Data Science/AI-Prozesse abdeckt, als auch die bisherigen Einzellösungen integriert.

In diesem Vortrag werden der fachliche Hintergrund und die resultierende Daten-Strategie besprochen, die bisherige Umsetzung mit Erfolgen und Hindernissen gezeigt und die weiteren Ziele von Agaplesion mit dieser Plattform.

Im Zeitalter von Big Data hat sich Data-Engineering zu einem Schlüsselbereich entwickelt, um das Potenzial umfangreicher Datenschätze zu nutzen. Doch was braucht es, um Datenverarbeitung, -transformation und -bereitstellung zu optimieren? Dieser Vortrag beleuchtet anhand einer beispielhaften Architektur die Bedeutung von Software-Engineering-Kenntnissen für Data-Engineers, und diskutiert spezifische Herausforderungen wie Datenintegrität, Prüfung von Data-Pipelines und die Balance zwischen Stabilität und Flexibilität der Datenplattform.

Zielpublikum: Data-Engineers, IT-Entwickler und IT-Manager
Voraussetzungen: Grundlagenwissen Softwareentwicklung
Schwierigkeitsgrad: Advanced

Extended Abstract:
Data-Engineering hat sich im Zeitalter von Big Data und Analytics zu einem entscheidenden Bereich entwickelt, der es Unternehmen überhaupt erst ermöglicht, das Potenzial riesiger Informationsmengen zu nutzen. Während der Schwerpunkt des Data-Engineerings auf der Verarbeitung, Transformation und Bereitstellung von Daten liegt, hängt sein Erfolg stark von den Prinzipien und Praktiken ab, die dem traditionellen Software-Engineering entlehnt sind.

In unserem Vortrag berichten wir aus dem Data Lake für eines der größten Inhouse-Projekte Europas, welcher die Daten einer großen Online-Vertriebsplattform verarbeitet. Millionen von Events und Hunderte Gigabytes am Tag müssen irgendwie gezähmt und verwertbar gemacht werden. Wir skizzieren die Architektur und sprechen über Herausforderungen und maßgeschneiderte Lösungen. Dabei möchten wir auch darauf eingehen, warum Data-Engineers allem voran ein fundiertes Verständnis und Fachwissen von Software-Engineering brauchen.

Im Fokus stehen dabei insbesondere drei Herausforderungen:

• Wie gewährleistet man in Big-Data-Architekturen Datenintegrität und Datenschutz?
• Wie lassen sich Data-Pipelines ganzheitlich prüfen?
• Wie gewährleistet man einerseits Stabilität einer Daten-Plattform, die andererseits modular austauschbar und erweiterbar bleibt?

Dabei diskutieren wir auch, wann Standardlösungen nicht mehr ausreichen und was gutes Software-Engineering in diesem Kontext für uns bedeutet.