Im Zeitalter von Big Data hat sich Data-Engineering zu einem Schlüsselbereich entwickelt, um das Potenzial umfangreicher Datenschätze zu nutzen. Doch was braucht es, um Datenverarbeitung, -transformation und -bereitstellung zu optimieren? Dieser Vortrag beleuchtet anhand einer beispielhaften Architektur die Bedeutung von Software-Engineering-Kenntnissen für Data-Engineers, und diskutiert spezifische Herausforderungen wie Datenintegrität, Prüfung von Data-Pipelines und die Balance zwischen Stabilität und Flexibilität der Datenplattform.

Zielpublikum: Data-Engineers, IT-Entwickler und IT-Manager
Voraussetzungen: Grundlagenwissen Softwareentwicklung
Schwierigkeitsgrad: Advanced

Extended Abstract:
Data-Engineering hat sich im Zeitalter von Big Data und Analytics zu einem entscheidenden Bereich entwickelt, der es Unternehmen überhaupt erst ermöglicht, das Potenzial riesiger Informationsmengen zu nutzen. Während der Schwerpunkt des Data-Engineerings auf der Verarbeitung, Transformation und Bereitstellung von Daten liegt, hängt sein Erfolg stark von den Prinzipien und Praktiken ab, die dem traditionellen Software-Engineering entlehnt sind.

In unserem Vortrag berichten wir aus dem Data Lake für eines der größten Inhouse-Projekte Europas, welcher die Daten einer großen Online-Vertriebsplattform verarbeitet. Millionen von Events und Hunderte Gigabytes am Tag müssen irgendwie gezähmt und verwertbar gemacht werden. Wir skizzieren die Architektur und sprechen über Herausforderungen und maßgeschneiderte Lösungen. Dabei möchten wir auch darauf eingehen, warum Data-Engineers allem voran ein fundiertes Verständnis und Fachwissen von Software-Engineering brauchen.

Im Fokus stehen dabei insbesondere drei Herausforderungen:

• Wie gewährleistet man in Big-Data-Architekturen Datenintegrität und Datenschutz?
• Wie lassen sich Data-Pipelines ganzheitlich prüfen?
• Wie gewährleistet man einerseits Stabilität einer Daten-Plattform, die andererseits modular austauschbar und erweiterbar bleibt?

Dabei diskutieren wir auch, wann Standardlösungen nicht mehr ausreichen und was gutes Software-Engineering in diesem Kontext für uns bedeutet.