Von Rohdaten zum Analytics-Produkt: dlt, Dagster und dbt im Zusammenspiel
Wie wird aus einem schwer wartbaren Pipeline-Mix ein versionietes, code-basiertes Setup? Wir zeigen am Beispiel Bergzeit, wie dlt (Loading), Dagster (Orchestrierung) und dbt (Transformation) ineinandergreifen. Wir geben Einblicke in die Gründe der Toolauswahl, die zentralen Architekturentscheidungen und die Learnings aus typischen Umsetzungs-Herausforderungen. Ein praxisnaher Einblick in den Alltag mit modernem Open-Source Data Stack.
Zielpublikum: Data Engineers, Analytics Engineers, Data Leads
Voraussetzungen: Grundverständnis moderner Data Stacks
Level: Advanced
Analytics Engineer
Elena Giacomazzi ist Analytics Engineer bei Bergzeit. Sie bereitet Daten so auf, dass sie für Business-Entscheidungen nutzbar werden, und arbeitet an der zuverlässigen Datenintegration und dem Laden von Daten aus unterschiedlichen Quellen. Zuvor hat sie im Bereich Energy Forecasting publiziert und u. a. an Prognosen von Stromnachfrage und Lastspitzen mit LSTM- und Transformer-Architekturen gearbeitet. Elena hat einen M.Sc. in Applied Computer Science (Universität Bamberg) sowie einen B.Sc. in Cognitive Science (Universität Osnabrück). Sie brennt für Daten und nachhaltige Entwicklung und findet ihren Ausgleich beim Wandern, Laufen oder anderen Outdoor-Aktivitäten.
Analytics Engineer
Sandra Höfer ist Analytics Engineer bei Bergzeit und betreut dort den Data Stack mit dlt, Dagster und dbt. Sie entwickelt End-to-End-Pipelines von verschiedenen Datenquellen über Transformationen bis zur Integration im BI Layer. Sandra arbeitet seit mehreren Jahren im E-Commerce-Umfeld mit Stationen in Text-Automatisierung und Datenmodellierung. Ihr linguistischer Hintergrund hilft ihr dabei, Strukturen zu erkennen und konsistent zu halten. Nach einem Tag mit SQL und Python findet man sie meistens am Fels oder in der Kletterhalle.
