NetCologne ist einer der größten regionalen Netzbetreiber Deutschlands. Wir berichten über die Migration bestehender ETL-Prozesse von Oracle Data Integrator (ODI) nach dbt auf unserem Oracle-Stack. Wir sprechen über die Strategie zur Modernisierung, unsere Vorgehensweise, zentrale Entscheidungen und typische Stolpersteine. Dabei erklären wir, warum wir uns gegen eine reine Tool- oder GenAI-Migration entschieden haben und vieles manuell umgesetzt wurde – unterstützt durch Skripte, Generatoren und gezielte Automatisierung.

Zielpublikum: Data Engineers, Analytics Engineers, Data Architects, IT Projektleiter und Entscheider
Voraussetzungen: DWH-/ETL-Architektur, Grundwissen klassischer ETL Tools
Level: Basic

Extended Abstract:
NetCologne ist einer der größten regionalen Netzbetreiber Deutschlands. In diesem Vortrag berichten wir über ein Modernisierungsprojekt, in dem wir bestehende ETL-Prozesse aus dem Oracle Data Integrator (ODI) nach dbt migriert haben – bei weiterhin genutzter Oracle-Datenbank. Das Vorhaben ist der erste Schritt in einem größeren Transformationsprogramm: 

Perspektivisch soll die Datenplattform in eine Cloud-Umgebung überführt werden. Umso wichtiger war es, bereits jetzt eine technische Grundlage zu schaffen, die wartbar, transparent und langfristig erweiterbar ist.

Wir geben Einblicke in unsere Motivation und unsere Zielarchitektur: weg von einer stark werkzeuggebundenen ETL-Logik hin zu einem versionskontrollierten, modularen und testbaren Transformationsansatz mit dbt. Dabei zeigen wir, welche grundsätzlichen Überlegungen wir zu Beginn angestellt haben – zum Beispiel zum ETL-Design, zur Wiederverwendbarkeit von Logik, zum Deployment-Prozess und zur Qualitätssicherung.

Ein Aspekt des Vortrags sind die Herausforderungen, die in realen Migrationen schnell sichtbar werden: Unterschiede im Paradigma (grafisches ETL-Tool vs. SQL- und Code-basierte Transformation), Umgang mit bestehenden Abhängigkeiten, sowie das schrittweise Vorgehen, um Risiken im Betrieb zu minimieren. Natürlich berichten wir auch über die menschlichen Aspekte einer solchen Migration und geben Auskunft darüber, welche Entscheidungen sich im Projekt bewährt haben und wo wir nachjustieren mussten.

Außerdem beleuchten wir kritisch, warum wir uns bewusst gegen eine „One-Click“-Migration entschieden haben – sowohl gegen eine vollständige Tool-gestützte Konvertierung als auch gegen eine Migration unter Verwendung von Generativer KI. Wir zeigen, wo solche Ansätze Potenzial haben, aber auch, warum sie in unserem Kontext nicht zuverlässig genug waren: Insbesondere bei komplexen Mappings, impliziter Logik, technischen Randfällen und der notwendigen Nachvollziehbarkeit im Team.

Trotzdem haben wir nicht „alles von Hand“ gemacht: Ein wichtiger Bestandteil unseres Ansatzes war pragmatische Automatisierung. Wir stellen vor, welche kleinen Helferlein, Generatoren und Skripte uns unterstützt haben – zum Beispiel beim Extrahieren von ODI-Metadaten, beim Erzeugen wiederkehrender dbt-Strukturen, bei Validierungen und beim Beschleunigen typischer Umbauarbeiten. Ziel war es, manuelle Arbeit dort zu vermeiden, wo sie keinen Mehrwert bringt, und stattdessen Engineering-Zeit in eine saubere, robuste Lösung zu investieren.

Der Vortrag richtet sich an alle, die vor ähnlichen Aufgaben stehen: Migration von Legacy-ETL zu dbt, Modernisierung auf Oracle, Vorbereitung einer Cloud-Migration oder die Frage, wie viel Automatisierung sinnvoll ist. Am Ende nehmen die Teilnehmenden konkrete Learnings, typische Stolperfallen und umsetzbare Best Practices für eigene Migrationsprojekte mit.