Python erfreut sich immer größerer Beliebtheit im Datenmanagement. Der Einstieg in Python mit Paketen wie dbt, pyspark, keras, pytorch ist einfach. Rapid Prototyping mit Notebooks und die ersten Codezeilen sind schnell entwickelt. Doch sobald der Code produktiv geht ... (und manche wären schon froh, wenn der Code überhaupt produktiv geht).

Die Session geht auf Pakete und Techniken rund um Code-Formatierung, Linting, Testing, Security, Dokumentation, Versionskontrolle ein, um das Datenmanagement mit Python auf ein neues Level zu bringen.

Zielpublikum: Data Engineers, Data Architects, Projektleiter:innen
Voraussetzungen: Grundkenntnisse in Python
Schwierigkeitsgrad: Einsteiger

Extended Abstract:
Python erfreut sich immer größerer Beliebtheit im Datenmanagement. Data Scientists, Data Engineers, ML Developer u. a. nutzen Python für eine Vielzahl von Funktionalitäten: von Datenimport über Datenintegration bis hin zu Machine Learning und Datenvisualisierung. Der Einstieg in Python ist einfach. Die ersten Codezeilen sind schnell entwickelt, doch sobald der Code produktiv geht (und manche wären schon froh, wenn der Code überhaupt produktiv geht) ...

Man spricht viel über die zahlreichen, coolen Pakete rund um das Datenmanagement: pyspark, dbt, pytorch, keras, GreatExpectations sind ein paar Beispiele. Doch was ist mit Software-Engineering und Code-Qualität? Und wie sieht es mit Notebooks aus? Schnelles Prototyping und dann ab in die Produktion damit?

Aber keine Sorge, mit den richtigen Paketen und Techniken gibt es Lösungen in Python. Die Session geht auf Pakete und Techniken rund um Code-Formatierung, Linting, Testing, Security, Dokumentation, Versionskontrolle ein, um das Datenmanagement mit Python auf ein neues Level zu bringen.