Aufbau einer skalierbaren und sicheren Entwicklungsumgebung für Data Science in der Cloud
Die TransnetBW möchte mit Unterstützung der BTC AG Data Science und ML nutzen, um mit eigenen und fremden Daten die Energiewende voranzutreiben. Doch wie entwickelt man eine performante und skalierbare Entwicklungsumgebung für Data Science? Wie hält man die Cloudkosten unter Kontrolle ohne die User zu sehr einzuschränken? In diesem Vortrag wollen wir mit praktischen Demos und Fallbeispielen zeigen, wie die TransnetBW Datenprojekte automatisiert in AWS anlegt, verwaltet und dabei den Nutzerinnen maximale Flexibilität und Usability bietet.
Zielpublikum: IT-Projektleiter, Digitalisierungsmanager und für Data Science und Analytics verantwortliche Entscheider die in ihrem Verantwortungsbereich eine Data Science Entwicklungsumgebung einführen wollen. Data Scientisten, Data Engineers und KI-Entwickler die au
Voraussetzungen: Ein grundlegendes Verständnis von Public Clouds wie AWS und Azure wird vorausgesetzt. Wir erwarten, dass die Zuhörer/innen bereits erste Data Science Erfahrungen gesammelt haben. Es ist sicher hilfreich, aber nicht erforderlich, bestimmte AWS Dienste wie
Level: Basic
Extended Abstract:
Eine Entwicklungsplattform für Data Science und KI-Anwendungen kann nur in der Cloud skalierbar und auf dem neusten Stand der Technik bereitgestellt werden. Organisationen können die neuste Hardware nutzen ohne Fehlinvestitionen in bald veraltete CPUs zu riskieren. Nutzer und Nutzerinnen können flexibel und mit hoher Umsetzungsgeschwindigkeit ihre eigenen Datenprojekte starten und dabei mit Unterstützung eines Plattformteams Wissen und praktische Erfahrung zu Data Science, KI und Cloudtechnologien aufbauen und in die Organisation tragen. Durch Infrastructure as Code wird der Aufbau der Cloud Infrastruktur reproduzierbar und kann für neue Anwendungszwecke wiederverwendet werden. Dies ist uns im Projekt beim Aufbau eines zweiten Accounts für spezielle Datenprojekte in Kooperation mit anderen Übertragungsnetzbetreibern gelungen. Gleichzeitig bringt die Cloud auch viele Herausforderungen mit sich. Das Rechte und Rollenkonzept muss Transparenz und Kostenkontrolle sicherstellen. Nutzerinnen und Nutzer ohne Vorwissen müssen eingearbeitet werden. Oft sind interne IT-Regularien und Prozesse noch auf die alte Welt der internen Rechenzentren ausgelegt. Interne Stakeholder müssen abgeholt werden, da geopolitische Unsicherheiten und eine zunehmende Skepsis gegenüber US-Unternehmen viel Kommunikation erfordert um Vorbehalte abzubauen. Letztendlich ist eine enge Zusammenarbeit zwischen dem PO, einem Plattformteam und den Nutzerinnen und Nutzern entscheidend um so ein Projekt zum Erfolg zu führen. Nur wenn sich Entwicklung, Betrieb und kontinuierliche Weiterentwicklung der Plattform am User Feedback orientiert können diese Hindernisse überwunden werden. In diesem Beitrag berichten wir über unsere Herausforderungen und Learnings und ergänzen diese allgemeinen Erkenntnisse mit kurzen Demos unserer Plattform.
Data Scientist
Jakob Gerstenlauer ist ein promovierter Naturwissenschaftler, Data Scientist und Programmierer mit praktischer Erfahrung in verschiedenen Branchen, wie Medienforschung, Finanzbranche und Energiewirtschaft. Seit 2022 ist er Data Scientist und Datendiplomat bei TransnetBW, einem der vier deutschen Übertragungsnetzbetreiber. Er vermittelt gerne zwischen Fachbereich und IT und interessiert sich für pragmatische Lösungen mit Anspruch.
Cloud Solution Architect
I am a cloud and infrastructure specialist with extensive experience designing and operating development environments on AWS. These environments are build up closely with engineering and data teams to build scalable, secure, and cost-efficient cloud setup that support modern analytics and data workloads. With a strong focus on infrastructure as code, automation, and best practices, I am helping organizations to move from local or ad-hoc environments to reproducible, production-ready cloud platforms especially in AWS.
Vortrag Teilen
