Your Data Pipeline Just Got Smarter: LLMs in Action on Databricks
LLMs sind längst mehr als nur Chatbots. Sie eröffnen neue Wege in der automatisierten Datenverarbeitung. Dieser Vortrag zeigt, wie LLMs in Databricks-Workflows zur intelligenten Transformation, Datenerweiterung, Übersetzung und Generierung eingesetzt werden können. Dabei werden typische Herausforderungen wie Reproduzierbarkeit, deterministische Outputs und die nahtlose Integration in bestehende ETL-Prozesse beleuchtet. Zusätzlich werden Best Practices vorgestellt, um LLMs stabil, effizient und wartbar in produktive Datenpipelines einzubinden.
Zielpublikum: Devs, PO, PM
Voraussetzungen: Basic knowledge about GenAI, LLM, RAG
Level: Advanced
Extended Abstract:
LLMs sind längst mehr als nur Chatbots. Sie eröffnen neue Wege in der automatisierten Datenverarbeitung. Dieser Vortrag zeigt, wie GPT-Modelle, Gemini und das Google Multilingual Embedding in Databricks-Workflows zur intelligenten Transformation, Datenerweiterung, Übersetzung und Generierung eingesetzt werden können – insbesondere auch für mehrsprachige Anwendungsfälle. Dabei werden typische Herausforderungen wie Reproduzierbarkeit, deterministische Outputs, Robustheit der Pipeline und die nahtlose Integration in bestehende ETL-Prozesse beleuchtet. Zusätzlich werden Best Practices vorgestellt, um LLMs stabil, effizient und wartbar in produktive Datenpipelines einzubinden.
Senior AI Engineer
An Dang is an experienced AI Consultant with over five years of expertise in the field of Data & AI. He currently works as an AI Engineer at Lufthansa Industry Solutions, where he supports clients from initial MVPs to scalable production solutions, bridging the gap between innovation and implementation. His focus lies in enabling organizations to harness the full potential of AI and Generative AI technologies in real-world use cases. He is also involved with the Social Developers Club, the international network for developers and tech enthusiasts.
