Der Weg vom Prototypen zum produktiven RAG- oder Chatbot-System ist gepflastert mit Edge Cases und diversen Herausforderungen. Diese Session destilliert die Erfahrungen aus verschiedenen Projekten und Tech-Stacks in den vergangenen 2 Jahren zu klaren technischen und organisatorischen "Dos & Don'ts". Wir analysieren Fehlerquellen aus unseren Projekten und stellen diese vor, bewerten Architekturoptionen,  kontextualisieren aktuelle Forschungsergebnisse und versuchen damit aufzuzeigen, wo die Reise hingeht.

Zielpublikum: Data Scientists, ML Engineers, Solution Architects und technische Product Owner, die bereits erste Erfahrungen mit LLMs/RAG gesammelt haben und vor der Herausforderung der Operationalisierung stehen.
Voraussetzungen: Grundlegendes Verständnis von der Funktionsweise von LLMs, RAG und Embeddings/Vektordatenbanken
Level: Advanced

Extended Abstract:
Viele Unternehmen haben die Experimentierphase mit Generative AI erfolgreich durchlaufen, stehen nun jedoch vor der komplexen Hürde der Produktivsetzung. Während erste Prototypen schnell vielversprechende Ergebnisse liefern, zeigen sich im realen Betrieb häufig signifikante Schwächen bei Zuverlässigkeit und Skalierbarkeit. Dieser Vortrag adressiert genau diese Lücke zwischen dem ersten Proof of Concept und einer robusten Unternehmensanwendung.

Wir analysieren fundiert, warum Chatbots und RAG-Systeme in der Praxis scheitern. Sei es durch unzureichende Datenqualität, fehlende Governance-Strukturen oder falsche Architekturentscheidungen. Basierend auf diversen Projekterfahrungen aus unterschiedlichen Branchen destillieren wir konkrete Handlungsempfehlungen ("Dos & Don'ts"). Dabei beleuchten wir nicht nur die technologische Ebene der Datenverarbeitung und der Suche, sondern auch die notwendigen organisatorischen Rahmenbedingungen.

Ergänzend ordnen wir aktuelle Entwicklungen aus der Forschung ein. Wir bewerten kritisch, wann komplexe Ansätze wie die Verknüpfung von Wissensgraphen mit Sprachmodellen oder der Einsatz autonomer Agenten tatsächlich einen Mehrwert bieten und wo derzeit noch die Grenzen liegen. 

Ziel der Session ist es, ein realistisches Verständnis der Erfolgsfaktoren und Limitationen moderner RAG- und Chatbot-Systeme zu vermitteln und aufzuzeigen, wie sich ein PoC in eine akzeptierte Lösung verwandeln lässt.