Souveräne KI-Infrastruktur auf Kubernetes
Schluss mit Abhängigkeit von US-Anbietern. Wir zeigen, wie Sie LLMs performant, skalierbar und sicher auf Ihrem eigenen Kubernetes-Cluster betreiben können. Digitale Souveränität und volle Kontrolle über Ihre Daten und Kosten.
Zielpublikum: Platform Engineers & Site Reliability Engineers, MLOps Engineers, IT-Architekten, Technical Leads
Voraussetzungen: Grundlegendes Verständnis von Kubernetes, Basiswissen über LLMs, Interesse an Operations, Monitoring und QA.
Level: Advanced
Extended Abstract:
In der aktuellen geopolitischen Lage und unter dem Druck strenger Regulatorik (EU AI Act, DSGVO) wird digitale Souveränität zum entscheidenden Wettbewerbsfaktor. Unternehmen müssen in der Lage sein, leistungsfähige Large Language Models (LLMs) zu nutzen, ohne sensible Daten an externe API-Anbieter abfließen zu lassen.
Doch der Schritt vom "HuggingFace-Download" zum stabilen 24/7-Betrieb in der Produktion ist groß. Wir zeigen, wie man eine moderne LLM-Plattform auf Kubernetes aufbaut, die mit kommerziellen Angeboten mithalten kann.
Site Reliability Enginner
Bastian Scherber ist Site Reliability Engineer bei der codecentric cloud GmbH. Er ist Experte für Cloud-Native-Architekturen in regulierten Umgebungen. Aktuell fokussiert er sich auf den Aufbau souveräner Private-Cloud-Plattformen für KI-Inferenz (NVIDIA GPUs auf OpenShift).
2021 schrieb ich meine Masterarbeit im Kontext von Wissensrepräsentation und logischer Inferenz an der FAU Erlangen. Danach führte mich mein Weg über eine Stelle im Forschungsdatenmanagement Mitte 2023 zu codecentric. Seitdem begleite und unterstütze ich Kunden bei der Umsetzung ihrer Projekte und der Einführung neuer Produkte in den Bereichen ML, Observability und Dev-Ops Infrastruktur.
Vortrag Teilen
