Production Readiness & Machine Learning – Warum der Betrieb von ML anders ist

Testen und Monitoring sind für stabile Machine Learning Lösungen im operativen Betrieb unerlässlich. Bisher haben allerdings erst wenige Unternehmen Machine Learning Prototypen in den operativen Betrieb überführt. Entsprechend gering sind die Erfahrungen dazu, welche Tests wichtig sind und wie genau ein Monitoring stattfinden sollte.
In diesem Track geben wir einen Überblick über die Best Practices des ML Vorreiters Google, wie Testen für ML Anwendungen in den Bereichen Data, Model, Infrastructure und Monitoring gestaltet werden sollte und was mit „versteckter technischer Schuld in Machine-Learning Systemen“ gemeint ist. Tests für unterschiedliche Aspekte werden vorgestellt:

• Features und Daten, die sich über die Zeit verändern und das Verhalten der Anwendungen beeinflussen
• Model Development, das im Bereich Software Engineering eine relativ neue Disziplin darstellt
• Machine Learning Infrastructure
• Monitoring im operativen Betrieb