Dynamische Schema-Migration von Power BI Semantic Models mit einem Low-Code-Ansatz
Die Micosoft Power Platform als Low-Code-Werkzeug ist Treiber der digitalen Demokratisierung und ermöglicht Laien die selbstbestimmte Nutzung komplexer KI-Funktionalitäten. Notwendige Workflows werden oft, wie in unserem Use-Case-Portfolio-Reporting mit Databricks und PowerBI, in heterogenen Umgebungen mit hoher Vulnerabilität an Schnittstellen betrieben. Wir zeigen, wie automatisierte Schema-Migration die nahtlose Integration tagesaktueller, geschäftskritischer Informationen über Hersteller- und Technologiegrenzen hinweg ermöglicht.
Zielpublikum: Data Engineers, BI Analysts, Data Leaders
Voraussetzungen: Grundlegendes Verständnis von Power BI, insbesondere Semantic Models
Schwierigkeitsgrad: Advanced
Extended Abstract:
Eine der größten Herausforderungen unserer Zeit im Kontext künstlicher Intelligenz ist die Transformation von hochkomplexen Algorithmen und Datenstrukturen in Werkzeuge, die so einfach zu bedienen sind wie Hammer und Zange. Hier treiben vor allem Low-Code- und No-Code-Konzepte, welche auch Laien und Domänenexperten ohne KI- oder Daten-Background die Eigenentwicklung mächtiger, KI-getriebener Software-Anwendungen ermöglichen, die digitale Demokratisierung im Industrie- und Dienstleistungssektor voran.
In diesem Kontext ist die Microsoft Power Platform ein wichtiger Enabler. Durch direkte Einbindung des Anwenders in die Entwicklungsprozesse nutzerzentrierter Anwendungen ist deren Konzeption und Umsetzung nicht nur deutlich kosten- und zeiteffizienter, auch ist der Einbezug von Nutzerkreativität in zuvor nicht gekanntem Maße plötzlich möglich. Trotz Fokus auf nahtloser Integration von dazu benötigten Software-Werkzeugen in möglichst generischen und Out-of-the-Box nutzbaren Service-Ökosystemen kommt es an Schnittstellen immer wieder ungewollt zu Komplikationen. Vor allem beim Zusammenspiel von Services unterschiedlicher Hersteller. Diese können nicht nur zuvor genannte Zeit- oder Kostenvorteile zunichtemachen, sondern im schlimmsten Fall auch zum Ausfall einer Anwendung führen, zum Beispiel durch Breaking Changes.
Diese Herausforderungen wollen wir anhand eines Use-Cases aus dem Bereich Versicherung beleuchten und Lösungsansätze vorstellen. Sachbearbeiter können auf Low-Code-Basis schnell und selbstständig aussagekräftige Reports und KPIs mit PowerBI erstellen. Das dazu benötigte Semantic Model wird aus zahllosen historischen Informationen sowie tagesaktuellen, dynamischen Messwerten und Beobachtungen mithilfe von Databricks-Workflows generiert. Besonders bei der Integration neuer Informationen in bestehende Schemata, welche zwingend notwendig ist für ein aktuelles und belastbares Reporting, kommt es in Power BI zum Break der Funktionalität. Modelle, Alias-Definitionen, KPIs und Measures müssen neu definiert werden, was bei der Integration neuer Informationen immer wieder zu erheblichen Aufwänden führt. Um dies zu adressieren, präsentieren wir einen vollumfänglichen und standardisierten Ansatz zur Schema-Migration über Hersteller-, Technologie- und Service-Grenzen hinweg: von der Selektion relevanter, neuer Datenfelder über die Transformation bestehender Schemata bis hin zur nahtlosen Einbindung und Nutzung neuer Information in bestehenden Auswertungen und Reports.
Marvin Klossek ist Data Engineer mit 5 Jahren Berufserfahrung, sein Schwerpunkt ist die Integration von Businessdaten in zentrale Datawarehouse-Lösungen sowie deren Infrastruktur. Technologisch beschäftigt er sich viel mit Apache Spark, Datenbanken (relational wie NoSQL), verschiedenen Orchestrierungslösungen wie Dragster sowie Cloud-Technologie, hauptsächlich auf Azure.