Der Vortrag zeigt, wie Apache MiNiFi und Apache NiFi eine sichere, skalierbare Datenverarbeitung vom Edge bis zur Cloud ermöglichen. Wir erläutern, wie Daten direkt an der Quelle erfasst, vorverarbeitet und in Cloudumgebungen integriert werden, im Einklang mit Anforderungen wie dem EU Data Act. Typische Einsatzszenarien sowie Potenziale für Automatisierung, Governance und Echtzeitverarbeitung unterstützen Unternehmen dabei, datengetriebene Prozesse zukunftssicher zu gestalten.

Zielpublikum: IT-Architekten, Data Engineers und Technologieentscheider
Voraussetzungen: Data, Edge
Level: Basic

Extended Abstract:

Daten sind das eigentliche Handelsgut der heutigen Zeit. Sie entstehen überall zu jeder Zeit und enthalten Informationen, die für den Erfolg eines Unternehmens maßgeblich sein können. Viele Unternehmen stehen dabei vor der Herausforderung, Daten sicher und effizient an verteilten Standorten zu erfassen und zentral weiterzuverarbeiten.

Wir zeigen wie mit Apache MiNiFi und Apache NiFi genau diese Lücke zwischen Edge, dem Entstehungsort von Daten, etwa in Geräten, Sensoren oder Maschinen am Rand eines Netzwerks, und Cloud geschlossen werden kann. Beide Open-Source-Tools ermöglichen eine flexible, skalierbare und sichere Datenverarbeitung: Von der Datenerfassung direkt an der Quelle bis hin zur Integration in verschiedene Cloudlösungen.

Die vorgestellte Architektur unterstützt Unternehmen dabei, Daten aus dezentralen Quellen in Echtzeit zu erfassen, zentrale Systeme zu entlasten und regulatorische Anforderungen einfacher umzusetzen. Es wird gezeigt, wie Daten unmittelbar an ihren Entstehungsorten (Edge) gesammelt, vorverarbeitet und anschließend mithilfe von Apache NiFi weitergeleitet und bei unterschiedlichen Cloud-Anbietern abgelegt werden können.

Typische Einsatzszenarien, bewährte Design-Patterns sowie Potenziale für Automatisierung, Governance und Echtzeitverarbeitung werden vorgestellt.

Der Vortrag richtet sich an IT-Architekten, Data Engineers und Technologieentscheider, die innovative Wege suchen, um Edge und Cloud intelligent miteinander zu verbinden. Es wurde speziell für Unternehmen verschiedener Größen konzipiert, die datengetriebene Prozesse effizient und zukunftssicher gestalten möchten.

Erfahren Sie, wie sich mit einer Open-Source-Lösung eine skalierbare Dateninfrastruktur aufbauen lässt, die heutigen und zukünftigen Anforderungen gleichermaßen gerecht wird: von der Prozessautomatisierung bis zur gesetzeskonformen Datenverarbeitung.