In unserem Beitrag stellen wir ein Echtzeitreporting für den Einzelhandel vor. Es wird gezeigt, wie eine NoSQL-Datenbank die Verkaufsdaten der POS-Systeme in Echtzeit verarbeitet und wie sie als Berichte zur Verfügung gestellt werden können. Mit jeder Transaktion im POS werden strukturierte Daten (XML) über ein EMS an die Datenbank übermittelt.

In der aktuellen Ausbaustufe werden mehr als 2 Mio. Dokumente pro Tag verarbeitet. Die Architektur entkoppelt dabei das Berichtswesen von der Beladung des DWH und ermöglicht die Auswertung per SQL.

Zielpublikum: IT-Architekten, CIO, CDO und Interessierte, die hinter die Kulissen des Einzelhandels blicken wollen
Voraussetzungen: Für den Vortrag sind keine speziellen Kenntnisse erforderlich
Schwierigkeitsgrad: Basic

Extended Abstract:
Mit der Einführung eines neuen POS-Systems bei der NORMA Lebensmittelfilialbetrieb Stiftung & Co. KG ergab sich die Anforderung, das Berichtswesen neu zu gestalten. Die vorhandene Lösung basiert auf einem DWH / Data-Vault Ansatz und den entsprechenden fest vorgegebenen Beladungszyklen. Weiterhin geht durch verschiedene Aggregationsstufen der mögliche Detailgrad im DWH verloren.

Als wesentliche neue Änderung wurde die Anforderung gestellt, dass die Abverkaufsdaten aus den Kassen in nahezu Echtzeit über ein zentrales Reporting an verschiedene Interessenten (Filialen) ausgespielt werden können. Das neue POS-System stellt seine Daten (Kassenbons, Verwaltungsinformationen etc.) als XML-Datei per Queue in Echtzeit bereit.

Während der Filialöffnungszeiten werden täglich knapp 2 Millionen Dokumente erzeugt, die zeitnah zu ihrer Erzeugung in Reports integriert werden müssen. Die bisherigen Entlade-Routinen für das Kassensystem (POS → DWH) sind nicht auf die Echtzeit-Verarbeitung ausgelegt.

Den Kern der Architektur bildet die NoSQL-Datenbankplattform Couchbase. In dieser können strukturierte Dokumente (JSON) abgelegt und flexibel über eine Abfragesprache ausgewertet werden. In Couchbase wird dies mittels der an SQL angelehnten Abfragesprache SQL++ erreicht. Durch die Speicherung der Daten nahe an ihrem ursprünglichen Format entfällt die sonst in DWH-Architekturen erforderliche Verarbeitung und Aggregation und die Daten stehen direkt im Berichtswesen zur Verfügung. Die Datenlogistik wird über einen ESB erreicht, der die transaktionsbasierte Echtzeitkommunikation sicherstellt.

Wir zeigen die Gründe, die für eine Speicherung der Daten nahe an ihrem Ursprungsformat sprechen, und können auch die direkten Vorteile, die sich für die Anwendungslandschaft ergeben, aufzeigen:

• Keine Vorverarbeitung der Dokumente für die Ablage notwendig.
• Berichte können Detailgrad und Art der Auswertung frei bestimmen.
• Kassenbonsuche arbeitet dokumentenbasiert

Im Vortrag zeigen wir, wie die eingesetzte Datenbank Couchbase das Kassensystem und die Queue vom Berichtswesen und der Beladung des DWH wirksam entkoppelt (Thema Datenabgleich zwischen Cloud und on-prem in hybriden Architekturen) und benennen eigene zentrale Funktionen, die diese Architektur gegenüber einer klassischen DWH-Architektur heraushebt:

• Durch den Betrieb der resilienten Couchbase in einem k8s Cluster ist durch die Selbstheilung ein 24/7 Betrieb möglich.
• Automatische Verteilung der Daten im Cluster
• Abfrage der JSON-Dokumente per SQL
• Eventing-Funktionen in der Couchbase ermöglichen eine parallelisierte Anreicherung der Kassendaten mit Stammdaten und auch ein frühzeitiges Alerting (z.B. Nachricht in Slack-Chat) bei Auffälligkeiten im Kassenbon.

Wir berichten von den Herausforderungen und lessons-learned in der Umsetzung und dem daraus abgeleiteten Wissen und Erfahrungen und geben einen Ausblick auf mögliche weitere Anwendungen: Nutzung der NoSQL-Datenbank als VectorDB und damit die Vorbereitung für KI-Anwendungsfälle direkt auf Basis der Kassenbons.