TDWI Konferenz mit BARC@TDWI Track 2019

München, 24. - 26. Juni 2019

Partner

Sessionsdetails

Vortrag: Mo 4.4
Datum: Mo, 24.06.2019
Uhrzeit: 17:15 - 18:30
cart

Standardisierung und Automatisierung in der Entwicklung von Datenintegrationsprozessen

Uhrzeit: 17:15 - 18:30
Vortrag: Mo 4.4

 

In jedem großen Datenmanagement-Projekt muss eine Vielzahl von DI-Prozessen in homogener Qualität entwickelt und schließlich effizient betrieben werden. Der erste wesentliche Schritt ist die Entwicklung von Lösungsmustern (Patterns) für gleichartige Aufgaben. Dabei darf die Standardisierung nicht Funktionsumfang und Handhabung des eingesetzten Toolsets einschränken. Der zweite und folgerichtige Schritt ist die Instanziierung der flexiblen Patterns durch einen metadatengetriebenen Ansatz. Wir stellen das Grundproblem und eine vollständig automatisierte Vorgehensweise vor, die nach dem besten Verhältnis von Standardisierung und Flexibilität, Qualität und Effizienz strebt.

Zielpublikum: CIO, CDO, CTO, BI/DWH-Entscheider, ICC-Manager, -Programm- und Projektleiter, -Architekten und -Entwickler

Voraussetzungen: grundlegende Kenntnisse in Daten- und Informationsmanagement,
Expertise in den Bereichen Data-Warehouse-, Data-Lake-Konzeption, Architektur und Modellierung ist vorteilhaft
Schwierigkeitsgrad: Fortgeschritten

Extended Abstract
'Sie haben die Aufgabe, eine Plattformarchitektur für Datenintegration zu bauen, z.B. im Rahmen eines Data Warehouse, einer Datendrehscheibe oder eines Data Lakes oder einer Kombination hieraus. Dabei konzentrieren Sie sich auf die grundlegende Architektur: Systementwurf, Haupt- und Unterkomponenten, Standardisierung, Konventionen.

Die Analyse ergibt zumeist, dass sich die Aufgaben in bestimmte wiederkehrende Verarbeitungsmuster (Patterns) eingliedern lassen: im Data Warehouse z. B. in Landing, Staging, (bi-)temporale Historisierung von Dimensionen, Links und Fakten, spezielle Aggregationen oder im Data Lake in Landing, Anwendung eines Schemas, Übersetzung in anwendungsadäquate Formate wie Parquet, Avro etc. bis hin zur Anreicherung für spezifische Use Cases.

Die verschiedenen Verarbeitungsschritte müssen nun vielfach auf die aus der Anforderungsanalyse abgeleiteten Entitäten umgesetzt werden. Ihre Aufgabe ist es, viele gleichartige Prozesstypen in kurzer Zeit bei gleichbleibender Qualität und beherrschbaren Testaufwänden unter herausfordernden Zeit- und Budgetvorgaben zu liefern. Die Manufaktur bedingt unter den Zeitvorgaben ein großes Projektteam. Hier besteht die Gefahr einer heterogenen Entwicklung mit Abweichungen von Ihren Standards: eine Anforderung mit vielen verschiedenen Vorgehensweisen und Individuallösungen und entsprechend individualisierten Tests und schwieriger Projektkommunikation. Spät vorgebrachte Anforderungen erzwingen einen enormen Refactoring-Bedarf. Der Vorteil eines Datenintegrations-Tools kann nicht voll ausgespielt werden.

Ob Onshore oder Offshore - ein großes Projektvorhaben erfordert Zeit und viel Geld. Einen Ausweg kann nur die Standardisierung und Automatisierung bieten. In der Industrie hat sich dabei das folgende Vorgehen durchgesetzt:

1. Abstraktion:
Entlang der Anforderungen wird ein Muster-Prozess (Pattern) entworfen. Ein Pattern implementiert die gewünschte Funktionalität und legt funktionale Rollen jenseits von Instanz-Eigenschaften und Datentypen fest.

2. Konkretisierung:
Konkrete Prozess-Instanzen werden erfasst. Instanz-Metadaten definieren Entitäten, Felder, Feldgruppen in ihren Ausprägungen und Feldeigenschaften (Datentypen, Größen, etc.) und die funktionalen Rollen werden zugewiesen.

3. Instanziierung:
Ausführbare Prozess-Instanzen werden vollautomatisiert als Produkt von Pattern- und Instanz-Metadaten entsprechend der funktionalen Rollen und der im Pattern generisch implementierten Funktionalität erstellt.

Im Vortrag wird der 'State-Of-The-Art' in der standardisierten und automatisierten Entwicklung von Datenintegrationsprozessen und Big-Data-Pipelines beleuchtet.

 

Sponsoren TDWI München 2019

  • Ab Initio Software Germany GmbH Platinsponsor
  • Adastra GmbH Platinsponsor
  • Cognizant Digital Business Platinsponsor
  • Exasol Platinsponsor
  • INFOMOTION GmbH Platinsponsor
  • itelligence Platinsponsor
  • ITGAIN Consulting Gesellschaft für IT-Beratung mbH Platinsponsor
  • Microsoft Platinsponsor
  • MicroStrategy Platinsponsor
  • NTT DATA Deutschland Platinsponsor
  • SAP Deutschland SE & Co. KG Platinsponsor
  • Sopra Steria Platinsponsor
  • Talend Germany GmbH Platinsponsor
  • Tech Data GmbH & Co. OHG Platinsponsor
  • Trivadis GmbH Platinsponsor
  • WhereScape Europe Platinsponsor
  • 2150 GmbH | Distilling business insight. Goldsponsor
  • adesso AG Goldsponsor
  • ASG Technologies Goldsponsor
  • b.telligent GmbH & Co. KG Goldsponsor
  • blueforte GmbH Goldsponsor
  • CIMACON GmbH Goldsponsor
  • Cubeware GmbH Goldsponsor
  • Data Virtuality GmbH Goldsponsor
  • Dataiku Goldsponsor
  • Denodo Technologies Goldsponsor
  • erwin, Inc. Goldsponsor
  • EVACO GmbH Goldsponsor
  • heureka e-Business GmbH Goldsponsor
  • INFORMATION WORKS GmbH Goldsponsor
  • Marmeladenbaum GmbH Goldsponsor
  • OPITZ CONSULTING Goldsponsor
  • pmOne AG Goldsponsor
  • Poslovna inteligencija d.o.o. Goldsponsor
  • PPI AG Goldsponsor
  • PROCON IT AG Goldsponsor
  • SEVEN PRINCIPLES AG Goldsponsor
  • Snowflake Goldsponsor
  • Syncwork AG Goldsponsor
  • T-Systems Multimedia Solutions Goldsponsor
  • TIBCO Goldsponsor
  • TIMETOACT Software & Consulting GmbH Goldsponsor
  • Vertica Goldsponsor
  • accantec consulting AG Silbersponsor
  • AnalyticsCreator Solutions GmbH Silbersponsor
  • Attunity Ltd. Silbersponsor
  • Axians IT Solutions GmbH Silbersponsor
  • BARC GmbH Silbersponsor
  • biGenius Silbersponsor
  • BIVAL GmbH Silbersponsor
  • cimt objects ag Silbersponsor
  • Confexx Consulting GmbH Silbersponsor
  • Data Insights GmbH Silbersponsor
  • Data Reply Silbersponsor
  • datasqill - The Post-ETL Silbersponsor
  • Digital Ratio GmbH Silbersponsor
  • Disy Informationssysteme GmbH Silbersponsor
  • Empalis Consulting GmbH Silbersponsor
  • gmc² GmbH Silbersponsor
  • linkFISH Consulting GmbH Silbersponsor
  • Lufthansa Industry Solutions Silbersponsor
  • mayato GmbH Silbersponsor
  • MID GmbH Silbersponsor
  • ORAYLIS GmbH Silbersponsor
  • PRODATO Integration Technology GmbH Silbersponsor
  • QuinScape GmbH Silbersponsor
  • Solecon Silbersponsor
  • Woodmark Consulting AG Silbersponsor
  • DataLion GmbH Start-Up
  • SYNABI Start-Up