Beschreibung
TätigkeitenbeschreibungIm Rahmen des Projektes soll die Datenversorgung nicht "eins-zu-eins" abgelöst werden, sondern eine neue Schnittstellen-, Prozess- und Datenarchitektur mittels eines neuen ETL-Tools, verbunden mit einem entsprechenden Architekturansatz, aufgebaut werden. Die Prozesse müssen einem Redesign unterzogen werden und es soll eine zukunftsfähige und skalierbare Lösung der Datenbewirtschaftung aufgebaut werden.
Technikunabhängige Beratung in Bezug auf eine zukunftsfähigen und skalierbaren Datenbewirtschaftungsarchitektur
Vorstellung verschiedene Architekturmöglichkeiten (z.B. Bussystem, Hub-Spoke-ETL, Generischer Ansatz, Point-to-Point, Daten Virtualisierung, Data Lake, usw.)
Bewertung dieser Architekturen in Hinblick auf die Anforderungen des Kunden
Beschreibung der Architektur für eine spätere Umsetzung
Umgebung:
historisch gewachsene DWH-Umgebung
Datentypen mit diversen Ausprägungen (XLS, CSV, TXT, XML, SWIFT etc.) – ca. 1.050 Dateien
Talend ETL-Tool
3.400 Flows
Ziele:
Die Ablösung der Datenbewirtschaftung soll mit möglichst geringem Umsetzungsaufwand. Reduktion der Anzahl, der ETL-Strecken.
Reduzierung des Wartungsaufwands. Hierfür ist es wichtig, dass Synergien gehoben werden und gleichartige Prozesse nur einmal implementiert werden, aber konfigurierbar sind. Die Reduzierung der ETL-Strecken spielt auch hier eine entscheidende Rolle.
Die Anbindung von neuen Systemen oder Ein-/Ausgangsdateien soll schnell und einfach umgesetzt werden können. Dies soll durch die Vereinheitlichung von Schnittstellen und dem Adapterprinzip erfolgen. Die Konfiguration von ETL-Strecken ist ebenfalls eine wichtige Komponente dieses Architekturansatzes zur Erreichung dieses Ziels.