Im Rahmen des BCBS 239 Projektes der Union Investment deckt das Teil-Projekt DQM (Daten- Qualitäts-Management) mit der SAS Plattform Data-Governance- und Data-Quality-Teile ab.
Durch die SAS Plattform werden Nutz- und Metadaten verschiedener Daten-Messpunkte der Union Investment eingelesen, mittels Regeln geprüft und die Ergebnisse mit einem Issue Management System ausgetauscht.
Weiterhin wird mittels der SAS Plattform, insbesondere des SAS Business Data Network und SAS Lineage eine Data Governance Lösung umgesetzt, welche sowohl einen textuellen Überblick über die verwendeten logischen und physischen Kontrollen, Datenfelder und anderen Entitäten, als auch eine grafische Darstellung des Datenflusses durch die verwendeten Daten-Messpunkte bietet.
Eingesetzte Skills:
- Data Management Studio 2.7
- Data Integration Studio 4.902
- Enterprise Guide 7.1
- Business Data Network
- Visual Analytics
- Oracle Database 12.1
Rolle im Projekt:
- SAS Entwickler
- Oracle-Entwickler,
- Konzeptionierung, Dokumentation, Qualitätssicherung
- Architekt, Berater
Tätigkeit im Projekt:
Alleinige Konzeptionierung und Umsetzung einer Job-Steuerung, mit SAS Data Integration Studio und Oracle, zur Event-gesteuerten Verarbeitung von SAS-Jobs für das Teil-Projekt DQM
- Die Job-Steuerung kann auf verschiedene Events, wie
- Zeit
- externe Trigger
- interne Trigger
- manuelle Trigger und
- Überprüfung von neuen Dateien in Verzeichnissen
- reagieren
- Sie kann damit Parameter-gesteuert Prozesse starten
- Prozesse können aus ein oder mehreren Schritten (Jobs) bestehen, die dann, in vordefinierter Reihenfolge und Priorität, seriell und/oder parallel abgearbeitet werden
- auf Stör-Einflüsse, wie Fehler in den einzelnen Jobs, wird durch Anhalten bestimmter Job-Ketten, entsprechend reagiert
- die Nachvollziehbarkeit der Läufe wird durch ein entsprechendes Logging sichergestellt
- das Nachfahren von abgebrochenen oder angehaltenen Jobs ist leicht möglich
Nach dem erfolgreichen Test und Inbetriebnahme der Job-Steuerung anpassen aller SAS-Jobs, damit diese über die Job-Steuerung verarbeitet werden können und in Einklang mit dem Fehler-Handling agieren.
Konfiguration der Job-Steuerung für alle bestehenden SAS-Jobs.
Entwickeln von SAS-DM-Studio-Jobs und SAS-DI-Studio-Jobs für das Daten-Qualitäts-Management.
Anbindung von SAS-BDN mit SAS-DM-Studio über die REST-API für die Meta-Daten-Pflege, sowie für die dynamische und durch die Job-Steuerung vollautomatisierte Verarbeitung von Data-Quality- Kontrollen.
Schnüren von Deployment-Paketen für die Produktionsumgebung
Begleitung des Betriebs bei dem Deployment auf der Produktion
Erstellen der SAS- und Oracle-Entwickler-Richtlinien für DQM