Marc Bachhuber, IT-Consulting: Erfahrener Data Architect | ETL, Datenintegration, DWH-Architektur und BI\Reporting) auf www.freelancermap.de

11/2020 - 12/2020

Sperren und Löschen personenbezogenen Daten nach DSGVO (Bank)

Der Kunde aus dem Bereich Banking muss aus regulatorischen Gründen ein Konzept vorlegen und umsetzen, mit dem der Schutz von personenbezogenen Daten sichergestellt ist. Hierzu musste mit dem Kunden ein Konzept erarbeitet und umgesetzt werden das einer Compliance-Prüfung standhalten kann. Hierzu wurde ein vollautomatisiertes Verfahren entwickelt, dass durch Auslesen der DB-Metadaten eine zugangsbeschränkte Abstraktionsschicht erstellt wurde mit dem der Zugang zu personenbezogenen Daten nach DSGVO wirkungsvoll unterbunden werden konnte. Der Generator war dabei generisch für DB2 und Oracle einsetzbar.

Abstimmung und Feinjustierung des Konzepts
Erarbeitung der Automatisierungsverfahren
Bau des Generators mit Datastage

07/2020 - 10/2020

SAP ERP-Schnittstellenanbindung für Cost & Riskcontrolling (Bank)

(Banken und Finanzdienstleistungen)

Der Kunde aus dem Bereich Banking erzeugt im Risk- und Costcontrolling-Center Controllingdaten in Form von manuell erzeugten Excel-Sheets. Die Quelldaten werden aus einem SAP ERP Modul extrahiert und in Excel über die SAP Analyzer Schnittstelle eingelesen. Die anschließende Anpassung der Templates auf die einzelnen Bereiche erfolgte ausschließlich manuell.
Die bisherige Lösung wurde vollständig analysiert, abgelöst und um weitere benutzerorientierte Anforderungen erweitert. Seit der beim Kunden im Rahmen meiner Tätigkeit implementierten SAP ERP-Schnittstellen-Lösung erfolgt diese Erstellung vollständig automatisiert. Die nun auf VBA basierte Lösung ist deutlich effizienter und robuster als die bisherige Umsetzung und konnte die internen Mitarbeiter des Kunden in Ihrer Arbeit nachhaltig entlasten. Der modulare Aufbau der Lösung sorgt für eine schnelle Reaktionsfähigkeit für zukünftige Änderungen – etwa Änderungen der Berichtsvorlagen.

Analyse der bisherigen auf Formel-basierten Lösung
Vorschläge zur Prozessverbesserung, Automatisierung und Reduzierung von Medienbrüchen
Office-Automatisierung
Erstellung von benutzerfreundlichen GUIs
Umsetzung von den Konzepten zur SAP-Anbindung als VBA-Module in Excel und Access
Erstellung einer komplexen Vorlage zur Berechnung der operativen Budgetplanung auf Gesamtbankebene durch Zusammenführung der einzelnen Bereiche
SAP BW Schnittstelle mit MS Access

05/2020 - 07/2020

Aufbau eines DataVaults 2.0 mit AWS, Snowflake und PowerBI (Versicherung)

(Versicherungen)

Der Kunde betreibt einen AWS Cloud-basierten DataVault 2.0, bei dem die bisherigen Data Marts rein virtuell über Denodo bewirtschaftete wurden. Im Rahmen dieses Projektes waren zwei weitere Liefersysteme anzubinden, für die diese rein auf Views und Caches basierte Anbindung zu komplex war. Stattdessen sollten sowohl die Raw/Business Vaults, als auch die Marts in AWS-Cloud-basierten Snowflake Datenbanken persistiert werden. Diese Strecken waren aufzubauen und zu bewirtschaften. Die Bewirtschaftung erfolgte über SQL-Mittel und war für den Einsatz eines ETL-Tools vorzubereiten. Die Data Marts wurden über die Denodo-Schnittstelle direkt bewirtschaftet.

Analyse der Quellsysteme und Datennormalisierung
Unterstützung beim Design der Data Marts in Form von Star Schema
Aufbau der notwendigen DB-Entitäten in Snowflake
Erstellung von SQLs zur Bewirtschaftung von den Data Marts in der Cloud
Anbindung der Marts an das PowerBI-Datenmodell
Vorbereitung der Daten zur Implementierung eines Data Vaults 2.0

01/2020 - 04/2020

Erstellung von Jahres- und Halbjahresberichten (Fondgesellschaft)

(Banken und Finanzdienstleistungen)

Im Rahmen dieser Beauftragung benötigte der Kunde aus dem Assetmanagement Unterstützung bei der Erstellung von Jahres- und Halbjahresberichten. Hierfür mussten diverse Informationen für die Investmentsfonds ermittelt oder angefordert und in die Oracle DB eingepflegt werden. In Oracle mussten hierfür die genauen Formatvorlagen in ein komplexes Datenmodell eingepflegt werden. Für weitere Teile der Erstellung wurden VBA-Makros verwendet, die sich zu Beginn des Projektes in keinem stabilen Zustand befunden haben und im Rahmen meiner Tätigkeit stark verbessert wurden. Die Berichte selbst wurden in Adobe InDesign per Skripte erstellt und angepasst.

Prozessverbesserung
Anpassung der VBA-Makros.
Pflege der Oracle DB
Erstellung von Jahres- und Halbjahresberichten mit InDesign
Dokumentation von Vorgehensweisen zur Reporterstellung

01/2020 - 02/2020

PoC Erstellung eines Talend Job Schedulers

Im Rahmen dieses PoC-Projekts sollte ein auf Talend BD basierendes generisches Konzept entwickelt werden, um einen Job Scheduler auf Basis von Talend umsetzen zu können. Hierfür wurden zunächst einige kleinere Talend ETL-Jobs zur Simulation einer DWH-Bewirtschaftung erstellt. Der neu erstellte Job Scheduler sollte nun in der Lage sein, Jobs anhand von Scheduling-Informationen einzuplanen. Weitere Anforderungen waren die Berücksichtigung von zeitlichen Abhängigkeiten, unterschiedlicher Serientypen, Abhängigkeiten zu Vorgängern und Ausführungs-Prioritäten.

Erarbeitung eines generischen Konzepts für den Bau eines auf Talend basierten Job Schedulers
Umsetzung des Job Schedulers mit Talend
Dokumentation der Ergebnisse

01/2019 - 12/2019

Evaluierung von Cloud Diensten und Virtualisierungen und Analyse in PowerBI

Es handelte sich hierbei um ein ca. einjähriges Projekt zur Evaluierung von diversen Cloud-Technologien. Das Projekt bestand aus mehreren Arbeitspakten. Der Fokus war die Umsetzung von passenden Proof of Concepts im Cloud Umfeld. Umfassende Bewertung von Vor- und Nachteilen vom reinen Cloud-Integrationstool Matillion, sowie eine Evaluierung des Zusammenspiels mit SnowFlake. Ebenso wurde der Cloudera-Stacks hinsichtlich Zusammenspiel mit Informatica BDM analysiert. Der Fokus war der Bau von aussagekräftigen ETL-Jobs zum Test der Praxistauglichkeit der Informatica-BDM-Konnektoren. Darüber hinaus sollte unter Verwendung des Virtualisierungstools Denodo ein virtueller DWH-Core aufgebaut werden. Die Tools und Services wurden jeweils gründlich analysiert und umfassende PoCs gebaut.
Diverse virtuelle Installationen unter AWS mit EC2 / RDS / S3 (jeweils für Informatica BDM, Matillion, Redshift, Snowflake und Cloudera)

Konfiguration der Services für Cloudera, Redshift Snowflake und Matillion
Installation und Konfiguration von Informatica BDM
Konfiguration der Cloudapplikationen und Datenbanken
Bau von mehreren aussagekräftigen ETL-Jobs mit Matillion unter Verwendung von Redshift und SnowFlake
Evaluierung von Cloud Matillion ELT-Jobs gegenüber ETL-On-Premise Lösungen mit Informatica (PowerCenter) und IBM (DataStage)
Wissensaufbau im Bereich Snowflake und Abgrenzung von relationalen on-Premise Datanbanken wie Oracle
Umfangreicher Wissenstransfer durch mehrere Präsentationen mit Live-Demos
Wissensaufbau im Bereich Cloudera insbesondere mit Fokus auf HDFS, HIVE und HUE und Einbindung in Informatica BDM durch ETL-Jobs, die HDFS und HIVE als Konnektoren verwenden.
Erstellung eines virtuellen DHWs als PoC mit Denodo
Wissenstransfer von den Virtualisierungsfähigkeiten von Denodo
Vergleich von Datanintegration mit Denodo mit ETL-On-Premise Lösungen
Gesamtevaluierung der Themen
Aufsetzen eines geeigneten PowerBI-Datenmodells
Visualisierung der Ergebnisse auf Dashboards (PowerBI)

12/2018 - 12/2019

Konzeption und Erstellung einer Architektur zur Datenmaskierung (Versicherung)

(Versicherungen)

Ein Unternehmen aus der Versicherungsbranche benötigte umfassende Unterstützung im Bereich Testdatenbereitstellung. Mit Hilfe von Informatica als Backend und eines Java-Frameworks als Frontend sollte eine Lösung entwickelt werden die es den Anwendern ermöglicht beliebige Produktionsdaten per Self-Service auf verschiedene Testumgebungen laden zu können. Beim Kopieren sollten diese Daten automatisch anonymisiert werden. Die Hauptdatenquelle war dabei eine auf DB2/zOS-basierte Host-Datenbank; zwischengespeichert wurden die Daten von Informatica als XML-Dateien. Hierdurch konnten Testdaten auch zu einem späteren Zeitpunkt erneut geladen werden. Zudem wurde mit dem Tool SQS-TEST/Professional ein Testkonzept erarbeitet und umgesetzt

Konzeption der Lösung zur Datenmaskierung
Modellierung der entsprechenden Informatica Workflows
Konfiguration von Shell-Aufrufen und Skripten
Konzeption und Umsetzung von Teststrategien
Durchführung von Tests
Performancetuning und Erhöhung der Robustheit
Beratung des Kunden durch Informatica und Test Knowhow

Marc Bachhuber

IT-Consulting: Erfahrener Data Architect | ETL, Datenintegration, DWH-Architektur und BIReporting)

Schlagwörter

Dateianlagen

Skills

Projekthistorie

Reisebereitschaft