Data Engineer

## Projekt

Mitarbeit Einführung Data Lake und Big Data and Analytics Platform.  
Einführung zuerst on Prem, anschließend Migration in die Cloud.  
Technical Product Owner des Data Catalog & Governance Tools.

### Aufgaben

- Betreuung und Aufbau des Enterprise Data Catalogs & Data Governance Tools für den Datalake (zuerst auf Basis von Hadoop Cluster, danach Azure Databricks / ADLS)
- Migration des Catalogs in die Cloud (Python und REST API)
- Importroutinen für Import von Meta-Daten in den Data Catalog (Python / Jupyter Notebooks / Databricks)
- Lineage im Data Catalog (u.A. Integration Databricks Logging)
- Profiling von Data Lake Daten im Data Catalog (Databricks pySpark)
- Integration der DataLake ETL-Strecken in den Data Catalog (REST-API)
- Integration von Power-BI und Azure SQL in den Data Catalog
- Aufbau von Hive LLAP im Hadoop Cluster
- Unterstützung von Fachabteilungen bei Umsetzung von Usecases in Hadoop-Cluster
- Einführung und Übergabe der Aufgaben an Near-Sourcing Mitarbeiter

Projekt wurde mittels SCRUM organisiert.
Projektsprache englisch, da Projektmitarbeiter verteilt in USA, UK, Deutschland, Polen, Bulgarien und Singapur

### Technisches Umfeld

Hadoop (Hortonworks / Cloudera), YARN, Hive, Hive LLAP, HBase, Spark, Solr, Oozie, Kafka, HDInsight, Azure Cloud, Azure Databricks, Azure SQL, Azure Data Factory, ARM Azure Resource Management, ADLS, Alation, OAuth2, Ansible, Docker, Kubernetes, Scrum, Azure DevOps, Visual Studio Code, REST API, Postman, Python, Python Django, Scala

## Projekt

Migration von J2EE-Anwendungen einer Landesbank von WNI[^Wincor Nixdorf] zur FITS.  

### Aufgaben

- Erstellung automatischer Deployments mittels Ansible Playbooks
- Konfiguration der WebSphere-Umgebung mittels Python-Skripte und Property-Based-Verfahren
- Anbindungen der Applikationen an Datenbanken und Queueing-Systeme
- Monitoring der Komponenten
- Dokumentation und Betriebsübergabe

### Technisches Umfeld

WebSphere Application Server (ND), git, Gitlab CI, Docker, Ansible, Python, diverse DB, Websphere MQ

## Projekt

Aufbau einer mandantenfähigen neuen Kernbank-Umgebung für Privatbanken.

### Aufgaben

- Schnittstellen-Entwicklung und Konfiguration für das Kernbanken-System
- Report-Erstellungen
- Dokumentation und Betriebsübergabe

### Technisches Umfeld

Avaloq, Div. Avaloq-Schnittstellen, SQL, Oracle, Cognos, Python und Shell-Programmierung

## Projekt

Aufbau technisches DWH inklusive ETL-Prozesse.  Aufbau Reporting im IT-Betrieb für diverse Fragestellungen.  
Aufbau der DWH-Lösung in einer Big-Data-Umgebung (Hadoop).  

### Aufgaben

- Aufbau technisches DWH.
- Datenaufbereitungen (ETL) im technischen Umfeld mittels Kettle (Pentaho Data Integration).
- Datenlieferungen aus Monitoring-, Scheduling-, Deployment-, Event-Verarbeitungs- SAN-, Backup-, DB-Applikationen und direkt aus Applikationen
- Aufbau von Automatisierungen (Integration ins Scheduling, Funktionalitätserweiterungen mittels Java)
- Report-Erstellung mittels Eclipse-BIRT / Cognos für IKS, Capacity-, Availability und Licence-Management
- Aufbau eines Hadoop-Clusters und Toolevaluierungen
- Erstellung der Reporting Lösung in einem Hadoop-Cluster

### Technisches Umfeld

Eclipse, SQL-Explorer, div. SQL-Varianten (Oracle, DB2, MS-SQL, Sybase-SQL, MySQL) BIRT, Pentaho PDI Kettle, Informatica Powercenter, Cognos, Java, Perl
Hadoop (HDFS / YARN), Sqoop, Hive, Pig, HBase

## Projekt

Migration(en) und Redesign der Event-Verarbeitung.  
Produktevaluation für Event-Verarbeitung.

### Aufgaben

- Migration Event-Verarbeitungstool von TEC nach Omnibus
- Migration einer Regel-Datenbank vom Trouble-Ticket-Tool ins Netcool Omnibus
- Redesign der technischen Event-Verarbeitung
- Produktevaluation für Event-Verarbeitung
- Integration ins Business Service Management Reporting

### Technisches Umfeld

Tivoli Netcool Omnibus, Tivoli Event Console (TEC), Kyberna Ky2Help, AIX, Java, Sybase, Oracle, PL/SQL, BIRT

## Projekt

Design, Entwicklung und Einführung einer Provisioning Lösung für Unix-Server im Avaloq-Umfeld.

### Aufgaben

- Projektleitung und Mitarbeit bei der Einführung des Unix-Provisionings
- Anpassen des Provisionings an die Umgebungen und Betriebsabläufe (Test-Umgebungen, Produktions-Umgebung)
- Entwicklung von TPM-Workflows
- Integration der ersten (Pilot-)Applikationen in die Provisioning Lösung (Avaloq-R und Avaloq-Z)
- Reporting
- Migration der Provisioning-Lösung

### Technisches Umfeld

Tivoli Provisioning Manager, Eclipse, Avaloq, AIX, Subversion, Maximo, BIRT, Cognos

## Projekt

Ablösung einer Monitoring-Installation primär unter Kostenaspekten (Open-Source-Lösung)

### Aufgaben

Evaluation von Monitoring-Lösungen
Ablösung vom IBM Tivoli Monitoring durch Groundwork
Reporting

### Technisches Umfeld
Tivoli Monitoring, Groundwork (Nagios), PostgreSQL, Cognos. BIRT

## Projekte

Reorganisation und Erweiterung des System-Managements.  
Diverse Projekttätigkeiten im Umfeld Datensicherung und Alarmierung.

### Aufgaben

- Mitarbeit bei Software Verteilung, Inventarisierung, Aufbau der CMDB
- Review des Bestehenden System-Management
- Aufbau und Integration des Business Service Managements mit TBSM
- Integration diverser Überwachungssysteme und Applikationen ins Tivoli-Monitoring.
- Integration des SANs in das System-Management
- Erstellung von Konzepten und Definitionen im Datensicherungsumfeld
- Integration eines neuen Alarmierungs-Systems

### Technisches Umfeld

Tivoli, DB2, Oracle, Alarmpoint, Solaris, AIX, Windows, Websphere, TBSM, TSM, TPC, MOM / SCOM

## Projekt

Konsolidierung und Migration einer Job-Scheduling-Installation in einer ETL- Data-Warehouse-Umgebung unter Unix. (Im Rahmen einer RZ-Migration von IBM Maidenhead UK zur TUI-Infotec Hannover).  
Integration in das bestehende Systemmanagement.  

## Aufgaben

- Migration von TWS 7.0 auf 8.2
- Revision des bestehenden ETL-Job-Schedulings unter Berücksichtigung einer Migration auf UC4:Global und Migration von TWS nach UC4:Global.
- Integration der ETL-Jobs in das bestehende Systemmanagement mit Hilfe von IBM Tivoli.
- Betreuung / Konsolidierung der ETL-Jobs.

Projektsprache englisch.

### Technisches Umfeld

IBM Tivoli Workload Scheduler 7.0, 8.2, Framework 3.7 und 4.1, Monitoring 3.7 und 5.1, TEC 3.7 und 3.9, UC4:Global 3.02, Solaris 8, IBM-UDB 8, Informatica PowerMart 7.

## Projekt

Revision, Konsolidierung und Upgrade einer Systemmanagement-Umgebung (Tivoli).

### Aufgaben

- Analyse und Konsolidierung des bestehenden Systemmanagements.
- Optimierung des Tivoli-Frameworks (MDist2) zu Software-Distributions Zwecken.
- Automatisierung diverser Arbeitsabläufe (mittels Perl und Tivoli).
- Migration auf neues Betriebssystem (Solaris 8) und neue Tivoli-Versionen (Framework 4.1 und Configuration Manager 4.2)

### Technisches Umfeld

IBM Tivoli Framework 3.7.1 und 4.1, Software Distribution 3.6 und 4.1, Inventory 3.6, Configuration Manager 4.2, BMC Patrol, TEC 3.6 und 3.7, diverse proprietäre Tools, Oracle 8.1.6.
Solaris 8 (Veritas Cluster Server), HP-UX 11.00 (MC-Service Guard) und Windows NT 4.0 und XP

## Projekt

Erneuerung des IT-Deployment-Systems (Software-Verteilung und Installation während 4 beschränkten Zeitfenstern pro Jahr)

### Aufgaben

- Analyse des bestehenden Systemsmanagement (Software Distribution).
- Upgrade der bestehenden Software Distributions Lösung unter Beibehaltung aller zusätzlichen Tools und unter Beibehaltung der Organisationsstrukturen.
- Optimierung des Tivoli-Frameworks (MDist2) zu Software-Distributions Zwecken.
- Unterstützung in zwei anderen Tivoli-Projekten (Upgrade auf Monitoring 5.1.1, Upgrade auf Remote Control 3.7).
- Automatisierung diverser Arbeitsabläufe (mittels Perl und Tivoli).
- Implementierung von Tivoli in einer Firewall-Umgebung.
- Implementierung automatisierter Test-Prozeduren für die Tivoli-Umgebung (insbesondere für Software Distribution)
- Testaufbau für Tivoli Identity Manager

### Technisches Umfeld

IBM Tivoli Framework 3.7.1, Software Distribution 3.6 und 4.1, Inventory 3.6 und 4.0, Tivoli Monitoring 3.6 und 5.1.1, TEC 3.6 und 3.7, Remote Control 3.6 und 3.7, Tivoli Identity Manager, Firewall Security Toolbox, diverse proprietäre Tools, Oracle 7.3.4 und 8.1.6.
AIX 4.3.3 und Windows NT 4.0.

Design und Implementierung des Tivoli-Systems-Managements für einen Application-Service-Provider.
Unix-Systemadministration.

Design und Implementierung des Tivoli-Systems-Managements.
Tivoli Applikationsmanagement in einer Client-Server-Environment für ein Customer Care and Billing System.

Analyse und Design im einem OO-Softwareentwicklungsprojekt für ein Fluglinien-Buchungs und Reservierungssystem.

Planung und Implementierung eines Systemsmanagements im PC-Umfeld.

Optische Archivierung, System- und Netzwerkmanagement, Optimierung der System- und Netzinfrastruktur.