05.11.2026 aktualisiert

**** ******** ****
100 % verfügbar

Senior Data Engineer | Azure, Databricks, AWS & Microsoft Fabric

Frankfurt am Main, Deutschland
Weltweit
Informatik
Frankfurt am Main, Deutschland
Weltweit
Informatik

Profilanlagen

Aymen_Ayoub_Lebenslauf_Senior_Data_Engineer.pdf

Über mich

Senior Consultant Data Engineer (Dipl. Inf., Abschlussnote 1,8) mit mehrjähriger Projekterfahrung in Pharma, Chemie, Automotive und Finanzbranche. Schwerpunkte: Data Engineering, Business Intelligence, Big Data, ETL/ELT, Microsoft Azure, Process Mining sowie agile Methoden (Scrum, SAFe)

Skills

Amazon Web ServicesAmazon S3Data AnalysisMicrosoft AzureBig DataApache ImpalaData IntegrationETLData TransformationDevOpsApache HadoopApache HiveJava SELogische DatenmodelleSQL Server Management StudioAnforderungsanalyseAzure Data FactoryApache SparkGitLabMicrosoft Fabric (Analytics-Plattform)Data LakePySparkAWS GlueTerraformDaten-PipelineDatabricks
Berufliche Schwerpunkte:
Data Engineering & Data Platforms
  • Data Engineering, ETL/ELT, Data Integration & Migration
  • Datenmodellierung, Data Analytics und Data Warehousing
  • Entwicklung skalierbarer Datenpipelines und Lakehouse-Lösungen
Databricks & Lakehouse
  • Azure Databricks
  • Databricks SQL
  • Apache Spark / PySpark
  • Delta Lake
  • Unity Catalog
  • Lakeflow / Declarative Pipelines
  • Databricks Workflows
  • Databricks Asset Bundles / Declarative Automation Bundles
  • CI/CD und Infrastructure as Code
Microsoft Azure
  • Azure Data Factory
  • Azure Data Lake Storage / Blob Storage
  • Azure Databricks
  • Azure Synapse Analytics
  • Azure SQL Database
  • Microsoft Fabric
  • OneLake
  • PolyBase
Palantir Foundry
  • Ontology
  • Pipeline Builder
  • Repository
  • Workshop
  • Data Integration & Data Transformation
Business Intelligence & Analytics
  • Microsoft Power BI
  • SQL
  • Data Modeling
  • Data Analytics
  • Data Visualization
Big Data
  • Apache Hadoop
  • Apache Spark
  • Apache Hive
  • Apache Impala
  • Apache NiFi
  • Apache Kafka
  • Hue
Cloud
  • Microsoft Azure
  • AWS
  • Amazon S3
  • AWS Glue
  • Amazon Athena
  • AWS Lambda
Programmiersprachen
  • SQL
  • Python
  • PySpark
  • PL/SQL
  • Java
  • R
Python / Data Science
  • Pandas
  • NumPy
  • Matplotlib
  • NLP
  • Named Entity Recognition (NER)
  • NLTK
Infrastructure as Code & DevOps
  • Terraform
  • Databricks Asset Bundles
  • Azure DevOps
  • Git
  • GitHub
  • GitLab
Process Mining
  • Celonis (PQL, Action Flows, Orchestration Engine, Object-Centric Process Mining)
Agile & Collaboration
  • Scrum
  • Jira
  • Confluence
Development & Analytics Tools: VS Code, PyCharm, IntelliJ IDEA, Jupyter, SSMS, Azure Data Studio
Version Control & CI/CD: Git, GitHub, GitLab, Azure DevOps
Project Management & Documentation: Jira, Confluence

Kurse und Zertifikationen
  • Confluent Developer – Apache Kafka 101
  • Associate Databricks SQL Analyst Accreditation
  • Microsoft Certified: AI Fundamentals
  • Microsoft Certified: Azure Fundamentals
  • Microsoft Certified: Azure Data Fundamentals
  • AWS Certified Cloud Practitioner
  • Professional Scrum Master I (PSM I)
  • Cloudera Developer Training for Spark and Hadoop
  • Cloudera Introduction to Machine Learning with Spark ML and MLlib
  • SAP ERP Integration of Business Processes (TERP10)
  • ITIL Foundation in IT Service Management

Erfahrung

Berufserfahrungmehr als 10 Jahre
Freelancer seit2023

Sprachen

ArabischMutterspracheDeutschverhandlungssicherEnglischverhandlungssicherFranzösischverhandlungssicher

Projekthistorie

Senior Data Engineer

Technologieunternehmen mit Fokus auf Unternehmenslösungen

Wirtschaftsprüfung, Steuern und Recht

5000-10.000 Mitarbeiter

  1. Weiterentwicklung, Wartung und Test von Datenpipelines zur neartime-Verarbeitung von Kundendaten unter Anwendung etablierter Prinzipien des Software- und Data Engineerings
  2. Unterstützung bei der Bereitstellung der erforderlichen Infrastruktur für Datenkonsument:innen sowie für Machine-Learning-Modelle (ML-Engineering) und technische Erschließung relevanter Datenquellen
  3. Aufbereitung und Dokumentation technischer Entscheidungsgrundlagen sowie der damit verbundenen Risiken
  4. Mitverantwortung im Team für die kontinuierliche Optimierung des Entwicklungsprozesses, einschließlich CI/CD-Praktiken, DevOps-Ansätzen und MLOps-Methoden
  5. Unterstützung von Mitarbeitenden beim kontinuierlichen und automatisierten Lernen aus Interaktionen zwischen Menschen und Unternehmen zur nachhaltigen Verbesserung des Kundenerlebnisses

Senior Data Engineer

Automobilkonzern

Automobil und Fahrzeugbau

>10.000 Mitarbeiter

Konzeption, Migration und Optimierung von Datentransformationslogiken von Palantir Foundry in eine skalierbare AWS-Datenplattform
  1. Konzeption einer skalierbaren Data Lake Architektur auf AWS
  2. Modellierung und Optimierung von Datenstrukturen und -flüsse
  3. Überführung bestehender Logiken aus Palantir Foundry in AWS-native Services
  4. Entwicklung und Migration von ETL-/ELT-Prozessen mit AWS Glue
  5. Implementierung von serverlosen Datenpipelines unter Nutzung von AWS Lambda
  6. Aufbau und Verwaltung von Data Lakes auf Amazon S3
  7. Integration und Transformation von Daten aus verschiedenen Quellsystemen
  8. Implementierung von Zugriffs- und Berechtigungskonzepten mit AWS Lake Formation
  9. Aufbau und Provisionierung der AWS-Infrastruktur mittels Terraform (Infrastructure as Code)
  10. Eigenständige Weiterentwicklung der Datenplattform
  11. Beratung zu Best Practices im Bereich Cloud Data Engineering
  12. Optimierung von Kosten (Cost Optimization) und Performance auf AWS
Methoden/Technologien
AWS, S3, AWS Glue, AWS Lake Formation, ETL/ELT, SQL, Data Warehouse, AWS ClickHouse, Palantir Foundry, PySpark, Lambda functions, Amazon Athena, Migration, Terraform

Lead Data Engineer

Pharma und Medizintechnik

>10.000 Mitarbeiter

Implementierung und Skalierung von Datenpipelines mit Apache Spark​​ in Palantir Foundry​​
  1. Implementierung robuster, skalierbarer Datenarchitekturen sowie Aufbau und Weiterentwicklung performanter ETL-Prozesse zur Integration heterogener Datenquellen.
  2. Sicherstellung von Zuverlässigkeit, Effizienz und Skalierbarkeit der Datenpipelines durch kontinuierliches Monitoring, Performance-Tuning und proaktive Fehleranalyse.
  3. Automatisierung von Datenprozessen zur Reduzierung manueller Aufwände innerhalb der Datenplattform und angebundener BI- und Visualisierungstools.
  4. Implementierung von Datenqualitätsprüfungen und Validierungsmechanismen zur Gewährleistung von Datenkonsistenz und -genauigkeit.
  5. Sicherstellung der Einhaltung von Datenrichtlinien und Governance-Vorgaben sowie Aufbau und Pflege von Dokumentations- und Metadatenstandards.
  6. Förderung von Best Practices im Data Engineering und Etablierung einer Kultur der kontinuierlichen Verbesserung.
  7. Planung, Steuerung und Umsetzung von Data-Engineering-Projekten unter Einhaltung von Zeit-, Qualitäts- und Budgetvorgaben sowie aktives Management von Risiken und Abhängigkeiten.
Methoden & Technologien: Palantir Foundry, Apache Spark (PySpark), Data Modeling, Data Integration, ETL, SQL, Business Intelligence, KPI-Frameworks.

Senior Data Engineer

Chemiekonzern

Industrie und Maschinenbau

>10.000 Mitarbeiter

Migration einer bestehenden On-Premise Business Intelligence (BI) Anwendung in eine Cloud-basierte Architektur, einschließlich der Anpassung und Optimierung der Datenverarbeitungslogik
  1. Anbindung neuer Datenquellen in Databricks (z. B. SharePoint, SAP)
  2. Implementierung performanter ETL-Prozesse in Databricks mittels PySpark
  3. Migration und Optimierung bestehender Datentransformationslogiken von DAX (Power BI) nach PySpark (Databricks-Backend)
  4. Entwurf und Umsetzung skalierbarer Datenmodelle zur effizienten Datenbereitstellung
  5. Enge Zusammenarbeit mit den Business-Teams zur kontinuierlichen Weiterentwicklung der Datenbereitstellungslogik und zur Sicherstellung fachlicher Anforderungen
Methoden und Technologien: Microsoft Azure, Databricks, Apache Spark, PySpark, ETL, Azure Data Factory (ADF), Datenmigration, Datenmodellierung, Python, Pandas, DAX, KPI's, Power BI, PowerQuery, Azure DevOps

Senior Data Architect

Chemiekonzern

Industrie und Maschinenbau

>10.000 Mitarbeiter

Erstellung einer skalierbaren und effizienten High-Level-Datenarchitektur für die neue Datenplattform, die den Anforderungen verschiedener Geschäftsbereiche gerecht wird
  1. Verantwortung für den Entwurf und die Weiterentwicklung der Datenarchitektur der neuen Cloud-Plattform auf Basis der MACH-Prinzipien
  2. Erstellung technischer Konzepte zur effizienten und skalierbaren Umsetzung des Datenmanagements
  3. Aufbau, Organisation und Leitung der Community of Practice (CoP) zur Förderung des unternehmensweiten Wissensaustauschs im Bereich Datenarchitektur
  4. Entwicklung und Pflege von Datenmodellen für unterschiedliche Anwendungsfälle in der Cloud-Datenplattform
  5. Enge Zusammenarbeit mit den Business-Teams zur Anforderungsanalyse und Sicherstellung der fachlichen Kompatibilität der Datenarchitektur
Methoden und Technologien: Datenarchitektur, MACH architecture, Microsoft Azure, ETL, Data Warehousing, Datenmigration, Datenmodellierung, Datenmodellierung

Senior Consultant / Data Engineer

Süddeutscher Industrieunternehmen im Bereich Sales

Industrie und Maschinenbau

5000-10.000 Mitarbeiter

Migration der bestehenden SAP BW BI-Anwendung zu Microsoft Azure, um eine auf Azure basierende Lösung zu implementieren und SAP BW langfristig zu ersetzen
  1. Erstellung von Infrastruktur / Ressourcen in Microsoft Azure
  2. Integration von SAP BW/SAP ERP Daten in Microsoft Azure (ADLS Gen2) über Azure Data Factory
  3. Implementierung von Data Pipelines für die Datentransformation und Integration in Synapse Analytics
  4. Erstellung von Datenbankobjekten und Datenmodellierung in Synapse Analytics
  5. Überprüfung der Datenqualität und Behebung von Beladungsfehler bein Auftreten
Methoden und Technologien: Microsoft Azure, Azure Data Lake Storage (Gen2), Azure Synapse Analytics, Azure SQL Datenbank, Datenmodellierung, Datenmigration (Delta/Full), ETL, SQL DW, Vertrieb, Controlling

Senior Consultant/Data Engineer

Süddeutscher Sportwagenhersteller (OEM & Fahrzeugentwicklung)

Automobil und Fahrzeugbau

>10.000 Mitarbeiter

- Erstellung von Flows für die Anbindung von Daten aus externen (On-.Premise) Quellen in Apache Nifi
- Erstellung von Datenbankobjekten und Datenaufbereitung in Azure Databricks
- Automatisierung der Datenimports
- Sicherstellung von guter Datenqualität und Überprüfung von Datenlücken
- Testen der Datenflows
- Dokumentation der Implementierung auf Confluence

Methoden und Technologien: Microsoft Azure, Azure Databricks, PySpark, Apache Nifi, Streaming, SQL, ETL, Datenqualität, Azure Data Lake Storage Gen2 (ADLS Gen2), Confluence, Jira, Scrum

Senior Consultant/ Data Engineer

Süddeutscher Sportwagenhersteller im Bereich Karosseriebau

Automobil und Fahrzeugbau

>10.000 Mitarbeiter

*** Intelligent Quality: Automatisierte Fehlererkennung im bestimmten Bereiche der Produktion von einem führenden Sportwagenhersteller
  • Daten wurden in Echtzeit ohne manuelle Intervention in Celonis integriert mit dem Ziel Fehler in den Prozessen effizienter zu erkennen.
  • Anbindung und Integration externer Datenquellen in Celonis mittels eines Python-Moduls
  • Datenaufbereitung und -transformation in Azure Databricks unter Verwendung von SQL
  • Performanzanalyse und -optimierung von Datenprozessen
  • Durchführung von Process-Mining-Analysen mit Celonis
  • Entwicklung und Umsetzung von Datenanbindungen sowie Integrationslösungen im Celonis-Umfeld
  • Implementierung von Algorithmen und Regelwerken in Python (u. a. mit der Pandas-Bibliothek)
  • Durchführung von Datenanalysen und Erstellung datenbasierter Auswertungen
Methoden und Technologien: Process Mining, Celonis, Vertica, SQL, AWS Athena, S3, ETL, Process Query Language (PQL), Python, Pandas, Data Modeling, Jira, Confluence

Senior Consultant/Data Engineer

Süddeutscher Werkzeugmaschinenhersteller im Bereich Manufacturing

Industrie und Maschinenbau

>10.000 Mitarbeiter

Aufbau einer Cloud-basierten Datenplattform (DIP2.0) und Migration von Komponenten der alten Datenplattform (DIP1.0)
  1. Planung und Durchführung der Migration von Informatica-basierten Datenpipelines auf Azure Data Factory, um die bestehende Informatica-Plattform abzulösen und eine moderne, skalierbare und kosteneffiziente Datenverarbeitungsinfrastruktur zu etablieren
  2. Entwurf des ETL-Prozesses für verschiedene Datenquellen
  3. Implementierung von Data Pipelines in Azure Data Factory (ADF), um Daten von On-Premise-Systemen (wie SAP) in Microsoft Azure zu integrieren
  4. Erstellung, Anpassung der Konfiguration für die Load-Jobs
  5. Datenmodellierung und Erstellung von Datenbankobjekte
  6. Implementierung von Monitoring und Alerting für die ADF-Pipelines
  7. Erstellung von technischen Dokumentationen und Konzepte (Monitoring ADF Jobs mit Events)
Methoden und Technologien: Microsoft Azure, Informatica, Azure Data Factory (ADF), ETL, Datenmigration, Datenmodellierung, Hive, Azure Databricks, Apache Spark, Python, Pandas

Technology Consultant/Data Engineer

Größte Vielflieger- und Prämienprogramm in Europa

Transport und Logistik

250-500 Mitarbeiter

Migration von einer On-Premise Data Warehouse (Teradata) in die Cloud (Azure Synapse Analytics)
  1. Entwicklung von Skripten zur Erstellung und Verwaltung von Datenbankobjekten in Azure Synapse
  2. Implementierung von Datenpipelines in Azure Data Factory (ADF) zur Datenarchivierung und -verarbeitung
  3. Migration und Übersetzung bestehender Skripte von Teradata-SQL in T-SQL
  4. Durchführung der Datenmigration sowie Validierung und Qualitätssicherung der migrierten Daten
  5. Erstellung von technischen Konzepten, Prozessbeschreibungen und Dokumentationen
Methoden und Technologien: Microsoft Azure, Azure Data Factory (ADF), Microsoft SQL-Server (MS SQL), Microsoft SQL Server Integration Services (SSIS), Microsoft SQL Server Management Studio (SSMS), Teradata, Transact-SQL (T-SQL), Azure Synapse

Technology Consultant/Data Engineer

Führende Deutsche Fluggesellschaft

Transport und Logistik

>10.000 Mitarbeiter

APaaS-Innovation Project (AI Text Classification Service): Optimierung von einer existierenden AI Textklassifizierungsservice zur automatisierten Kategorisierung und Klassifikation von Kommentaren von Flugbegleitern sowie Eingaben von Reisenden in der Luftfahrtindustrie
  1. Entwurf und Optimierung von Komponenten einer bestehenden Datenarchitektur für Textklassifikationslösungen in Microsoft Azure
  2. Implementierung der entwickelten Architekturkomponenten innerhalb der Azure-Cloud-Umgebung
  3. Erstellung technischer Konzepte wie Sicherheits- und Datenspeicherungskonzepte
  4. Dokumentation der Implementierung und der zugrunde liegenden Architektur
Methoden und Technologien: Cloud (allg.), Cloud Computing, Machinelles Lernen (allg.), Microsoft Azure, Python, Software Architektur / Modellierung, Textklassifikation, NLP

Lead Applications Consultant

Bundesbehörde für amtliche Statistik

Öffentlicher Dienst

1000-5000 Mitarbeiter

  1. Entwicklung von Anwendungen in Java (SE)
  2. Erstellung und Durchführung von Testfällen zur Qualitätssicherung
  3. Entwicklung von Datenbankabfragen und Skripten für die Datenverarbeitung
  4. Ausarbeitung technischer Konzepte sowie Erstellung von Dokumentationen
Methoden und Technologien: J2EE (Java EE), J2SE (Java SE), Java (allg.), Oracle Database, Reporting, SQL, Testing (IT), XML

Data Engineer/ Data Scientist

Zentrale staatliche Analysebehörde für Finanztransaktionen

Öffentlicher Dienst

500-1000 Mitarbeiter

IT-Verfahren zur Bekämpfung von Geldwäsche und Terrorismusfinanzierung: Implementierung von einem KI-Moduls für die effiziente Erkennung von Geldwäsche und Terrorismus im Finanzbereich
  1. Implementierung einer Entitätserkennung (NLP-NER) zur Strukturierung unstrukturierter Daten aus Textdateien
  2. Einlesen und Verarbeitung von Daten aus unterschiedlichen internen und externen Quellen
  3. Erstellung eines Datenmodells sowie Integration externer Datenquellen (z. B. öffentliche Data Leaks)
  4. Konzeption und Umsetzung eines ETL-Prozesses sowie Aufbau eines Data Warehouses
  5. Analyse produktiver Kundendaten zur Optimierung und Effizienzsteigerung von Geschäftsprozessen
Methoden und Technologien: Apache Spark, Datawarehouse / DWH, ETL, Microsoft SQL-Server (MS SQL), Natural Language Processing (NLP), Oracle Database, SQL Loader, Pandas, Python, NLTK, Linguistik, Pandas, Jupyter Notebooks, Machine Learning, Supervised Learning, Classification, Scrum

IT-Consultant/Data Engineer

Ericsson Global Service Delivery Center Romania

Telekommunikation

>10.000 Mitarbeiter

Automatisierte Fehlersuche in Oracle Datenbanken
  1. Automatisierte Fehlerbehebung in Oracle Datenbanken
  2. Erstellung von DB-Abfragen, um Fehler in der Datenbank zu erstellen.
  3. Entwurf des Automatisierungsflusses und Implementierung der Wissensbausteine (Knowledge Items).
  4. Testen der gesamten Automatisierungsflusses
Methoden und Technologien: Oracle Database, PL/SQL, SQL, UML, XML

IT-Consultant/Developer

Deutsche Bank AG

Banken und Finanzdienstleistungen

>10.000 Mitarbeiter

Knowledge Based Automation Project: Automatisierung von Prozessen in verschiedenen IT-bereichen
  1. Implementierung von verschiedenen Anwendungsfälle in den Bereich Job -, User und Disk Management.-Implementierung der Automatisierung und Testen des Automatisierungsflusses
  2. Erstellung von Skripte für die Automatisierung
  3. Anwendung von Best Practices in der Implementierung der Automatisierung
  4. Vergleich der Performance der automatisierten Prozessen mit Ergebnissen von einem anderen Automatisierungstool
Methoden und Technologien: Bash (Shell), IBM Tivoli Software, Oracle Database, PL/SQL, Scripting, ServiceNow, SQL, UML, XML

Zertifikate

Microsoft Certified: Azure AI Fundamentals (AI-900)

Microsoft

2022

Microsoft Certified: Azure Fundamentals (AZ-900)

Microsoft

2021

Microsoft Certified: Azure Data Fundamentals (DP-900)

Microsoft

2021

AWS Certified Cloud Practitioner

Amazon Web Services Training and Certification

2020

Professional Scrum Master™ I (PSM I)

Scrum.org

2017

ITIL Foundation certificate in IT Service Management

Axelos

2014


Kontaktanfrage

Einloggen & anfragen.

Das Kontaktformular ist nur für eingeloggte Nutzer verfügbar.

RegistrierenAnmelden