Senior Data Engineer | Azure, Databricks, AWS & Microsoft Fabric
Frankfurt am Main, Deutschland
Weltweit
Informatik
Frankfurt am Main, Deutschland
Weltweit
Informatik
Profilanlagen
Aymen_Ayoub_Lebenslauf_Senior_Data_Engineer.pdf
Über mich
Senior Consultant Data Engineer (Dipl. Inf., Abschlussnote 1,8) mit mehrjähriger Projekterfahrung in Pharma, Chemie, Automotive und Finanzbranche.
Schwerpunkte: Data Engineering, Business Intelligence, Big Data, ETL/ELT, Microsoft Azure, Process Mining sowie agile Methoden (Scrum, SAFe)
Skills
Amazon Web ServicesAmazon S3Data AnalysisMicrosoft AzureBig DataApache ImpalaData IntegrationETLData TransformationDevOpsApache HadoopApache HiveJava SELogische DatenmodelleSQL Server Management StudioAnforderungsanalyseAzure Data FactoryApache SparkGitLabMicrosoft Fabric (Analytics-Plattform)Data LakePySparkAWS GlueTerraformDaten-PipelineDatabricks
Berufliche Schwerpunkte:
Data Engineering & Data Platforms
Data Engineering, ETL/ELT, Data Integration & Migration
Datenmodellierung, Data Analytics und Data Warehousing
Entwicklung skalierbarer Datenpipelines und Lakehouse-Lösungen
Technologieunternehmen mit Fokus auf Unternehmenslösungen
Wirtschaftsprüfung, Steuern und Recht
5000-10.000 Mitarbeiter
Weiterentwicklung, Wartung und Test von Datenpipelines zur neartime-Verarbeitung von Kundendaten unter Anwendung etablierter Prinzipien des Software- und Data Engineerings
Unterstützung bei der Bereitstellung der erforderlichen Infrastruktur für Datenkonsument:innen sowie für Machine-Learning-Modelle (ML-Engineering) und technische Erschließung relevanter Datenquellen
Aufbereitung und Dokumentation technischer Entscheidungsgrundlagen sowie der damit verbundenen Risiken
Mitverantwortung im Team für die kontinuierliche Optimierung des Entwicklungsprozesses, einschließlich CI/CD-Praktiken, DevOps-Ansätzen und MLOps-Methoden
Unterstützung von Mitarbeitenden beim kontinuierlichen und automatisierten Lernen aus Interaktionen zwischen Menschen und Unternehmen zur nachhaltigen Verbesserung des Kundenerlebnisses
Senior Data Engineer
Automobilkonzern
Automobil und Fahrzeugbau
>10.000 Mitarbeiter
Konzeption, Migration und Optimierung von Datentransformationslogiken von Palantir Foundry in eine skalierbare AWS-Datenplattform
Konzeption einer skalierbaren Data Lake Architektur auf AWS
Modellierung und Optimierung von Datenstrukturen und -flüsse
Überführung bestehender Logiken aus Palantir Foundry in AWS-native Services
Entwicklung und Migration von ETL-/ELT-Prozessen mit AWS Glue
Implementierung von serverlosen Datenpipelines unter Nutzung von AWS Lambda
Aufbau und Verwaltung von Data Lakes auf Amazon S3
Integration und Transformation von Daten aus verschiedenen Quellsystemen
Implementierung von Zugriffs- und Berechtigungskonzepten mit AWS Lake Formation
Aufbau und Provisionierung der AWS-Infrastruktur mittels Terraform (Infrastructure as Code)
Eigenständige Weiterentwicklung der Datenplattform
Beratung zu Best Practices im Bereich Cloud Data Engineering
Optimierung von Kosten (Cost Optimization) und Performance auf AWS
Implementierung und Skalierung von Datenpipelines mit Apache Spark in Palantir Foundry
Implementierung robuster, skalierbarer Datenarchitekturen sowie Aufbau und Weiterentwicklung performanter ETL-Prozesse zur Integration heterogener Datenquellen.
Sicherstellung von Zuverlässigkeit, Effizienz und Skalierbarkeit der Datenpipelines durch kontinuierliches Monitoring, Performance-Tuning und proaktive Fehleranalyse.
Automatisierung von Datenprozessen zur Reduzierung manueller Aufwände innerhalb der Datenplattform und angebundener BI- und Visualisierungstools.
Implementierung von Datenqualitätsprüfungen und Validierungsmechanismen zur Gewährleistung von Datenkonsistenz und -genauigkeit.
Sicherstellung der Einhaltung von Datenrichtlinien und Governance-Vorgaben sowie Aufbau und Pflege von Dokumentations- und Metadatenstandards.
Förderung von Best Practices im Data Engineering und Etablierung einer Kultur der kontinuierlichen Verbesserung.
Planung, Steuerung und Umsetzung von Data-Engineering-Projekten unter Einhaltung von Zeit-, Qualitäts- und Budgetvorgaben sowie aktives Management von Risiken und Abhängigkeiten.
Methoden & Technologien: Palantir Foundry, Apache Spark (PySpark), Data Modeling, Data Integration, ETL, SQL, Business Intelligence, KPI-Frameworks.
Senior Data Engineer
Chemiekonzern
Industrie und Maschinenbau
>10.000 Mitarbeiter
Migration einer bestehenden On-Premise Business Intelligence (BI) Anwendung in eine Cloud-basierte Architektur, einschließlich der Anpassung und Optimierung der Datenverarbeitungslogik
Anbindung neuer Datenquellen in Databricks (z. B. SharePoint, SAP)
Implementierung performanter ETL-Prozesse in Databricks mittels PySpark
Migration und Optimierung bestehender Datentransformationslogiken von DAX (Power BI) nach PySpark (Databricks-Backend)
Entwurf und Umsetzung skalierbarer Datenmodelle zur effizienten Datenbereitstellung
Enge Zusammenarbeit mit den Business-Teams zur kontinuierlichen Weiterentwicklung der Datenbereitstellungslogik und zur Sicherstellung fachlicher Anforderungen
Methoden und Technologien: Microsoft Azure, Databricks, Apache Spark, PySpark, ETL, Azure Data Factory (ADF), Datenmigration, Datenmodellierung, Python, Pandas, DAX, KPI's, Power BI, PowerQuery, Azure DevOps
Senior Data Architect
Chemiekonzern
Industrie und Maschinenbau
>10.000 Mitarbeiter
Erstellung einer skalierbaren und effizienten High-Level-Datenarchitektur für die neue Datenplattform, die den Anforderungen verschiedener Geschäftsbereiche gerecht wird
Verantwortung für den Entwurf und die Weiterentwicklung der Datenarchitektur der neuen Cloud-Plattform auf Basis der MACH-Prinzipien
Erstellung technischer Konzepte zur effizienten und skalierbaren Umsetzung des Datenmanagements
Aufbau, Organisation und Leitung der Community of Practice(CoP) zur Förderung des unternehmensweiten Wissensaustauschs im Bereich Datenarchitektur
Entwicklung und Pflege von Datenmodellen für unterschiedliche Anwendungsfälle in der Cloud-Datenplattform
Enge Zusammenarbeit mit den Business-Teams zur Anforderungsanalyse und Sicherstellung der fachlichen Kompatibilität der Datenarchitektur
Methoden und Technologien: Datenarchitektur, MACH architecture, Microsoft Azure, ETL, Data Warehousing, Datenmigration, Datenmodellierung, Datenmodellierung
Senior Consultant / Data Engineer
Süddeutscher Industrieunternehmen im Bereich Sales
Industrie und Maschinenbau
5000-10.000 Mitarbeiter
Migration der bestehenden SAP BW BI-Anwendung zu Microsoft Azure, um eine auf Azure basierende Lösung zu implementieren und SAP BW langfristig zu ersetzen
Erstellung von Infrastruktur / Ressourcen in Microsoft Azure
Integration von SAP BW/SAP ERP Daten in Microsoft Azure (ADLS Gen2) über Azure Data Factory
Implementierung von Data Pipelines für die Datentransformation und Integration in Synapse Analytics
Erstellung von Datenbankobjekten und Datenmodellierung in Synapse Analytics
Überprüfung der Datenqualität und Behebung von Beladungsfehler bein Auftreten
Methoden und Technologien: Microsoft Azure, Azure Data Lake Storage (Gen2), Azure Synapse Analytics, Azure SQL Datenbank, Datenmodellierung, Datenmigration (Delta/Full), ETL, SQL DW, Vertrieb, Controlling
- Erstellung von Flows für die Anbindung von Daten aus externen (On-.Premise) Quellen in Apache Nifi
- Erstellung von Datenbankobjekten und Datenaufbereitung in Azure Databricks
- Automatisierung der Datenimports
- Sicherstellung von guter Datenqualität und Überprüfung von Datenlücken
- Testen der Datenflows
- Dokumentation der Implementierung auf Confluence
Methoden und Technologien: Microsoft Azure, Azure Databricks, PySpark, Apache Nifi, Streaming, SQL, ETL, Datenqualität, Azure Data Lake Storage Gen2 (ADLS Gen2), Confluence, Jira, Scrum
Senior Consultant/ Data Engineer
Süddeutscher Sportwagenhersteller im Bereich Karosseriebau
Automobil und Fahrzeugbau
>10.000 Mitarbeiter
*** Intelligent Quality: Automatisierte Fehlererkennung im bestimmten Bereiche der Produktion von einem führenden Sportwagenhersteller
Daten wurden in Echtzeit ohne manuelle Intervention in Celonis integriert mit dem Ziel Fehler in den Prozessen effizienter zu erkennen.
Anbindung und Integration externer Datenquellen in Celonis mittels eines Python-Moduls
Datenaufbereitung und -transformation in Azure Databricks unter Verwendung von SQL
Performanzanalyse und -optimierung von Datenprozessen
Durchführung von Process-Mining-Analysen mit Celonis
Entwicklung und Umsetzung von Datenanbindungen sowie Integrationslösungen im Celonis-Umfeld
Implementierung von Algorithmen und Regelwerken in Python (u. a. mit der Pandas-Bibliothek)
Durchführung von Datenanalysen und Erstellung datenbasierter Auswertungen
Methoden und Technologien: Process Mining, Celonis, Vertica, SQL, AWS Athena, S3, ETL, Process Query Language (PQL), Python, Pandas, Data Modeling, Jira, Confluence
Senior Consultant/Data Engineer
Süddeutscher Werkzeugmaschinenhersteller im Bereich Manufacturing
Industrie und Maschinenbau
>10.000 Mitarbeiter
Aufbau einer Cloud-basierten Datenplattform (DIP2.0) und Migration von Komponenten der alten Datenplattform (DIP1.0)
Planung und Durchführung der Migration von Informatica-basierten Datenpipelines auf Azure Data Factory, um die bestehende Informatica-Plattform abzulösen und eine moderne, skalierbare und kosteneffiziente Datenverarbeitungsinfrastruktur zu etablieren
Entwurf des ETL-Prozesses für verschiedene Datenquellen
Implementierung von Data Pipelines in Azure Data Factory (ADF), um Daten von On-Premise-Systemen (wie SAP) in Microsoft Azure zu integrieren
Erstellung, Anpassung der Konfiguration für die Load-Jobs
Datenmodellierung und Erstellung von Datenbankobjekte
Implementierung von Monitoring und Alerting für die ADF-Pipelines
Erstellung von technischen Dokumentationen und Konzepte (Monitoring ADF Jobs mit Events)
Methoden und Technologien: Microsoft Azure, Informatica, Azure Data Factory (ADF), ETL, Datenmigration, Datenmodellierung, Hive, Azure Databricks, Apache Spark, Python, Pandas
Technology Consultant/Data Engineer
Größte Vielflieger- und Prämienprogramm in Europa
Transport und Logistik
250-500 Mitarbeiter
Migration von einer On-Premise Data Warehouse (Teradata) in die Cloud (Azure Synapse Analytics)
Entwicklung von Skripten zur Erstellung und Verwaltung von Datenbankobjekten in Azure Synapse
Implementierung von Datenpipelines in Azure Data Factory (ADF) zur Datenarchivierung und -verarbeitung
Migration und Übersetzung bestehender Skripte von Teradata-SQL in T-SQL
Durchführung der Datenmigration sowie Validierung und Qualitätssicherung der migrierten Daten
Erstellung von technischen Konzepten, Prozessbeschreibungen und Dokumentationen
Methoden und Technologien: Microsoft Azure, Azure Data Factory (ADF), Microsoft SQL-Server (MS SQL), Microsoft SQL Server Integration Services (SSIS), Microsoft SQL Server Management Studio (SSMS), Teradata, Transact-SQL (T-SQL), Azure Synapse
Technology Consultant/Data Engineer
Führende Deutsche Fluggesellschaft
Transport und Logistik
>10.000 Mitarbeiter
APaaS-Innovation Project (AI Text Classification Service): Optimierung von einer existierenden AI Textklassifizierungsservice zur automatisierten Kategorisierung und Klassifikation von Kommentaren von Flugbegleitern sowie Eingaben von Reisenden in der Luftfahrtindustrie
Entwurf und Optimierung von Komponenten einer bestehenden Datenarchitektur für Textklassifikationslösungen in Microsoft Azure
Implementierung der entwickelten Architekturkomponenten innerhalb der Azure-Cloud-Umgebung
Erstellung technischer Konzepte wie Sicherheits- und Datenspeicherungskonzepte
Dokumentation der Implementierung und der zugrunde liegenden Architektur
Methoden und Technologien:Cloud (allg.), Cloud Computing, Machinelles Lernen (allg.), Microsoft Azure, Python, Software Architektur / Modellierung, Textklassifikation, NLP
Lead Applications Consultant
Bundesbehörde für amtliche Statistik
Öffentlicher Dienst
1000-5000 Mitarbeiter
Entwicklung von Anwendungen in Java (SE)
Erstellung und Durchführung von Testfällen zur Qualitätssicherung
Entwicklung von Datenbankabfragen und Skripten für die Datenverarbeitung
Ausarbeitung technischer Konzepte sowie Erstellung von Dokumentationen
Methoden und Technologien:J2EE (Java EE), J2SE (Java SE), Java (allg.), Oracle Database, Reporting, SQL, Testing (IT), XML
Data Engineer/ Data Scientist
Zentrale staatliche Analysebehörde für Finanztransaktionen
Öffentlicher Dienst
500-1000 Mitarbeiter
IT-Verfahren zur Bekämpfung von Geldwäsche und Terrorismusfinanzierung:Implementierung von einem KI-Moduls für die effiziente Erkennung von Geldwäsche und Terrorismus im Finanzbereich
Implementierung einer Entitätserkennung (NLP-NER) zur Strukturierung unstrukturierter Daten aus Textdateien
Einlesen und Verarbeitung von Daten aus unterschiedlichen internen und externen Quellen
Erstellung eines Datenmodells sowie Integration externer Datenquellen (z. B. öffentliche Data Leaks)
Konzeption und Umsetzung eines ETL-Prozesses sowie Aufbau eines Data Warehouses
Analyse produktiver Kundendaten zur Optimierung und Effizienzsteigerung von Geschäftsprozessen
Automatisierte Fehlerbehebung in Oracle Datenbanken
Erstellung von DB-Abfragen, um Fehler in der Datenbank zu erstellen.
Entwurf des Automatisierungsflusses und Implementierung der Wissensbausteine (Knowledge Items).
Testen der gesamten Automatisierungsflusses
Methoden und Technologien: Oracle Database, PL/SQL, SQL, UML, XML
IT-Consultant/Developer
Deutsche Bank AG
Banken und Finanzdienstleistungen
>10.000 Mitarbeiter
Knowledge Based Automation Project: Automatisierung von Prozessen in verschiedenen IT-bereichen
Implementierung von verschiedenen Anwendungsfälle in den Bereich Job -, User und Disk Management.-Implementierung der Automatisierung und Testen des Automatisierungsflusses
Erstellung von Skripte für die Automatisierung
Anwendung von Best Practices in der Implementierung der Automatisierung
Vergleich der Performance der automatisierten Prozessen mit Ergebnissen von einem anderen Automatisierungstool
Methoden und Technologien: Bash (Shell), IBM Tivoli Software, Oracle Database, PL/SQL, Scripting, ServiceNow, SQL, UML, XML
Zertifikate
Microsoft Certified: Azure AI Fundamentals (AI-900)
Microsoft
2022
Microsoft Certified: Azure Fundamentals (AZ-900)
Microsoft
2021
Microsoft Certified: Azure Data Fundamentals (DP-900)
Microsoft
2021
AWS Certified Cloud Practitioner
Amazon Web Services Training and Certification
2020
Professional Scrum Master™ I (PSM I)
Scrum.org
2017
ITIL Foundation certificate in IT Service Management
Axelos
2014
Kontaktanfrage
Einloggen & anfragen.
Das Kontaktformular ist nur für eingeloggte Nutzer verfügbar.