07.10.2026 aktualisiert


verifiziert
Premiumkunde
100 % verfügbarSenior Data Engineer | Azure | DataOps | Databricks | Snowflake
Berlin, Deutschland
Deutschland
Master of Science ElektrotechnikÜber mich
Senior Data Engineer mit Fokus auf Azure, Databricks und Snowflake. Ich baue Datenplattformen die stabil laufen und automatisiert ausgerollt werden: von der Ingestion über Transformation (PySpark, dbt) bis zu CI/CD und Infrastructure as Code (Terraform).
Skills
GitHub ActionsAzure FunctionsdbtApache AirflowAmazon Web ServicesDevOpsPythonPostgreSQLDataOpsAzure Data LakeSQLAzure Data FactorySnowflakeGitPySpark
Typische Einsätze:
• Datenplattform stabilisieren: Monitoring, Alerting und Tests, damit weniger Feuerwehreinsätze nötig sind
• Deployments beschleunigen: CI/CD mit Azure DevOps und GitHub Actions, reproduzierbare Infrastruktur
• Pipelines für Fachbereiche: End-to-End-Automatisierung eines Risikomodells im Energiehandel, wodurch manuelle Aufwände vollständig entfallen sind
• Migration der bestehenden Transformations-Logik: Ablösung von ETL Prozessen durch performante Pyspark Prozesse
Requirements Analyse / Engineering:
- Ermittlung, Analyse und Abstimmung der Anforderungen mit technischen und nicht technischen Stakeholdern
- Ableitung von technischen Architekturentscheidungen aus den Anforderungen
Integration / ETL-Entwicklung:
- Anbindung der Systeme: REST API, Datenbanken, Messaging System
- Modulare ETL Entwicklung mittels Python, SQL, Pyspark, dbt
- Orchestrierung mittels Airflow
- Unit-tests / Integration-tests
- Data quality Tests: dbt tests / databricks expectations
Automatisierung / CI/CD:
- Automatisierte und reproduzierbare Bereitstellung der Infrastruktur mittels Terraform
- Beschleunigung der Bereitstellung von Code und Daten durch DataOps Ansatz
- Deployment mittels Azure Devops, Github Actions
Industrien:
- Energiehandel
- Konsumgüter
- Maschinenbau
- Automobilzulieferer
- Lebensmittel
- Finanzbehörden
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2025
Sprachen
ArabischMutterspracheDeutschverhandlungssicherEnglischverhandlungssicherFranzösischverhandlungssicher
Projekthistorie
- Automatisierung der Datenverarbeitung und -bereitstellung für ein quantitatives Modell, das Risikoberechnungen für Energiegeschäfte und Marktdaten durchführt
- Aufbau einer End-to-End-Pipeline für ETL, Modellausführung und automatisierte Nachbearbeitung
- Vollständige Automatisierung zuvor manueller Verarbeitungsschritte
- Beschleunigte Bereitstellung belastbarer Analyseergebnisse für quantitative Analysten von 2 Stunden auf 30 Minuten
- Weiterentwicklung der CI/CD Pipelines für Azure Functions, Azure Data Factory und Snowflake Stored Procedures
- Wartung und Weiterentwicklung der Datenplattform für Amazon-Daten unter Verwendung von dbt und Snowflake
- Wartung und Weiterentwicklung von dbt incremental models
- Beschleunigung und Verbesserung des Entwicklungsprozesses von Python-Anwendungen, die in der Cloud laufen, durch DataOps- und IaC-Ansätze unter Verwendung von Github-Actions und Bicep
- Entwicklung einer internen Datenplattform zur Integration von Datenquellen wie sevDesk, HubSpot und Clockify
- Beschleunigung und Verbesserung des Staffing Prozesses durch einen Python-Scraping-Bot für Freelance Plattformen
- Entwicklung wiederverwendbarer Python Anwendungen für ERP und CRM Integration
Bewertungen

exali Berufshaftpflicht-Siegel
Das original exali Berufshaftpflicht-Siegel bestätigt dem Auftraggeber, dass die betreffende Person oder Firma eine aktuell gültige branchenspezifische Berufs- bzw. Betriebshaftpflichtversicherung abgeschlossen hat.
Versichert bis: 01.12.2026