16.11.2026 aktualisiert


100 % verfügbar
Senior Data Engineer | Platform Engineer | Python & AI/ML | AWS, GCP, Databricks
Berlin, Deutschland
Weltweit
MS Computer Science (Big Data & Distributed Systems)Über mich
Ich entwickle zuverlässige Daten- und ML-Plattformen: von Python-/SQL-Pipelines und dbt-Modellen bis zu Kubernetes-Betrieb und FastAPI-Services. Über 10 Jahre Erfahrung in Software- und Plattform-Engineering. Kurzfristig verfügbar für Remote-Projekte.
Skills
DagsterRAGApache IcebergLLMdbtApache AirflowAmazon Web ServicesGoogle BigQueryPythonPostgreSQLSQLGoogle CloudSnowflakeApache SparkGenerative AI
SENIOR DATA ENGINEER | DATA PLATFORM ENGINEER | PYTHON ENGINEER
Ich entwickle und betreibe zuverlässige Daten- und AI/ML-Plattformen. Über 10 Jahre Erfahrung in Softwareentwicklung und Plattform-Engineering, mit Schwerpunkt Data Engineering – von Architektur und Implementierung bis zum produktiven Betrieb.
DATA ENGINEERING & ANALYTICS
Python, SQL, dbt, Spark/PySpark, Databricks, Snowflake, BigQuery und ClickHouse. ETL/ELT, Datenmodellierung, Data Marts, inkrementelle Verarbeitung, MERGE/Upserts, Watermarks, Backfills, Schema Evolution und Data Quality. Lakehouse mit Apache Iceberg, Delta Lake und S3; Cloud-Migrationen. Orchestrierung mit Airflow, Cloud Composer, Databricks Workflows und Dagster.
PLATFORM ENGINEERING & CLOUD
AWS und GCP, Kubernetes/Amazon EKS, Docker, Terraform und Infrastructure as Code. CI/CD und automatisierte Deployments mit GitHub Actions und Azure DevOps. Monitoring, Logging, Fehleranalyse und Performance-Optimierung mit Grafana, Prometheus, Loki, CloudWatch, Datadog und Trino/Starburst.
PYTHON BACKEND & STREAMING
Produktive Python-/FastAPI-Services, REST APIs und Datenzugriffsschichten. Apache Kafka, Kafka Streams, Debezium/CDC, Schema Registry und Schema-Kompatibilität. Weitere Erfahrung: Java, Spring Boot, PostgreSQL und MongoDB.
AI ENGINEERING / ML PLATFORM & MLOPS
Datenpipelines für Training und Inferenz, Recommendation Services mit Python/FastAPI auf AWS EKS und Modellbereitstellung mit Databricks/MLflow. Skalierbares Model Serving, Deployment, Datenfrische, Observability und Betrieb an der Schnittstelle zwischen Data-, ML- und Anwendungsteams. MCP-/LLM-gestützte Werkzeuge für operative Analyse und Debugging.
GENERATIVE AI / LLM – PROJEKTINTERESSEN
Zusätzlich ansprechbar für Python-basierte GenAI-Projekte: Retrieval-Augmented Generation (RAG), Dokumenten-Ingestion, Chunking, Embeddings, Vektorsuche und semantische Suche, LLM-API-Integration, Tool Calling, AI Agents, Evaluation und LLMOps. Relevante Ziel-Stacks: OpenAI API, Azure OpenAI, LangChain, LangGraph, LlamaIndex, pgvector und Qdrant.
AUSGEWÄHLTE PRAXIS
BurdaForward: ML-Empfehlungsplattform, ClickHouse, Python/FastAPI, EKS, Spark-to-Iceberg.
PAYBACK: Analytics-Datenprodukt und Migration mit BigQuery, dbt, Cloud Composer und Terraform.
Freelance: AWS-Databricks-Lakehouse mit Spark, S3 und Delta Lake.
Mobimeo: Backend-/Datenplattform, Kafka und ML-Deployments.
Kurzfristig verfügbar für Remote-Projekte. Deutsch: gut; Englisch: sehr sicher.
Erfahrung
Berufserfahrungmehr als 10 Jahre
Freelancer seit2024
Sprachen
DeutschgutEnglischMuttersprache
Projekthistorie
Freiberufliche Tätigkeit mit projektbezogenen Einsätzen im Data Engineering und Platform Engineering. Die konkreten Kundenprojekte sind separat in dieser Projekthistorie aufgeführt.
Leistungsbereiche: Datenplattformen und Lakehouse-Architekturen, Python-/SQL-Pipelines, Analytics Engineering mit dbt, Cloud-Migrationen, Plattformautomatisierung sowie Dateninfrastruktur für AI/ML-Anwendungen.
Arbeitsweise: Technische Verantwortung von der Anforderungsanalyse und Architektur bis zu Implementierung, Deployment, Monitoring und produktivem Betrieb. Enge Zusammenarbeit mit Data-, ML-, Produkt- und Anwendungsteams.
Aktuell kurzfristig verfügbar für Remote-Projekte; Vor-Ort-Termine nach Vereinbarung.
Ziel: Aufbau und zuverlässiger Betrieb einer ML-gestützten Empfehlungsplattform sowie Modernisierung der Dateninfrastruktur.
• Entwicklung eines produktiven Recommendation Service mit Python/FastAPI auf AWS EKS; Verantwortung für Kubernetes-Infrastruktur, Skalierung, Monitoring und Fehlerbehandlung.
• Aufbau von ClickHouse-Pipelines und Datenmodellen für zeitnahe Bereitstellung von Trainings- und Serving-Daten.
• Entwicklung wiederverwendbarer Airflow-Operatoren und Spark-to-Iceberg-Pipelines mit Schema Evolution und idempotenter Verarbeitung; Mitarbeit an der Migration von Snowflake in ein Iceberg-Lakehouse.
• Observability und Performance-Analyse für Trino/Starburst; Dashboards, Logging und Betriebswerkzeuge für schnellere Fehlerdiagnose.
Technologien: Python, FastAPI, SQL, AWS, EKS, Kubernetes, Docker, Terraform, Airflow, Spark, Iceberg, ClickHouse, Trino/Starburst, Grafana, Prometheus.
Ziel: Migration bestehender Datenverarbeitung auf GCP und Bereitstellung eines produktiven Analytics-Datenprodukts.
• Migration von Hive-/Oracle-basierten Datenstrecken zu cloudnativem ELT mit BigQuery und dbt: Quellanalyse, Transformationen, Datenmodellierung, Validierung und Produktionsstabilisierung.
• Entwicklung inkrementeller Modelle für mehrere Millionen Ereignisse pro Tag und Rohdaten im zweistelligen Terabyte-Bereich.
• Umsetzung von Watermarks, konfigurierbaren Backfill-Zeitfenstern und idempotenten Upserts zur korrekten Verarbeitung verspäteter Ereignisse.
• Orchestrierung mit Cloud Composer/Airflow, Infrastruktur mit Terraform sowie Datenqualitätsprüfungen und Abgleich der Migrationsergebnisse.
Ergebnis: Reproduzierbare, wartbare Datenpipelines und konsistente Analytics-Daten trotz verspäteter oder erneut gelieferter Ereignisse.
Technologien: Python, SQL, GCP, BigQuery, dbt, Cloud Composer, Airflow, Terraform.