16.11.2026 aktualisiert

**** ******** ****
100 % verfügbar

Senior Data Engineer | Platform Engineer | Python & AI/ML | AWS, GCP, Databricks

Berlin, Deutschland
Weltweit
MS Computer Science (Big Data & Distributed Systems)
Berlin, Deutschland
Weltweit
MS Computer Science (Big Data & Distributed Systems)

Profilanlagen

Kaleem_CV_Resume.pdf

Über mich

Ich entwickle zuverlässige Daten- und ML-Plattformen: von Python-/SQL-Pipelines und dbt-Modellen bis zu Kubernetes-Betrieb und FastAPI-Services. Über 10 Jahre Erfahrung in Software- und Plattform-Engineering. Kurzfristig verfügbar für Remote-Projekte.

Skills

DagsterRAGApache IcebergLLMdbtApache AirflowAmazon Web ServicesGoogle BigQueryPythonPostgreSQLSQLGoogle CloudSnowflakeApache SparkGenerative AIFastAPIPySparkKubernetesApache KafkaMachine Learning OperationsTerraformAWS EKSDockerDatabricks
SENIOR DATA ENGINEER | DATA PLATFORM ENGINEER | PYTHON ENGINEER
Ich entwickle und betreibe zuverlässige Daten- und AI/ML-Plattformen. Über 10 Jahre Erfahrung in Softwareentwicklung und Plattform-Engineering, mit Schwerpunkt Data Engineering – von Architektur und Implementierung bis zum produktiven Betrieb.

DATA ENGINEERING & ANALYTICS
Python, SQL, dbt, Spark/PySpark, Databricks, Snowflake, BigQuery und ClickHouse. ETL/ELT, Datenmodellierung, Data Marts, inkrementelle Verarbeitung, MERGE/Upserts, Watermarks, Backfills, Schema Evolution und Data Quality. Lakehouse mit Apache Iceberg, Delta Lake und S3; Cloud-Migrationen. Orchestrierung mit Airflow, Cloud Composer, Databricks Workflows und Dagster.

PLATFORM ENGINEERING & CLOUD
AWS und GCP, Kubernetes/Amazon EKS, Docker, Terraform und Infrastructure as Code. CI/CD und automatisierte Deployments mit GitHub Actions und Azure DevOps. Monitoring, Logging, Fehleranalyse und Performance-Optimierung mit Grafana, Prometheus, Loki, CloudWatch, Datadog und Trino/Starburst.

PYTHON BACKEND & STREAMING
Produktive Python-/FastAPI-Services, REST APIs und Datenzugriffsschichten. Apache Kafka, Kafka Streams, Debezium/CDC, Schema Registry und Schema-Kompatibilität. Weitere Erfahrung: Java, Spring Boot, PostgreSQL und MongoDB.

AI ENGINEERING / ML PLATFORM & MLOPS
Datenpipelines für Training und Inferenz, Recommendation Services mit Python/FastAPI auf AWS EKS und Modellbereitstellung mit Databricks/MLflow. Skalierbares Model Serving, Deployment, Datenfrische, Observability und Betrieb an der Schnittstelle zwischen Data-, ML- und Anwendungsteams. MCP-/LLM-gestützte Werkzeuge für operative Analyse und Debugging.

GENERATIVE AI / LLM – PROJEKTINTERESSEN
Zusätzlich ansprechbar für Python-basierte GenAI-Projekte: Retrieval-Augmented Generation (RAG), Dokumenten-Ingestion, Chunking, Embeddings, Vektorsuche und semantische Suche, LLM-API-Integration, Tool Calling, AI Agents, Evaluation und LLMOps. Relevante Ziel-Stacks: OpenAI API, Azure OpenAI, LangChain, LangGraph, LlamaIndex, pgvector und Qdrant.

AUSGEWÄHLTE PRAXIS
BurdaForward: ML-Empfehlungsplattform, ClickHouse, Python/FastAPI, EKS, Spark-to-Iceberg.
PAYBACK: Analytics-Datenprodukt und Migration mit BigQuery, dbt, Cloud Composer und Terraform.
Freelance: AWS-Databricks-Lakehouse mit Spark, S3 und Delta Lake.
Mobimeo: Backend-/Datenplattform, Kafka und ML-Deployments.

Kurzfristig verfügbar für Remote-Projekte. Deutsch: gut; Englisch: sehr sicher.

Erfahrung

Berufserfahrungmehr als 10 Jahre
Freelancer seit2024

Sprachen

DeutschgutEnglischMuttersprache

Projekthistorie

Data & Platform Engineer – Freelance

Selbstständige Tätigkeit
Freiberufliche Tätigkeit mit projektbezogenen Einsätzen im Data Engineering und Platform Engineering. Die konkreten Kundenprojekte sind separat in dieser Projekthistorie aufgeführt.
Leistungsbereiche: Datenplattformen und Lakehouse-Architekturen, Python-/SQL-Pipelines, Analytics Engineering mit dbt, Cloud-Migrationen, Plattformautomatisierung sowie Dateninfrastruktur für AI/ML-Anwendungen.
Arbeitsweise: Technische Verantwortung von der Anforderungsanalyse und Architektur bis zu Implementierung, Deployment, Monitoring und produktivem Betrieb. Enge Zusammenarbeit mit Data-, ML-, Produkt- und Anwendungsteams.
Aktuell kurzfristig verfügbar für Remote-Projekte; Vor-Ort-Termine nach Vereinbarung.

Senior Data Platform Engineer | Python & ML Platform

BurdaForward
Ziel: Aufbau und zuverlässiger Betrieb einer ML-gestützten Empfehlungsplattform sowie Modernisierung der Dateninfrastruktur.

• Entwicklung eines produktiven Recommendation Service mit Python/FastAPI auf AWS EKS; Verantwortung für Kubernetes-Infrastruktur, Skalierung, Monitoring und Fehlerbehandlung.
• Aufbau von ClickHouse-Pipelines und Datenmodellen für zeitnahe Bereitstellung von Trainings- und Serving-Daten.
• Entwicklung wiederverwendbarer Airflow-Operatoren und Spark-to-Iceberg-Pipelines mit Schema Evolution und idempotenter Verarbeitung; Mitarbeit an der Migration von Snowflake in ein Iceberg-Lakehouse.
• Observability und Performance-Analyse für Trino/Starburst; Dashboards, Logging und Betriebswerkzeuge für schnellere Fehlerdiagnose.

Technologien: Python, FastAPI, SQL, AWS, EKS, Kubernetes, Docker, Terraform, Airflow, Spark, Iceberg, ClickHouse, Trino/Starburst, Grafana, Prometheus.

Data Engineer | GCP, BigQuery & dbt

PAYBACK
Ziel: Migration bestehender Datenverarbeitung auf GCP und Bereitstellung eines produktiven Analytics-Datenprodukts.

• Migration von Hive-/Oracle-basierten Datenstrecken zu cloudnativem ELT mit BigQuery und dbt: Quellanalyse, Transformationen, Datenmodellierung, Validierung und Produktionsstabilisierung.
• Entwicklung inkrementeller Modelle für mehrere Millionen Ereignisse pro Tag und Rohdaten im zweistelligen Terabyte-Bereich.
• Umsetzung von Watermarks, konfigurierbaren Backfill-Zeitfenstern und idempotenten Upserts zur korrekten Verarbeitung verspäteter Ereignisse.
• Orchestrierung mit Cloud Composer/Airflow, Infrastruktur mit Terraform sowie Datenqualitätsprüfungen und Abgleich der Migrationsergebnisse.

Ergebnis: Reproduzierbare, wartbare Datenpipelines und konsistente Analytics-Daten trotz verspäteter oder erneut gelieferter Ereignisse.
Technologien: Python, SQL, GCP, BigQuery, dbt, Cloud Composer, Airflow, Terraform.

Data Engineer | AWS Databricks & Lakehouse

Vertraulicher Auftraggeber (NDA)
Ziel: Aufbau eines produktiven Lakehouse auf AWS als belastbare Datenbasis für eine KI-gestützte industrielle Plattform.

• Implementierung einer Databricks-Lakehouse-Architektur mit Amazon S3 und Delta Lake.
• Entwicklung produktiver Spark-/PySpark-Pipelines für Batch- und inkrementelle Verarbeitung; Datenmodellierung und Aufbereitung strukturierter Daten.
• Umsetzung von Schema Evolution, Backfills und wiederholbar ausführbarer Verarbeitung.
• Betrieb und Orchestrierung mit Databricks Workflows; automatisierte Deployments, CI/CD und Infrastructure as Code.

Ergebnis: Strukturierte, reproduzierbare Datenverarbeitung als Grundlage für Analytics und nachgelagerte AI/ML-Anwendungen.
Technologien: AWS, Databricks, Python, PySpark, SQL, S3, Delta Lake, Databricks Workflows, Terraform.

Data Engineer | Snowflake & Telemetrie-Pipelines

Finz Games
Ziel: Zuverlässige Bereitstellung von Mobile-Gaming-Telemetrie für Produktanalyse und Reporting.

• Entwicklung von End-to-End-Datenpipelines für rund 50 Millionen Telemetrie-Ereignisse pro Tag in Snowflake.
• Aufbau von Ingestion-Schichten und aufbereiteten Data Marts für Analytics.
• Implementierung von Prüfungen für Datenfrische, Schemakonsistenz und Anomalien zur Absicherung der Datenqualität.

Ergebnis: Analytics-fähige Datenmodelle und belastbare Datenversorgung für die Auswertung großer Ereignismengen.
Technologien: Python, SQL, Snowflake, ETL/ELT, Datenmodellierung, Data Quality.

Senior Software Engineer / Data Platform Engineer

Mobimeo GmbH
Ziel: Entwicklung einer skalierbaren Backend- und Datenplattform für digitale Mobilitätsdienste.
• Integration von Kafka Streams in Backend-Services; Schema Registry und Schema-Kompatibilität.
• Change Data Capture mit Debezium und Kafka.
• Microservice zur DSGVO-konformen Pseudonymisierung personenbezogener Daten.
• Databricks-/Lakehouse-Datenplattform und produktive ML-Modellbereitstellung mit Databricks und MLflow.
• Optimierung: bis zu 10-fach schnellere Abfragen und rund 20 % geringere AWS-Kosten.
Technologien: Java, Spring Boot, Python, SQL, Kafka, Debezium, Databricks, MLflow, AWS, Docker, Kubernetes.

Data Engineer | Spark, Snowflake & Python APIs

Freenet Digital GmbH
Ziel: Datenaufbereitung für Analytics und schneller Zugriff auf produktive Daten.
• Entwicklung von Spark-ETL-Pipelines zur Verarbeitung und Übernahme von Daten in Snowflake.
• Aufbau latenzarmer Datenzugriffs-Services mit Python und FastAPI.
• Umsetzung von Datenmodellen und Backend-Schnittstellen für die Nutzung aufbereiteter Daten.
Ergebnis: Verlässliche Analytics-Datenversorgung und wiederverwendbare APIs für den Datenzugriff.
Technologien: Python, SQL, Apache Spark, Snowflake, FastAPI, REST APIs.

Data Engineer – Werkstudent

Atomleap GmbH
• Entwicklung und Optimierung von Datenmodellen in PostgreSQL und MongoDB.
• SQL-basierte Aufbereitung und Bereitstellung von Daten für Business Intelligence.
• Verbesserung der Abfrageeffizienz für analytische Anwendungen.
Technologien: SQL, PostgreSQL, MongoDB, Datenmodellierung, Business Intelligence.

Software Engineer | Java Backend

Mindstorm Studios
• Entwicklung von Java-/Spring-Boot-Backend-Systemen für Mobile-Gaming-Anwendungen mit hoher Last.
• Implementierung von Backend-Services und wiederverwendbaren Softwarekomponenten.
Technologien: Java, Spring Boot, Backend-Entwicklung, skalierbare Services.

Software Engineer

Geniteam Solutions
• Entwicklung modularer Softwarekomponenten für Mobile-Gaming-Anwendungen.
• Umsetzung von Funktionen und Fehlerbehebungen unter kurzen Release-Zyklen.
• Zusammenarbeit im Entwicklungsteam von der Implementierung bis zur Auslieferung.
Schwerpunkte: Softwareentwicklung, modulare Architektur, Release-Umsetzung.


Kontaktanfrage

Einloggen & anfragen.

Das Kontaktformular ist nur für eingeloggte Nutzer verfügbar.

RegistrierenAnmelden