28.04.2025 aktualisiert


Premiumkunde
20 % teilweise verfügbarSenior Data Engineer / Data Architekt
Karlsruhe, Deutschland
Deutschland +2
M.Sc. Informatikinfo: Deutschland, Österreich, Schweiz
Skills
JavaApache AirflowAmazon Web ServicesAmazon S3Microsoft AzureGoogle BigQueryETLData WarehousingApache HadoopApache HivePythonAnsibleSoftwareentwicklungSQLGoogle Cloud
Data Engineering
Ich entwerfe, entwickle und betreibe skalierbare und verteilte Batch, Event-Driven und Realtime Datenstrecken. Dabei setze ich auf modernste (open-source) Frameworks und Methoden des Software Engineerings.
Data Architektur
Ich helfe Ihnen bei der Auswahl geeigneter Daten Architekturen. Ich besitze mehrjährige Erfahrung mit Data Warehouses, Data Lakes, Data Lakehouses und Data Mesh.
Data Platforms
Ich unterstütze sie bei der Evaluierung, Planung, Umsetzung und Weiterentwicklung von Daten Plattformen, sowohl on-premise, hybrid als auch der Cloud.
Technologien
Ich entwerfe, entwickle und betreibe skalierbare und verteilte Batch, Event-Driven und Realtime Datenstrecken. Dabei setze ich auf modernste (open-source) Frameworks und Methoden des Software Engineerings.
Data Architektur
Ich helfe Ihnen bei der Auswahl geeigneter Daten Architekturen. Ich besitze mehrjährige Erfahrung mit Data Warehouses, Data Lakes, Data Lakehouses und Data Mesh.
Data Platforms
Ich unterstütze sie bei der Evaluierung, Planung, Umsetzung und Weiterentwicklung von Daten Plattformen, sowohl on-premise, hybrid als auch der Cloud.
Technologien
- Apache Spark, Databricks
- Apache Kafka, Kafka Streams, Kafka Connect
- Apache Airflow
- Apache Hadoop
- HDFS, Hive, NiFi, Impala
- Google Cloud Platform (GCP)
- BigQuery, GCS, DataProc, Cloud Composer
- Microsoft Azure
- ADLSv2, Azure Databricks, Azure Functions
- AWS
- S3, Glue, Athena, Redshift, RDS Aurora, Kinesis
- Infastructure, CI/CD
- GitLab, Azure DevOps
- Docker, Kubernetes
- Terraform, Ansible
- Programmiersprachen
- Python, SQL, Kotlin, Java
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2024
Sprachen
DeutschMutterspracheEnglischverhandlungssicher
Projekthistorie
Customer Retention – Streaming Architektur
Konzeption, Entwicklung und Betrieb einer nachhaltigen, echtzeitfähigen Dateninfrastruktur zur Verarbeitung von Events einer Video- und Musikstreaming Plattform. Weiterentwicklung und Optimierung von Spark Streaming Anwendungen.
Technologien: Kubernetes, Apache Kafka, Kinesis, Apache Spark, Kafka Streams, Apache Airflow, Terraform, AWS, Python, Kotlin
Konzeption, Entwicklung und Betrieb einer nachhaltigen, echtzeitfähigen Dateninfrastruktur zur Verarbeitung von Events einer Video- und Musikstreaming Plattform. Weiterentwicklung und Optimierung von Spark Streaming Anwendungen.
Technologien: Kubernetes, Apache Kafka, Kinesis, Apache Spark, Kafka Streams, Apache Airflow, Terraform, AWS, Python, Kotlin
Data Driven Retailer
Konzeption und Proof of Concept Entwicklung einer konzernweiten Daten- Plattform, unter Berücksichtigung der Unternehmensziele: Data-Driven Company, Cloud-First und Data Mesh.
Technologien: Data Mesh, Google Cloud, DataProc, BigQuery, Databricks, Terraform
Konzeption und Proof of Concept Entwicklung einer konzernweiten Daten- Plattform, unter Berücksichtigung der Unternehmensziele: Data-Driven Company, Cloud-First und Data Mesh.
Technologien: Data Mesh, Google Cloud, DataProc, BigQuery, Databricks, Terraform
Architektur Review Analytics Platform
Planung und Moderation eines Architektur Review Workshops zur Evaluierung einer geplanten Datenplattform Architektur. Technisches Sparring mit Fachabteilung.
Technologien: Azure, Databricks
Planung und Moderation eines Architektur Review Workshops zur Evaluierung einer geplanten Datenplattform Architektur. Technisches Sparring mit Fachabteilung.
Technologien: Azure, Databricks