02.05.2026 aktualisiert
100 % verfügbar
Data Engineer
Niedernhausen, Deutschland
Niedernhausen +50 km
Bachelor of ScienceSkills
JavaAmazon S3Apache HTTP ServerArchitekturAtlassian ConfluenceAutomatisierungAutomobilindustrieBankingApache ImpalaIt-BeratungDatenbankenContinuous IntegrationData ArchitectureInformation EngineeringETL
Ich habe mehr als neun Jahre Erfahrung bei einer großen IT-Beratung in den Bereichen Datenarchitektur, ETL und Data Engineering.
Konzeptionelle Kenntnisse
- Data Warehousing
- ETL (Batch und Streaming)
- Data Lakes / Data Lakehouses
- IoT
- Lambda-Architektur
- Performance-Optimierung
- Workflow Management
- Datenmigration
Sektoren
- Energie
- IT-Dienstleistungen
- Banking
- Logistik
- Automotive
Technologien / Sprachen / Frameworks
- Fundamentale Skills
- SQL
- Python
- Java
- Shell-Scripting
- Git
- Compute Engines (ETL, Query Engines)
- Apache Spark
- AWS Glue
- Polars
- Drill
- Dremio
- Sonstiges
- Apache Airflow
- AWS Lambda
- Stream Processing
- Apache Flink
- Apache NiFi
- Apache Kafka
- BI
- Tableau
- Power BI Report Builder
- Storage
- Apache Iceberg
- S3
- DevOps
- Docker
- Gradle
- GitLab CICD
- Terraform
- DBMS
- Snowflake
- Oracle Database
- Microsoft SQL Server
- PostgreSQL
- Apache Hive
- Entwicklungstools / Produktivität
- GitLab
- Jupyter Notebooks / Jupyterlab
- Jira
- Confluence
- Proprietäre Tools
- Informatica PowerCenter
- AbInitio
- Automic Workload Automation
- SAP PowerDesigner
Erfahrung
Berufserfahrung5 - 10 Jahre
Freelancer seit2026
Sprachen
ChinesischGrundkenntnisseDeutschMutterspracheEnglischverhandlungssicher
Projekthistorie
Themen
- Erstellung von Ingestion-Pipelines zur Herstellung von Source-Aligned Data Products
- Anbindung dutzender operativer Datenquellen (ERPs, RDBMSs, CDC, Message Queues, PubSub...)
- Programmatische Bereinigung der Daten
- Schreiben der Daten in ein Data Lakehouse
- Unterstützung bei Weiterentwicklung der Datenarchitektur
Technologien / Sprachen / Frameworks
- Java
- Python
- Apache Flink (Stream Processing)
- AWS Glue (Batch Processing mit Spark)
- AWS Lambda
- Confluent Cloud (Kafka als Quelle inkl. Nutzung der Schema Registry für Avro-Messages)
- Apache Iceberg (verwendetes Open Table Format fürs Data Lakehouse)
- DBT
- Snowflake
- Gitlab CICD
- Terraform
Themen
- Entwicklung einer Datenplattform zum Streamen von IoT-Sensordaten in ein Data Lake
- Erweiterung der Lambda-Architektur durch neue Message-Queue-Topics
- Entwicklung von Datenpipelines zur Anbindung weiterer IoT-Sensoren
- Performance-Tuning für Near-Realtime-Dashboards
- Migration von BI-Dashboards auf neue Daten
Technologien / Sprachen / Frameworks
- Apache NiFi
- Apache Spark
- Python
- Apache Drill
- Dremio
- Bash-Scripting
- Apache Hue
- Apache Pulsar
- HDFS
- AWS API Gateway
- AWS S3
- Gitlab / Git
- Jupyterlab
Themen
- Erweiterung einer Streaming-Plattform für IoT-Daten von Kraftwerksensoren in ein Data Lake
- Abholung der IoT-Daten aus Kafka, Verarbeitung in Spark Structured Streaming und Speicherung in Hive-Tabellen
- Optimierung der Developer Experience durch Einführung von Docker-Containern für die Spark-Skripte als Deployment-Artefakt
- Report- und Datenbankmigration von MS-Access (Storage und Forms) zu MS SQL Server (Backend), Power BI Report Builder (Reports) und Django (Dateneingabe)
- Neuentwicklung einer Batch-ETL-Pipeline zur Integration von Finanzdaten mittels SSIS und SQL Server / Azure Analysis Services
- Spark Structured Streaming
- Apache Kafka
- Apache Hive
- Cloudera Distribution for Hadoop (CDH)
- HDFS
- Docker
- Git / Gitlab
- Python
- Django
- SSIS
- MS SQL Server
- Azure Analysis Service