Beschreibung
Data Engineer Mit Data Lake Skills (m/w)Mit rund 1000 angestellten Mitarbeitern und derzeit 500 freien Beratern unterstützen wir namhafte Unternehmen bei der Umsetzung ihrer IT Projekte.
Für einen unserer Endkunden in Hamburg suchen wir aktuell einen freiberuflichen Data Engineer (m/w) mit fundierten Data Lake Skills.
Aufgabenbeschreibung:
- Pflege von Lade und Transformationsskripten
- Aufbau eines Data Lakes
- You will conceive, deploy and maintain microservices on a modern AWS-based software stack
- You will implement or ensure the correct usage of: monitoring, alerting, and other operational must-haves
- You will be part of a team where Continuous Integration, Code Quality, Peer Reviews, Code Reviews, etc. are kept at very high standards
- You will work very closely on interesting (hard) problems with Data Scientists who will be happy to share knowledge and collaborate
Must haves:
- fundierte Erfahrung mit Data Lakes unbedingt erforderlich
- unbedigt vertiefte Projekterfahrung innerhalb AWS Redshift, AWS Kinesis, AWS Lambda, AWS Cloudformation, SQL, Postgres
- Protobuf
- Erfahrung im Aufbau von ETL Strecken / Data Processing Pipelines
The right person will be comfortable in an “all hands on deck” environment, loves solving problems, is excited to support high-performance teams, and can thrive in a startup culture.
- Experience with building and/or running large-scale applications on a PaaS/SaaS cloud, especially on AWS
- Knowledge of distributed systems topics, data structures, algorithmic complexity
- Knowledge of relational and columnar databases and their respective tradeoffs
- Demonstrated proficiency in at least two of: Python, Scala, Java
- Knowledge of Micro-batching or stream processing frameworks, for example Spark, Flink
- Effective communication skills and an interest in being part of highly autonomous and cross-functional teams
- A degree in Computer Science and/or several years work experience as a Data Engineer or Backend Engineer in a commercial environment
- Fluent communication in English is a must, German is a big plus
- Ability to self-manage, gauge priorities and meet deadlines in stressful situations
Start: asap
Laufzeit: zunächst 6 Monate, mit hoher Wahrscheinlichkeit der Verlängerung
Auslastung: 100%, vor Ort (nach einer Einarbeitungszeit ist nach Absprache auch eine 3-2 Lösung denkbar)
Bei Interesse freuen wir uns über die Zusendung Ihres Skillprofils.