Architekt (m/w/d) zum Aufbau Data Lake (Apache Spark, Scala, Hadoop, AWS) 7318

Frankfurt am Main  ‐ Vor Ort
Dieses Projekt ist archiviert und leider nicht (mehr) aktiv.
Sie finden vakante Projekte hier in unserer Projektbörse.

Beschreibung

  • Als Freelancer profitierst Du von unserer ausgeprägten Marktkompetenz und den stabilen, langjährigen Beziehungen zu unseren Kunden.
  • Gemeinsam mit unseren Kunden schaffen wir Raum für Innovationen und ein Umfeld, in dem Du agil, flexibel und frei von starren Hierarchien arbeiten kannst.
  • Faire Vertragsbedingungen und eine schnelle, unbürokratische Arbeitsweise verstehen sich von selbst.


Ihre Aufgaben:
  • Du bist für die Konzeption und Architektur der technischen Umsetzung eines fachlichen Use Cases für ein Data Lake mit Nutzung von Apache Spark/Scala auf Basis von Hadoop und AWS Technologien verantwortlich.
  • Die Implementierung von Datenflüssen und komplexen Datentransformationen gehört ebenfalls zu Deinen Aufgaben.
  • Weiterhin bist Du für die konzeptionelle Unterstützung und Implementierung von CI/CD Pipelines und automatisierten Testfällen zuständig.
  • Du unterstützt bei der Definition der funktionalen und nicht funktionalen Anforderungen in Form von User Stories sowie der Umsetzung der Anforderungen im engen Austausch mit dem Fachbereich und den Business Analysten.
  • Du bist für die Erstellung der technischen Dokumentation verantwortlich.

Voraussetzungen:
  • Du verfügst über Architektur- und Umsetzungskenntnisse zu relationalen Datenbanken, SQL, ETL und BI-Werkzeuge (praktische Erfahrung in mindestens 3 Projekten im Big Data Umfeld sowie im Aufbau und der Umsetzung eines Data Lakes).
  • Du hast Erfahrung in der konzeptionellen Unterstützung und Implementierung von automatisierten Testfällen (TDD und BDD) (nachweisbare Erfahrung in der Implementierung von automatisierten Testfällen (Unit- und Integrationstests) mit entsprechender Kenntnis gängiger Bibliotheken).
  • Du hast starke analytische und konzeptionelle Fähigkeiten (nachweisbare Erfahrung in der Analyse und konzeptionellen Umsetzung komplexer Use Cases in mindestens 2 Data Lake Projekten).
  • Programmierkenntnisse mit Spark/Scala sind erforderlich (nachweisbare Erfahrungen in mindestens 2 Projekten in der Umsetzung von komplexen Datentransformation mit Spark/Scala als Lead Entwickler).
  • Zudem hast Du Architektur- und Umsetzungskenntnisse im AWS Stack (z.B. ECS, EMR, Athena, Glue, RedShift, Kinesis oder MSK, Lambda, Python) (nachweisbare Erfahrung in mindestens 2 Projekten im Big Data Umfeld und der Umsetzung im AWS Stack).


Telefon:

E-Mail:

Ansprechpartner: Elif Akcan

Start
2020-11-16
Dauer
2021-04-02
Von
Cegeka Deutschland GmbH
Eingestellt
21.10.2020
Ansprechpartner:
Elif Akcan
Projekt-ID:
1986224
Vertragsart
Freiberuflich
Um sich auf dieses Projekt zu bewerben müssen Sie sich einloggen.
Registrieren