Beschreibung
Für unseren Kunden in Frankfurt am Main sind wir aktuell auf der Suche nach einem Architekten (m/w/d) für Aufbau Data Lake (Apache Spark, Scala, Hadoop, AWS).Falls Sie die folgende Projektbeschreibung interessiert und Sie die Anforderungen ausreichend abdecken, bitten wir Sie um kurzfristige Rückmeldung unter Angabe Ihrer Kontaktdaten, Ihrer Konditionen für den genannten Einsatzort (Stunden- oder Tagessatz) sowie Ihres Profils (vorzugsweise in Word).
Gerne können Sie uns dieses per E-Mail an schicken. Da der E-Mailversand bekanntermaßen nicht zu den sichersten Datenübertragungen zählt, möchten wir Ihnen zusätzlich eine sichere und verschlüsselte Upload-Möglichkeit für Ihre Bewerbungsunterlagen anbieten. Nutzen Sie dazu die Schaltfläche „Bewerben“ in unserem Projektportal unter https://mindheads.de.
Projektstandort: Frankfurt am Main (remote möglich)
Dauer: 16.11.2020 - 02.04.2021
Volumen: 100 PT
Abgabefrist beim Kunden: 28.10.2020
Kurzbeschreibung Projekt:
Die Data Lake-Plattform erlaubt die performante Sammlung, Anreicherung, Verknüpfung, Veredelung und Auswertung von Daten aus verschiedensten Quellen und eröffnet umfassende Verbesserungspotentiale für die Datennutzung in allen Bereichen.
Mit der Plattform wird die Grundlage für Big-Data-Analysen und Data Science geschaffen, wodurch wertvolle Erkenntnisgewinne oder auch neue Geschäftsmodelle entstehen können.
Die Plattform ist auf Basis aktueller Standardtechnologien (AWS Serverless und Hadoop) sowie -architekturen umgesetzt und ist bedarfsgerecht erweiterbar und beliebig skalierbar.
Aufgaben:
- Konzeption und Architektur der technischen Umsetzung eines fachlichen Use Cases für ein Data Lake mit Nutzung von Apache Spark/Scala auf Basis von Hadoop und AWS Technologien
- Implementierung von Datenflüssen und komplexen Datentransformationen
- Konzeptionelle Unterstützung und Implementierung von CI/CD Pipelines und automatisierten Testfällen
- Unterstützung bei der Definition der funktionalen und nicht funktionalen Anforderungen in Form von User Stories sowie der Umsetzung der Anforderungen im engen Austausch mit dem Fachbereich und den Business Analysten
- Erstellung der technischen Dokumentation
Anforderungen:
- Architektur- und Umsetzungskenntnisse zu relationalen Datenbanken, SQL, ETL und BI-Werkzeuge (praktische Erfahrung in mindestens 3 Projekten im Big Data Umfeld sowie im Aufbau und der Umsetzung eines Data Lakes)
- Konzeptionelle Unterstützung und Implementierung von automatisierten Testfällen (TDD und BDD) (nachweisbare Erfahrung in der Implementierung von automatisierten Testfällen (Unit- und Integrationstests) mit entsprechender Kenntnis gängiger Bibliotheken)
- Starke analytische und konzeptionelle Fähigkeiten (nachweisbare Erfahrung in der Analyse und konzeptionellen Umsetzung komplexer Use Cases in mindestens 2 Data Lake Projekten)
- Programmierung mit Spark/Scala erforderlich (nachweisbare Erfahrungen in mindestens 2 Projekten in der Umsetzung von komplexen Datentransformation mit Spark/Scala als Lead Entwickler)
- Architektur- und Umsetzungskenntnisse im AWS Stack (z.B. ECS, EMR, Athena, Glue, RedShift, Kinesis oder MSK, Lambda, Python) (nachweisbare Erfahrung in mindestens 2 Projekten im Big Data Umfeld und der Umsetzung im AWS Stack)
Für Fragen, Anregungen oder Wünsche stehen wir Ihnen gern zur Verfügung. Aktuelle Informationen über uns sowie weitere Vakanzen finden Sie auch auf unserer Homepage: https://mindheads.de
Kontakt:
mindheads GmbH
Dr.-Haas-Straße 4
96047 Bamberg
Tel.