Hadoop Cloud Entwickler (m/w/d)

Beschreibung

Für unser Team bei unserem Kunden suchen wir einen

Hadoop Cloud Entwickler (m/w/d)

Aufgaben:
-Entwicklung einer Cloud fähigen Architektur zur Erfassung und Speicherung von großen Mengen an Textdaten
- Entwicklung zur Verarbeitung von großen Datenmengen auf Basis von Data Mining Algorithmen in Apache Spark
- Portierung des bestehenden Hortonworks Hadoop Ökosystem und Entwicklung in der Cloud, insb. nach Amazon AWS
- Dokumentation der Vorgänge und der umzusetzenden Architektur
- Präsentation der Architektur bis auf Managementebene
- Unterstützung bei CI/CD Prozessen

Must:
- Mindestens 2 Jahre nachweisbare Erfahrung im Bereich Amazon AWS oder Microsoft Azure
Cloud, insb. in den Gebieten Amazon EMR und Amazon ECS
- Mindestens 3 Jahre nachweisbare Erfahrung mit Apache Spark/Kafka/NiFi
- Erfahrung bei der Erstellung einer nachhaltigen Architektur zur Verarbeitung von großen Datenmengen
auf Basis von Data Mining Algorithmen in Apache Spark
- Mindestens 10 Jahre nachweisbare Erfahrung in der Dokumentation und Beschreibung von
Softwarearchitekturen bzw. Datenbankarchitekturen
- Mindestens 5 Jahre nachweisbare Erfahrung mit NoSQL insbesondere Mongo DB
- Mindestens 5 Jahre nachweisbare Erfahrung mit Spring Framework bzw. Spring Boot
- Mindestens 3 Jahre nachweisbare Erfahrung in Text Mining sowie Data Mining und Umsetzung/
Anwendung von Text Mining in Java / Apache Spark
- Erfahrung in agiler Softwareentwicklung (insbesondere in Java, Scala und Spark)
- Verfügt über ein T-Shaped Profil

Nice:
- Erfahrung mit Microsoft SQL-Server und Apache SolR
- Erfahrungen mit CI/CD Pipelines
- Erfahrungen mit Deployment-Prozessen

Start: 17.08.20
PLZ: Remote / Frankfurt
Dauer: 31.12.20++