Beschreibung
Für unser Team bei unserem Kunden suchen wir einenHadoop Cloud Berater (m/w/d)
Die Leistungserbringung erfolgt überwiegend im Rahmen agiler Vorgehensmodelle (z.B. SCRUM). In diesem Fall sind die dort spezifischen Prozesse zu berücksichtigen und es ist ein regelmäßiger Austausch mit dem Team erforderlich. Entsprechend dem im agilen Team gegebenen Vorgehen sind regelmäßige Abstimmungen notwendig, die Aufgaben-Verteilungsprozesse (z.B. Pull von Tasks gemäß Kompetenz und in Abstimmung mit dem Team) durchzuführen und die entsprechenden fachlichen Kommunikationsinstrumente (z.B. JIRA) zu bedienen.
Aufgaben:
Beratung bei der Erstellung einer Cloud fähigen Architektur zur Erfassung und Speicherung von großen Mengen an Textdaten
- Beratung bei der Erstellung einer Cloud fähigen Architektur zur Verarbeitung von großen Datenmengen auf Basis von Data Mining Algorithmen in Apache Spark
- Beratung bei der Portierung des bestehenden Hortonworks Hadoop Ökosystem in die Cloud, insb. nach Amazon AWS
- Dokumentation der Vorgänge und der umzusetzenden Architektur
- Präsentation der Architektur an die Entwicklerteams sowie bis auf Managementebene
- Unterstützung bei CI/CD Prozessen
Must:
- Mindestens 2 Jahre nachweisbare Erfahrung im Bereich Amazon AWS oder Microsoft Azure
Cloud, insb. in den Gebieten Amazon EMR und Amazon ECS
- Mindestens 3 Jahre nachweisbare Erfahrung mit Apache Spark/Kafka/NiFi
- Erfahrung bei der Erstellung einer nachhaltigen Architektur zur Verarbeitung von großen Datenmengen
auf Basis von Data Mining Algorithmen in Apache Spark
- Mindestens 10 Jahre nachweisbare Erfahrung in der Dokumentation und Beschreibung von
Softwarearchitekturen bzw. Datenbankarchitekturen
- Mindestens 5 Jahre nachweisbare Erfahrung mit NoSQL insbesondere Mongo DB
- Mindestens 5 Jahre nachweisbare Erfahrung mit Spring Framework bzw. Spring Boot
- Mindestens 3 Jahre nachweisbare Erfahrung in Text Mining sowie Data Mining und Umsetzung/
Anwendung von Text Mining in Java / Apache Spark
- Verfügt über ein T-Shaped Profil
Nice:
- Erfahrung in Java und Scala Entwicklung
- Erfahrung mit Microsoft SQL Server und Apache SolR
- Erfahrung in agiler Softwareentwicklung
- Erfahrungen mit CI/CD Pipelines
- Erfahrungen mit Deployment-Prozessen
Start: asap
PLZ: Remote / nur gelegentlich vor Ort in Frankfurt
Dauer: 31.12.2020 ++