Beschreibung
Für unseren Kunden, am Standort Frankfurt am Main suchen wir derzeit einen Data Intelligence Engineer(w/m/d) auf freiberuflicher Basis.
Aufgaben
- Beratung bei der Erstellung einer cloudfähigen Architektur zur Erfassung und Speicherung von großen Mengen an Textdaten
- Beratung bei der Erstellung einer cloudfähigen Architektur zur Verarbeitung von großen Datenmengen auf Basis von Data Mining Algorithmen in Apache Spark
- Beratung bei der Portierung des bestehenden Hortonworks Hadoop Ökosystem in die Cloud, insb. nach Amazon AWS
- Dokumentation der Vorgänge und der umzusetzenden Architektur
- Präsentation der Architektur an die Entwicklerteams sowie bis auf Managementebene
- Unterstützung bei CI/CD Prozessen
Skills
- Mindestens 2 Jahre nachweisbare Erfahrung im Bereich Amazon AWS oder Microsoft Azure Cloud, insb. in den Gebieten Amazon EMR und Amazon ECS
- Mindestens 3 Jahre nachweisbare Erfahrung mit Apache Spark/Kafka/NiFi
- Erfahrung bei der Erstellung einer nachhaltigen Architektur zur Verarbeitung von großen Datenmengen auf Basis von Data Mining Algorithmen in Apache Spark
- Mindestens 10 Jahre nachweisbare Erfahrung in der Dokumentation und Beschreibung von Softwarearchitekturen bzw. Datenbankarchitekturen
- Mindestens 5 Jahre nachweisbare Erfahrung mit NoSQL insbesondere MongoDB
- Mindestens 5 Jahre nachweisbare Erfahrung mit Spring Framework bzw. Spring Boot
- Mindestens 3 Jahre nachweisbare Erfahrung in Text Mining sowie Data Mining und Umsetzung/Anwendung von Text Mining in Java/Apache Spark
- Verfügt über ein T-Shaped Profil
Soll-Anforderungen:
- Erfahrung in Java und Scala Entwicklung
- Erfahrung mit Microsoft SQL Server und Apache SolR
- Erfahrung in agiler Softwareentwicklung
- Idealerweise erste Kenntnisse im Bereich Fernverkehr
- Erfahrungen mit CI/CD Pipelines
- Erfahrungen mit Deploymentprozessen