Beschreibung
Für ein innovatives und stetig wachsendes führendes Unternehmen (Transport) suchen wir zur weiteren Projektunterstützung für ein sehr kollegiales Team am Standort Frankfurt am Main, einen freiberuflichen:Software-Architekt (m/w/d) im Bereich Machine Learning
Information:
Ziel des Projektes ist es, eine höhere Transparenz eine schnellere Erkennung und schneller Abstellung von Missständen bei der Leistungserbringung zu ermöglichen und neue Erkenntnisse zu Kundenbedürfnissen zu gewinnen.
Zur Verarbeitung und das Routing von Feedback soll eine hochautomatisierte Engine weiterentwickelt werden, mit der das Feedback analysiert, aufbereitet, mit betrieblichen Daten verschnitten und den Fachabteilungen zur Verfügung gestellt werden soll.
Im Rahmen des Projektes sollen bestehende Machine Learning Prozesse in eine AWS Infrastruktur portiert werden. Dafür wird primär eine Kombination aus EMR mit Apache Spark-basierten Anwendungen, Amazon RDS, Apache Kafka, Apache NiFi sowie einem on-premise Machine Learning Cluster eingesetzt. In diesem Zusammenhang sollen insbesondere die CI/CD Pipelines zum Zusammenspiel der Komponenten auf Basis von GitLab aufgebaut und erweitert werden.
Aufgabe:
• Weiterentwicklung bestehender CI/CD Pipelines zum Deployment und der Aktualisierung von Machine Learning Modellen
• Weiterentwicklung der bestehenden Machine Learning Infrastruktur bestehend aus Amazon EMR und einem Hadoop Cluster
• Beratung bei der Umsetzung einer cloudfähigen Architektur zur Verarbeitung von großen Datenmengen auf Basis von Data Mining Algorithmen in Apache Spark / EMR
• Beratung bei der Erstellung einer cloudfähigen und sicheren Architektur zur Verarbeitung von großen Datenmengen auf Basis von Data Mining Algorithmen in Apache Spark
• Weiterentwicklung des Monitorings der bestehenden Machine Learning Komponenten auf Basis von Grafana
• Dokumentation der Vorgänge und der umzusetzenden Architektur
Muss-Anforderungen:
• Mindestens 5 Jahre nachweisbare Erfahrung im Bereich Machine Learning
• Mindestens 2 Jahre nachweisbare Projekterfahrung im Bereich Erfahrung mit Apache Spark / EMR
• Mindestens 3 Jahre nachweisbare Erfahrung im Bereich GitLab und dem Aufbau von CI/CD Pipelines
• Mindestens 2 Jahre nachweisbare (Projekt-)Erfahrung im Bereich im Bereich Amazon AWS oder Microsoft Azure Cloud, insb. in den Gebieten Amazon EMR und Amazon ECS
• Mindestens 3 Jahre nachweisbare Erfahrung im Bereich Erfahrung in der Dokumentation und Beschreibung von Softwarearchitekturen bzw. Datenbankarchitekturen
Soll-Anforderungen:
• Erfahrung mit Apache NiFi
• Erfahrung mit Apache Kafka
• Erfahrung in agiler Softwareentwicklung
Kontakt: (Bitte mit ID und Angabe Ihres Stundensatzes)
Andreas Biermann
mund consulting AG
Am Alten Berg 31