Beschreibung
Beschreibung / AufgabenDie Leistungen des Auftragnehmers (Dienstleisters) werden für das Projekt Railmate erbracht. Durch dieses soll durch die höhere Transparenz eine schnellere Erkennung und schneller Abstellung von Miss-ständen bei der Leistungserbringung ermöglicht und neue Erkenntnisse zu Kundenbedürfnissen gewonnen werden.
Zur Verarbeitung und das Routing von Feedback soll eine hochautomatisierte Engine weiterentwickelt werden, mit der das Feedback analysiert, aufbereitet, mit betrieblichen Daten verschnitten und den Fachabteilungen zur Verfügung gestellt werden soll.
Im Rahmen des Projektes sollen bestehende Prozesse in eine „cloud-ready“ Infrastruktur auf Basis von Apache Kafka, Apache Spark und Apache NiFi portiert werden. In diesem Zusammenhang sollen insbesondere Prozesse zur Datenaufbereitung und -verarbeitung in Java weiterentwickelt werden.
Die Leistungserbringung erfolgt überwiegend im Rahmen agiler Vorgehensmodelle (z.B. SCRUM).
In diesem Fall sind die dort spezifischen Prozesse zu berücksichtigen und es ist ein regel-mäßiger Austausch mit dem Team erforderlich.
Entsprechend dem im agilen Team gegebenen Vorgehen sind regelmäßige Abstimmungen notwendig, die Aufgaben-Verteilungsprozesse (z.B. Pull von Tasks gemäß Kompetenz und in Abstimmung mit dem Team) durchzuführen und die entsprechenden fachlichen Kommunikationsinstrumente (z.B. JIRA) zu bedienen.
Der Dienstleister erbringt folgende Leistungen:
Weiterentwicklung bestehender Prozesse auf Basis von Java / Spring Boot
Weiterentwicklung bestehender ETL Workflows in Apache NiFi
Umsetzung von CI/CD Pipelines für das Deployment von Containern in der AWS Cloud auf Basis von GitLab
Beratung bei der Umsetzung einer cloudfähigen Architektur zur Verarbeitung von großen Daten-mengen auf Basis von Data Mining Algorithmen in Apache Spark
Beratung bei der Portierung des bestehenden Hortonworks Hadoop Ökosystem in die Cloud, insb. nach Amazon AWS
Beratung bei der Erstellung einer cloudfähigen Architektur zur Verarbeitung von großen Datenmen-gen auf Basis von Data Mining Algorithmen in Apache Spark
Dokumentation der Vorgänge und der umzusetzenden Architektur
Skills / Profil
Muss-Anforderungen:
Mindestens 5 Jahre nachweisbare Projekterfahrung in Bereich Softwareentwicklung mit Java und Spring Boot
Mindestens 2 Jahre nachweisbare Erfahrung mit Apache NiFi
Mindestens 2 Jahre nachweisbare (Projekt-)Erfahrung mit Apache Kafka
Mindestens 2 Jahre nachweisbare Projekterfahrung im Bereich Erfahrung mit Apache Spark insb. Entwicklung mit Java
Mindestens 2 Jahre nachweisbare Erfahrung im Bereich GitLab und der Entwicklung von CI/CD Pipelines
Mindestens 2 Jahre nachweisbare Projekterfahrung im Bereich im Bereich Amazon AWS oder Microsoft Azure Cloud, insb. in den Gebieten Amazon EMR und Amazon ECS
Mindestens 2 Jahre nachweisbare Erfahrung im Bereich Erfahrung in der Dokumentation und Beschreibung von Softwarearchitekturen bzw. Datenbankarchitekturen
Soll-Anforderungen:
Erfahrung mit Microsoft SQL Server
Erfahrung in agiler Softwareentwicklung
Erfahrung in der Prozess(weiter-)entwicklung
Erfahrung in agilen Projekten