Beschreibung
Aufgabe:• Beratung, Konzeption, Weiterentwicklung und QS von bereits entwickelten Prozessoren für das DataFlow-Tool Apache Nifi:
o Erweiterung der bestehenden Java-Anwendung (auf Basis Spring Boot) für die Verarbeitung von JSON-Objekten um die Verarbeitung von CSV-Objekten
o Optimierung der bestehenden Java-Anwendung (auf Basis Spring Boot) für die Anonymisierung von personenbezogenen Daten hinsichtlich Performance und Implementierung
o Funktionale Weiterentwicklung des bestehenden Prozessors für die Prüfung von Permissions auf einzelne Datensätze und das Steuern von Datenströmen (duplizieren von Messages in verschiedene Datenbereiche)
• Beratung, Konzeption und Integration der Software in Apache Nifi und somit in die Datenverarbeitungskette des gesamten Hadoop Clusters
• Integration der Services in die Architektur unter Einhaltung der vorgegebenen Leitplanken
• Beratung anderer Projekte sowie Dokumentation von Best Practices und Lessons Learned
• Beratung, Konzeption und Unterstützung beim Aufbau der CI/CD/CT Pipeline
Anforderung:
• Sehr gute Java Entwicklungs-kenntnissen/ Springboot
• Microservice, Cloud Infrastruktur, AWS, Docker, etc.
• Erfahrung in der Entwicklung von leichtgewichtigen Schnittstellen und hochverfügbaren Systemen
Wünschenswert:
• Kenntnisse des BigData Frameworks Hadoop
o Insbesondere Hortonworks-komponenten vor allem Kafka, HDFS, HBase und Hive
• JUnit, JMockit, usw.
• Apache Nifi
• Erfahrungen mit Softwareentwicklung für die AWS Cloud wünschenswert
• Erfahrungen im Einsatz von agilen Methoden in Großprojekten
Beginn: 03.09.2018
Dauer: 07.12.2018
Branche: Logistik/Transport