Beschreibung
Aufgabe:• Beratung, Konzeption, Entwicklung und QS von neu zu entwickelnden Prozessoren für das DataFlow-Tool Apache Nifi
- Prozessor für Verarbeitung von JSON Objekten
- Prozessor für die Anonymisierung von personenbezogenen Daten
- Prozessor für die Prüfung von Permissions auf einzelne Datensätze
- Prozessor für das Steuern von Datenströmen (duplizieren von Messages in verschiedene Datenbereiche)
• Beratung, Konzeption und Integration der Software in Apache Nifi und somit in die Datenverarbeitungskette des gesamten Hadoop Clusters.
• Integration der Services in die Architektur unter Einhaltung der vorgegebenen Leitplanken
• Beratung anderer Projekte sowie Dokumentation von Best Practices und Lessons Learned
• Beratung, Konzeption und Unterstützung beim Aufbau der CI/CD/CT Pipeline.
Anforderung:
Java/JEE Entwicklung
- Sehr gute Java Entwicklungskenntnissen/ Springboot
Nutzung von Standard Tools wie Maven, Git, Eclipse, u.ä.
Erstellung und Einhaltung von Coding Guidelines mittels QS Prinzipien
Kenntnisse in Schnittstellentechnologien wie REST/Soap/RMI
Kenntnisse moderner Betriebs- und Entwicklungsarchitekturen
- Microservice, Cloud Infrastruktur, AWS, Docker, etc.
Transformation und Verarbetiung von JSON Objekten
Wünschenswert:
Kenntnisse zu ETL Prozessen, Data Management und Data Flow Tools
- Apache Nifi
Kenntnisse des BigData Frameworks Hadoop
- Insbesondere Hortonworkskomponenten vor allem Kafka, HDFS, HBase und Hive
Erstellung von Unit/Integration Test: JUnit, JMockit, usw.
Umgebung/Sonstiges:
Ihr Ansprechpartner:
Sebastiano Lo Castro - Manager Recruiting
Telefon - Mobil
Beginn: 29.05.2017
Dauer: 28.07.2017
Branche: Logistik/Transport