Beschreibung
Wir sind auf der Suche nach einem „IT Consultant Hadoop (m/w)“ für unseren Kunden aus der Logistikbranche für den Standort Frankfurt am Main.Aufgabenbereich:
• Beratung, Konzeption, Entwicklung und QS von neu zu entwickelnden Prozessoren für das DataFlow-Tool Apache Nifi.
• Prozessor für Verarbeitung von JSON Objekten
• Prozessor für die Anonymisierung von personenbezogenen Daten
• Prozessor für die Prüfung von Permissions auf einzelne Datensätze
• Prozessor für das Steuern von Datenströmen (duplizieren von Messages in verschiedene Datenbereiche)
• Beratung, Konzeption und Integration der Software in Apache Nifi und somit in die Datenverarbeitungskette des gesamten Hadoop Clusters.
• Integration der Services in die Architektur unter Einhaltung der vorgegebenen Leitplanken
• Beratung anderer Projekte sowie Dokumentation von Best Practices und Lessons Learned
• Beratung und Konzeption beim Aufbau der CI/CD/CT Pipeline.
Anforderungen:
• Erfahrung in der Entwicklung von leichtgewichtigen Schnittstellen und hochverfügbaren Systemen
• Erfahrungen mit Softwareentwicklung für die AWS Cloud wünschenswert
• Erfahrungen im Einsatz von agilen Methoden in Großprojekten
• Sehr gute Java Entwicklungskenntnisse / Springboot
• Kenntnisse des BigData Frameworks Hadoop. insbesondere Hortonworks-Komponenten vor allem Kafka, HDFS, HBase und Hive
• Erstellung von Unit/Integration Test (JUnit, JMockit, usw.)
• Nutzung von Standard Tools wie Maven, Git, Eclipse, u.ä.
• Erstellung und Einhaltung von Coding Guidelines mittels QS Prinzipien
• Kenntnisse in Schnittstellen-technologien wie REST/Soap/RMI
• Kenntnisse moderner Betriebs- und Entwicklungsarchitekturen (Microservice, Cloud Infrastruktur, AWS, Docker, etc.)
• Kenntnisse zu ETL Prozessen, Data Management und Data Flow Tools (Apache Nifi)
• Transformation und Verarbeitung von JSON Objekten
Bei Interesse stehe ich Ihnen für weitere Fragen gerne jederzeit unter der Rufnummer – 28 zur Verfügung.
Gerne können Sie mir auch vorab Ihre Bewerbungsunterlagen zusenden an die Mail Adresse:
Vielen Dank für Ihre Aufmerksamkeit!
Silke Holzhauer