Beschreibung
Für unseren Kunden in Frankfurt am Main suchen wir einen Java-Entwickler (m/w) im Umfeld Big Data.
Aufgaben:
Beratung, Konzeption, Weiterentwicklung und QS von bereits entwickelten Prozessoren für das DataFlow-Tool Apache Nifi:
Erweiterung der bestehenden Java-Anwendung (auf Basis Spring Boot) für die Verarbeitung von JSON-Objekten um die Verarbeitung von CSV-Objekten
Optimierung der bestehenden Java-Anwendung (auf Basis Spring Boot) für die Anonymisierung von personenbezogenen Daten hinsichtlich Performance und Implementierung
Funktionale Weiterentwicklung des bestehenden Prozessors für die Prüfung von Permissions auf einzelne Datensätze und das Steuern von Datenströmen (duplizieren von Messages in verschiedene Datenbereiche)
Beratung, Konzeption und Integration der Software in Apache Nifi und somit in die Datenverarbeitungskette des gesamten Hadoop Clusters.
Integration der Services in die Architektur unter Einhaltung der vorgegebenen Leitplanken
Beratung anderer Projekte sowie Dokumentation von Best Practices und Lessons Learned
Beratung, Konzeption und Unterstützung beim Aufbau der CI/CD/CT Pipeline
Anforderungen:
Java/JEE Entwicklung
Sehr gute Java Entwicklungskenntnisse / Springboot
Kenntnisse des BigData Frameworks Hadoop: Insbesondere Hortonworks-Komponenten vor allem Kafka, HDFS, HBase und Hive
Erstellung von Unit/Integration Test: JUnit, JMockit, usw.
Nutzung von Standard Tools wie Maven, Git, Eclipse, u.ä.
Erstellung und Einhaltung von Coding Guidelines mittels QS Prinzipien
Kenntnisse in Schnittstellentechnologien wie REST/Soap/RMI
Kenntnisse moderner Betriebs- und Entwicklungsarchitekturen: Microservice, Cloud Infrastruktur, AWS, Docker, etc.
Kenntnisse zu ETL Prozessen, Data Management und Data Flow Tools: Apache Nifi
Transformation und Verarbetiung von JSON Objekten
Mehrjährige Entwicklungserfahrung
Erfahrung in der Entwicklung von leichtgewichtigen Schnittstellen und hochverfügbaren Systemen
Erfahrungen mit Softwareentwicklung für die AWS Cloud wünschenswert
Erfahrungen im Einsatz von agilen Methoden in Großprojekten