Beschreibung
Für unseren Kunden in Frankfurt sind wir auf der Suche nach einem erfahrenen Berater (m/w) mit J2EE, Apache, Kafka und HDFS Kenntnissen.Folgende Ziele werden im Projekt Datenbereitstellung Basis im Rahmen des Gesamtprojekts verfolgt:
-Bereitstellen einer Infrastruktur für Big Data (Hortonworks Hadoop)
-Aufbau einer sauberen Governance
Leistungen:
- Beratung, Konzeption, Weiterentwicklung und QS von bereits entwickelten Prozessoren für das DataFlow-Tool Apache Nifi:
- Erweiterung der bestehenden Java-Anwendung (auf Basis Spring Boot) für die Verarbeitung von JSON-Objekten um die Verarbeitung von CSV-Objekten
- Optimierung der bestehenden Java-Anwendung (auf Basis Spring Boot) für die Anonymisierung von personenbezogenen Daten hinsichtlich Performance und Implementierung
- Funktionale Weiterentwicklung des bestehenden Prozessors für die Prüfung von Permissions auf einzelne Datensätze und das Steuern von Datenströmen (duplizieren von Messages in verschiedene Datenbereiche)
- Beratung, Konzeption und Integration der Software in Apache Nifi und somit in die Datenverarbeitungskette des gesamten Hadoop Clusters
- Integration der Services in die Architektur unter Einhaltung der vorgegebenen Leitplanken
- Beratung anderer Projekte sowie Dokumentation von Best Practices und Lessons Learned
- Beratung, Konzeption und Unterstützung beim Aufbau der CI/CD/CT Pipeline
Kenntnisse:
Muss-Anforderungen:
- Mehrjährige Entwicklungserfahrung
- Sehr gute Java Entwicklungskenntnissen/ Springboot
- Nutzung von Standard Tools wie Maven, Git, Eclipse, u. ä.
- Erstellung und Einhaltung von Coding Guidelines mittels QS Prinzipien
- Kenntnisse in Schnittstellen-technologien wie REST/Soap/RMI
- Microservice, Cloud Infrastruktur, AWS, Docker, etc.
- Transformation und Verarbeitung von JSON Objekten
Soll-Anforderungen:
- Insbesondere Hortonworkskomponenten vor allem Kafka, HDFS, HBase und Hive
- JUnit, JMockit, usw.
- Apache Nifi
- Erfahrungen mit Softwareentwicklung für die AWS Cloud wünschenswert
- Erfahrungen im Einsatz von agilen Methoden in Großprojekten