Beschreibung
TätigkeitenbeschreibungDie Leistungen werden im Projekt Datenbereitstellung Basis des Programms Vendo erbracht.
Folgende Ziele werden im Projekt Datenbereitstellung Basis im Rahmen des Gesamtprojekts verfolgt:
Bereitstellen einer Infrastruktur für Big Data (Hortonworks Hadoop)
Aufbau einer sauberen Governance
Aufgaben
Beratung, Konzeption, Weiterentwicklung und QS von bereits entwickelten Prozessoren
für das DataFlow-Tool Apache Nifi:
Erweiterung der bestehenden Java-Anwendung (auf Basis Spring Boot) für die
Verarbeitung von JSON-Objekten um die Verarbeitung von CSV-Objekten
Optimierung der bestehenden Java-Anwendung (auf Basis Spring Boot) für die
Anonymisierung von personenbezogenen Daten hinsichtlich Performance und
Implementierung
Funktionale Weiterentwicklung des bestehenden Prozessors für die Prüfung von
Permissions auf einzelne Datensätze und das Steuern von Datenströmen (duplizieren
von Messages in verschiedene Datenbereiche)
Beratung, Konzeption und Integration der Software in Apache Nifi und somit in die
Datenverarbeitungskette des gesamten Hadoop Clusters.
Integration der Services in die Architektur unter Einhaltung der vorgegebenen Leitplanken
Beratung anderer Projekte sowie Dokumentation von Best Practices und Lessons Learned
Beratung, Konzeption und Unterstützung beim Aufbau der CI/CD/CT Pipeline.
Anforderungen – must have:
Sehr gute Java Entwicklungskenntnissen/ Springboot
Nutzung von Standard Tools wie Maven, Git, Eclipse, u.ä.
Erstellung und Einhaltung von Coding Guidelines mittels QS Prinzipien
Kenntnisse in Schnittstellentechnologien wie REST/Soap/RMI
Mehrjährige Entwicklungserfahrung
Erfahrung in der Entwicklung von leichtgewichtigen Schnittstellen und hochverfügbaren
Systemen
Anforderungen – should + nice to have:
Kenntnisse des BigData Frameworks Hadoop
Insbesondere Hortonworks-komponenten vor allem Kafka, HDFS, HBase und Hive
Erstellung von Unit/Integration Test
JUnit, JMockit, usw.
Kenntnisse zu ETL Prozessen, Data Management und Data Flow Tools
Apache Nifi
Bahn Know How wünschenswert
Erfahrungen mit Softwareentwicklung für die AWS Cloud wünschenswert
Erfahrungen im Einsatz von agilen Methoden in Großprojekten
Fähigkeiten (Must have)
Eclipse, Git, Java, Maven, REST, SOAP, Spring Boot
Fähigkeiten (Nice to have)
Apache Nifi, AWS, Bahn Know-how, Data Flow Tools, Data Management, Hadoop, HBase, HDFS, Hive, JMockit, Junit, Kafka, SCRUM