Beschreibung
Aufgabe:Implementierung und Umsetzung einer Daten- Parsing -Pipeline mittels gängiger Data Ingestion Frameworks.
Anforderung:
- Oozie- Entwickler im Hadoop Ökosystem mit Online und Batch Processing
- Oozie: Workflows, Cloudera/Oozie-API
- Datei Formate: Avro, Parquet
- Datenbanken: Hive und Impala, SQL-Queries
- Shell Scripting
- Linux/Unix
- Continuous Integration/Continuous Deployment, Bamboo, Maven
- Deutsch und Englisch
Wünschenswert:
KEINE Must-Haves
- Spark, Flume
- HDFS und Kafka
- Java-Entwicklung (objektorientiert)
Umgebung/Sonstiges:
Vollauslastung. Vor Ort.
Remote möglich: In der Anfangsphase 20% im Projektverlauf dann bis zu 60%
Verlängerung möglich bis 30.11.2018
Beginn: 01.02.2018
Dauer: 31.08.18
Branche: Telekommunikation