Beschreibung
Aufgabe:• Anbindung und Datenimport von SQL, NoSQL, external APIs zum Hadoop System, Automatisierung, Performance Optimization, Data Organization, Lifecycle Management
• Erstellen von Analytics Queries für Spark und Hive Datenbanken mit Scala
• Unterstützung bei Management und Monitoring von Hadoop Clustern, Datenbanken und der Server Applikation
• Unterstützung bei Tuning, Tracing, Performance-Optimierung der Hadoop Cluster
Anforderung:
Must-Have Skills:
• Gute Hadoop, Spark und Scala Kenntnisse
• Sehr gute Data Ingestion und Data Integration Erfahrung mit Flume, Sqoop, Kafka, NFS
• Sichere Umgang mit Scheduling tools wie Oozie und Pig skript
• Abgeschlossenes Studium oder eine abgeschlossene Berufsausbildung im Bereich der Informatik, bzw. vergleichbare Berufserfahrungen
• Gute Hadoop, Spark und Scala Kenntnisse
• Sehr gute Data Ingestion und Data Integration Erfahrung mit Flume, Sqoop, Kafka, NFS
• Sichere Umgang mit Scheduling tools wie Oozie und Pig skript
• Erstellen von Shell Scripts nach Anforderungen der Projekte
• Gute Linux Ubuntu Kenntnisse
• Erfahrung mit der Administration von Hadoop-Clustern und Cloudera Manager
• Erfahrung mit Monitoring, Tuning, Tracing, Performance-Optimierung von Clustern wünschenswert
• Grundlegende Kenntnisse über Java
• Scrum
Umgebung/Sonstiges:
‡ Tage pro Woche vor Ort – kein Remote möglich
Beginn: asap
Dauer: Ende Februar 2019
Branche: Dienstleistung