Beschreibung
Tätigkeit:Projekt-/Aufgabenbeschreibung:
• Unterstützung bei der Konzeption und Umsetzung der Datenaufbereitung in Hadoop (Input: JSON und CSV, Output: Parquet) über verschiedene Stufen (Raw Layer, Cleansing, Refined Layer 1, Refined Layer 2, Business Layer)
• Unterstützung bei der Erstellung von Analysen/Dashboards auf den umgesetzten Aufbereitungslayern
• Umsetzung von projektinternen IT-Security Maßnahmen
• Beratung zu weiterführenden DWH-Strukturen im Big Data Kontext (bspw. Redshift)
Anforderungen:
must have:
• Programmierung Apache Spark /Scala
• Entwicklung und Umsetzung Konzepte zur Datenaufbereitung und Datenintegration (Engineering) im Hadoop Umfeld
• Architektur- und Umsetzungs-Kenntnisse im Hadoop Hortonworks Stack (z.B. Spark, Kafka, HDFS, Yarn, Hive)
• Mindestens 5 Jahre Berufserfahrung im geforderten Skillset
• Mindestens 2 Jahre Erfahrung in Scrum / Arbeit in agilen Teams
nice to have:
• Architektur- und Umsetzungs-Kenntnisse im AWS Stack (z.B. ECS, EMR, Athena, Glue, Redshift, Kinesis oder MSK)
• Architektur- und Umsetzungs-Kenntnisse zu relationalen Datenbanken, SQL, ETL und BI-Werkzeuge
• Starke analytische und konzeptionelle Fähigkeiten
• Apache NiFi und Docker, Java, AirFlow
• Beratung zu Systemarchitektur
• Hohes Business Verständnis, vorzugsweise im Bereich Transport, Personenverkehr, Reisemarkt
Umfeld(Must)
Apache Scala, Apache Spark, Hadoop, HDFS, Hive, Kafka, Yarn
Umfeld (Nice to Have):
AirFlow, Apache NiFi, Athena, AWS, Docker, ECS, EMR, ETL, Glue, Java, Kinesis, MSK, Redshift, SQL
Sonstiges
Option auf Verlängerung
Beginn
asap/nach Absprache
Ende
03.01.2020+
Ort
Frankfurt am Main
Sollten Sie uns bei diesem Projekt unterstützen können, so bitten wir um die Zusendung geeigneter Profile an .
Vielen Dank im Voraus.
Bianca Monetta
Subcontractor Managerin
PENTASYS AG
Solmsstr. 41
60486 Frankfurt am Main
Tel.
Fax
Web www.pentasys.de
Vorstand: Rüdiger Azone (CEO), Margit Cabolet, Dr. Lothar Ludwig, Thomas Worofsky
Aufsichtsratsvorsitzender: Jérôme Gontard
HR München HRB 167896