Beschreibung
TEX_17790 - Big Data Engineer (f/m) mit AWS, Hadoop & Spark Know-HowEinsendeschluß: 02.05.2018
Anzahl d. Personen: 1
Branche: Telco
Einsatzort: Bayern
Zeitraum: 21.05.2018 - 31.08.2018
Auslastung: 60 PT im o.g. Zeitraum
Profilvorgabe: Deutsch
Preisvorgabe: EUR/Std.
Projektbeschreibung/Aufgaben/Rolle:
Aufgaben:
-Mitarbeit bei der Entwicklung und Validierung von Data Science Applikationen
-Entwicklung von Big Data ETL pipelines (Streaming / Batch) auf Basis gängiger AWS Services & open source Frameworks (Hadoop, Hive, Python, Spark, EMR, Kinesis, Lambda)
Insb. Data Cleansing
Performance- und Kosteneffizienz
Bereitstellung der Daten- & Aggregationslayer
Data Governance (insb. in AWS)
Erstellung von zugehörigen Monitoring & Alerting-Mechanismen & Dashboards
- Entwicklung von SQL Statements auf Basis spezifischer Anforderungen und Speicherung der Ergebnisse in SQL Datenbanken
- Prüfung der Ergebnisqualität anhand von Anwendungsfällen
- Erstellung von Dokumentationen
Skills/Hinweise:
Skills:
- Mindestens 1 Jahr Erfahrung mit Big Data Technologien insb. Spark (Scala + PySpark), Yarn, Hive, Hadoop
- Gute Kenntnisse von AWS Services, insb. EMR, EC2, S3
- Sehr gute Kenntnisse von SQL
- Affinität zur Funktionalen Programmierung (insb. in Scala und Python) und Scala OOP
- Gute Kenntnisse von Scala, vorteilhaft sind Kenntnisse in Java
- Erfahrung in der Erstellung von den JAR-libraries aus Scala code
- Sicher in Linux und Scripting mit bash und Python
- Erfahrung in Reporterstellung in Web- Dashboards
- Mehrjährige Berufserfahrung im IT-Bereich
- Gute Kommunikationsfähigkeiten in Deutsch und Englisch
Bei Interesse senden Sie uns bitte Ihr aktuelles Profil (bitte im Word-Format) unter Angabe Ihrer Verfügbarkeit sowie Ihres gewünschten Std.- / bzw. Tagessatzes.
Bitte beachten Sie, dass wir weiterführende Informationen zu dieser Ausschreibung wie bspw. Details zum Standort, dem Endkunden oder Tages- / Stundensätzen nur an bei uns registrierte Berater / Geschäftspartner herausgeben können.
Wenn Sie sich bei uns registrieren möchten, senden Sie uns bitte Ihr Profil (bitte im Word-Format) .