Beschreibung
Aufgaben:* Migration / Refactoring Java Spark zu pySpark Jobs
* Weiterentwicklung von Frameworks zur Entwicklung bzw. Operationalisierung von pySpark Jobs
* Analyse / Refactoring, Erweiterung und Monitoring von Java ETL Programmen
* Durchführungen von Proof of Concepts, zum Beispiel die Evaluation von AWS basierten Architekturen als Alternative zum aktuellen Stack oder Nutzung von Machine Learning im Kontext Predictive Maintenance
Anforderungen:
* Sehr gute Kenntnisse in der Softwareentwicklung mit Python und Java
* Erfahrung mit Big Data Technologien wie Apache Spark (Java,pySpark), Cassandra, Kudu, HDFS, Hive
* Erfahrung mit Cloud-Technologien mit dem Fokus AWS Stack, insbesondere Kinesis, Athena, Dynamo DB, S3, Lambda Functions, AWS EMR - Spark