Beschreibung
Aufgaben:* Data Engineering / Data Analytics (KPI Reporting)
* PySpark / Airflow / ETL Prozesse
* Datenbanken / Streaming Technologien / Datenmanagement
* AWS Cloud / Terraform / Kubernetes
* Erstellen / Betreuen von Deploymentprozessen (GitLab CI/CD)
* Anbinden von Datenquellen (Datei, Datenbank, Stream)
* Erstellen von ETL Prozessen zur Datenvereinnahmung / Datenaufbereitung / Datenanalyse & Bereitstellung
Must Have:
* Python
* Machine Learning Pipelines
* Kubernetes
* Pandas
* ETL
* Apache Spark
* SQL im Big Data-Kontext (Hive, Presto, ...)
* NoSQL-Datenbanken (DynamoDB o. Ä.)
* Unix
* Git
* Kenntnisse über Agile Methoden wie Scrum
Nice to Have:
* JavaScript/Node
* Infrastructure as Code (Terraform, ...)
* AWS EMR
* Apache Airflow
* Relationale Datenbanken (MySQL, Postgres, ...)
* API-Knowledge
* Streaming-Technologien (Kafka, Kinesis, Spark Structured Streaming, ...)
* CI/CD (GitlabCI o. Ä.)
* Public Cloud (AWS, GCP)
* SAFe
* Scrum im Data-Science Bereich
* Domänenwissen (Video-on-demand, Google Analytics-Tracking
Betrieb von Big Data Pipelines, Logging, Monitoring, Alerting, Unit & Integration Tests)