Beschreibung
Aktuell suchen wir einen erfahrenen Data Engineer für die Entwicklung einer Data-Pipeline für die Bewertung von Daten.den Aufbau/Migration eines Data Lake. Wir arbeiten schon sehr lange in dieser Projektumgebung mit und kennen das Team sehr gut und haben bisher durchweg positives Feedback erhalten
Sollten Sie jemanden in Ihrem Netzwerk haben für den das passt, oder ist es gar für Sie spannend?
Gerne sende ich einmal die Details mit:
- Vertrag: über Xcede
- Start: 01.01.2021
- Dauer: 1. Beauftragung 60 PT
- Auslastung: 100%
- Budget: €/Tag
- Standort: Remote / ein paar Tage Mainz
Erfahrungen:
- Entwicklungsleistungen als Data Engineer
- Aufbau/Migration eines Data Lake
- Aufbau Data Pipelines
Skills:
- Python
- Experience with Spark, Celery or any similar distributed systems
- Docker
Wir freuen uns über:
- AWS S3
- Apache Airflow
- RedHat OpenShift (Kubernetes)
- QlikSense
- Celery
- MongoDB
- Amazon Redshift / PostgreSQL
Das Projekt:
- Es werden täglich größere Menge von Daten erzeugt, die auch analysiert werden müssen. Die Daten sind in JSON-Format und besitzen eine heterogene Struktur aus mehreren verschalteten Ebenen. Wenn bestimmte Bedingungen während der Analyse getroffen sind werden auch Tickets auf Jira erstellt. Zusätzlich wird einen Teil dieses Daten auch anhand Dashboards dargestellt. Aktuell sind alle Komponenten auf einem Docker-Cluster bereitgestellt. Es ist vorgesehen, dass die Datenhaltung und Abfrage auf einem Data-Lake bereitgestellt sind.
Klingt das interessant für Sie?