Beschreibung
Sehr geehrte Damen und Herren,Zur Unterstützung meines Kunden suche ich asap Data Operations Engineer (m/w/d).
Rahmendaten:
Start: asap
Laufzeit: erste Beauftragung 3 Monate, geplant 18 M
Umfang: Vollzeit
Einsatzort: Remote
Umfang der Dienstleistungen
- Implementierung von Services und Pipelines zur Anbindung von Datenquellen an das vorhandene Scraper System der Datenplattform
- Weiterentwicklung des Scraper Systems und Beheben von Fehlern in dieser Komponente
- Implementierung und Bereitstellung eines Service zur Erzeugung und Abfrage von einheitlichen IDs unter Berücksichtigung von Performance-Aspekten
- Konzeption und Implementierung von Services zur Löschung und Beauskunftung von Datensubjekten
- Implementierung von Daten Pipelines zur Aufbereitung und Bereitstellung von Daten
- Einlesen von Daten aus unterschiedlichen Quellsystemen (z.B. RDBMS, Cloud Storage, FTP, HTTP)
Eingesetzter Technologie-Stack
- Google Cloud Platform, Terraform, Gitlab, Gitlab CI
- Kubernetes, Docker, Argo CD/Workflows
- Apache Airflow, Google Composer
- Apache Spark, Google Dataproc
- Google Dataflow, Apache Beam
- BigQuery, BigTable, Google Cloud Storage
- Python, Pandas, Java, SQL
- REST APIs, GraphQL
Klingt das interessant für Sie? Dann melden Sie sich mit Ihrem aktuellen Profil und Stundensatz direkt bei mir!