Data Engineer\'s (m/w/d) gesucht!

Beschreibung

Hallo und guten Morgen :)

Für meinen Kunden bin ich auf der Suche nach Data Engineers (m/w/d) für folgendes Projekt:

Das Projekt „Data Operations" verfolgt das Ziel, zentrale Services dieser Datenplattform bereitzustellen. Folgende Funktionalitäten sind geplant:

• Scraper System zum Stream Ingest von Daten aus unterschiedlichen Quellen
• Anreicherung der Daten mit einem im Rahmen der Datenplattform eindeutigen Identifikator
• Bereitstellung und Aufbereitung der Daten für weitere Datenprodukte und Systeme
• Löschung und Beauskunftung im Sinne der DSGVO
• Einlesen von unterschiedlichen Datenquellen im Batch-Betrieb und zur Verfügung stellen dieser Daten in definierter Integrationsschicht in unserer Datenplattform

Projektumfang:

Implementierung von Services und Pipelines zur Anbindung von Datenquellen an das vorhandene Scraper System der Datenplattform

Weiterentwicklung des Scraper Systems und Beheben von Fehlern in dieser Komponente

Implementierung und Bereitstellung eines Service zur Erzeugung und Abfrage von einheitlichen IDs unter Berücksichtigung von Performance-Aspekten

Konzeption und Implementierung von Services zur Löschung und Beauskunftung von Datensubjekten

Implementierung von Daten Pipelines zur Aufbereitung und Bereitstellung von Daten

Einlesen von Daten aus unterschiedlichen Quellsystemen (z.B. RDBMS, Cloud Storage, FTP, HTTP)

Eingesetzter Technologie-Stack

• Google Cloud Platform, Terraform, Gitlab, Gitlab CI
• Kubernetes, Docker, Argo CD/Workflows
• Apache Airflow, Google Composer
• Apache Spark, Google Dataproc
• Google Dataflow, Apache Beam
• BigQuery, BigTable, Google Cloud Storage
• Python, Pandas, Java, SQL
• REST APIs, GraphQL

Start: ASAP // November oder nach Absprache

REMOTE

Sie haben Fragen oder Interesse? Lassen Sie mir gerne Ihre Unterlagen, sowie Ihre Verfügbarkeit und einen Stundensatz zukommen. Ich melde mich umgehend nach Sichtung.

Herzliche Grüße

Anica Gilles