Beschreibung
AUFGABENPROFILImplementierung von Datenpipelines und Datenintegrationen unter Anwendung von Best Practices Data Engineering-Konzepten
Erstellen der Lösungen im Kontext der Cloud-Infrastruktur (Google Cloud Platform)
Überwachung und Optimierung von ETL-Prozessen
Implementierung von Anwendungsfällen für die Erstlast und zur Datenmigration
Integration von Datenquellen (z. B. REST-APIs, SQL-Quellen), Schnittstellendesign und Datenherkunft
DEIN QUALIFIKATIONSPROFIL
Mehr als 2 Jahre Erfahrung mit einem der Premium-Anbieter von Cloud-Lösungen: GCP (bevorzugt), AWS, Azure
Mehr als 3 Jahre Erfahrung im Software-Engineering im Kontext des Data Engineering (einschließlich z. B. unter Verwendung von Frameworks wie Python) Profunde SQL (Datenbank-) Kenntnisse und Kenntnisse in SQL: e. G. Teradata, Oracle, MySQL, MSSQL
Fundierte Erfahrung in der Datenmodellierung mit Data Vault
Kompetenzen in der Dimensionsmodellierung
Relevante Erfahrung mit ETL-Tools wie Apache Beam und Kettle, einschließlich Überwachung und Optimierung von ETL-Prozessen
Interesse und dokumentierte Erfahrung mit statistischen Methoden und Prinzipien
Erfahrung mit ereignisgesteuerten Architekturen und Eventing-Solutions: z.B. Verwenden von Apache Kafka, JMS
Erfahrung in der Erstellung von Datenprofilen und im Datenqualitätsmanagement
Fähigkeit zur Implementierung von Anwendungsfällen für die Erstlast und zur Datenmigration
Interesse und grundlegendes Verständnis für maschinelles Lernen
Nachgewiesene Erfahrung in der Integration von Datenquellen (z. B. REST-APIs, SQL-Quellen), Schnittstellendesign und Datenherkunft
Grundlegendes Verständnis von NoSQL-Konzepten
Erfahrung mit Apache Spark
Gute Kommunikationsfähigkeiten (bevorzugte Sprache: Deutsch, mindestens: Englisch fließend) und die Fähigkeit, technische Anforderungen in qualitativ hochwertige Implementierungen umzuwandeln