Freelance Data Engineer Debezium/Oracle CDC Evaluation & PoC
Data Insight Consulting GmbH
Ansprechpartner: Data Insight Consulting
Hamburg, Deutschland
Beschreibung
Kontext
Für eine neue Datenintegrationsplattform auf Databricks soll Debezium als CDC-Lösung für mehrere Oracle-Quellsysteme bewertet und in einem PoC praktisch validiert werden. Messaging-Layer: Azure Event Hubs.
Aufgaben
- Debezium-PoC aufsetzen: Oracle Connector, Anbindung an Event Hubs, CDC-Szenarien testen (Initial Load, Insert/Update/Delete, Wiederanlauf)
- Risiken bewerten: SCN-Gaps, lange Transaktionen, Recovery, Monitoring
- Quellsysteme analysieren: Datenmodelle, Views, Änderungszeitstempel, Volumina
- Architektur- und Skalierungskonzept für Debezium erstellen
- Hands-on mit dem internen Team, Know-how-Transfer
Must-have
- Praktische Debezium-Erfahrung, idealerweise Oracle Connector
- Oracle-Know-how: Redo Logs, SCN, Supplemental Logging
- Kafka / Kafka Connect / Azure Event Hubs
- Docker/Container, Deployment-Varianten
- Databricks / Spark Structured Streaming
Nice-to-have
- Podman / rootless Container
- Erfahrung in regulierten Enterprise-Umgebungen
Rahmen
- Start: asap
- Laufzeit: 2 Monate, Verlängerungsoption
- Auslastung: 4-5 Tage pro Woche
- Remote-Anteil: 100%