Beschreibung
Wir suchen einen Data Engineer für ein Projekt, das sich auf den Aufbau und die Optimierung von Data-Engineering-Lösungen konzentriert. Die Rolle beinhaltet die Arbeit mit Databricks und modernen Datenpraktiken.
Weitere Rahmendaten
Einsatzart:
Auslastung: 80 %
Branche: Other
Ihre Aufgaben
• Databricks-Notebooks und strukturierte Workflows für effiziente und wartbare Datentransformationen entwerfen, erstellen und optimieren
• Verwaltung von Databricks-Tabellen, Optimierung von Speicher-Layern und Implementierung von Partitionierungs-, Indexierungs- und Datenkomprimierungsstrategien für Leistung, Kosteneffizienz und Skalierbarkeit
• Datenpipelines und Analyse-Lösungen unter Verwendung der Databricks-Best Practices bereitstellen, einschließlich Versionskontrolle, CI, Tests und Überwachung.
• Arbeiten Sie mit Datenprodukten, konzentrieren Sie sich auf Performance-SLAs, Caching-Strategien und REST/nachrichtenbasierte Ausgangsports
• Entwerfen und Entwickeln von Datenpipelines und Automatisierungsskripten, Durchführung von Python-Code-Reviews in Abstimmung mit dem Entwicklungsteam
• Sicheren und qualitativ hochwertigen Code im Einklang mit den Organisationsstandards liefern
• Koordination mit verschiedenen Stakeholdern zur Abstimmung der Entwicklung mit Governance-, Sicherheits- und Compliance-Anforderungen
• Teilnahme an technischen Verfeinerungssitzungen zur Hinterfragung der technischen Projektanforderungen
• Dokumentation der technischen Aspekte des Projekts zum Verständnis
Muss-Anforderungen
• Mindestens 4 Jahre Erfahrung im Data Engineering mit Python
• Mindestens 3 Jahre Erfahrung mit Datenprodukten wie Databricks oder Data Lake
• Erfahrung mit Ausgangsports, die Performance-SLAs, Caching-Strategien und REST/Nachrichten-basierte Ausgangsports definieren
• Erfahrung mit Git, Versionskontrolle, Release Management und CI/CD
• Deutschkenntnisse min. B2 oder vergleichbar
• Englischkenntnisse mindestens C1 oder vergleichbar
Kann-Anforderungen
• Branchenkenntnisse in der Energiebranche sind von Vorteil
• Kenntnisse in Apache Spark, Airflow, Kafka und dem Azure Data Engineering Stack sind von Vorteil
• Erfahrung in der Arbeit mit einem .NET-Stack + Blazor (optional)
• Kernarchitektur, Verständnis von Datenmodellierung und Datenstrategie
• Erfahrung in der Bereitstellung von Projektverweisen, die Vertragsgegenstand, Leistungszeitraum, Kunde, durchgeführte Tätigkeit und eine kurze Beschreibung der Tätigkeit detailliert beschreiben
Weitere Informationen
Diese Rolle ist zu 90% remote strukturiert, mit einer 10%igen Präsenz vor Ort in Berlin.
Let’s power the future together
Vom Business Case bis hin zur Umsetzung: Als führendes Beratungsunternehmen für strategische Transformationen sind wir vertrauenswürdiger Partner für unsere Kunden - und für unsere Mitarbeitenden. Verantwortungsvoll, leistungsstark und immer mit dem Menschen im Fokus. #WeAreWavestone
Mit unserem 360°-Portfolio an Beratungsleistungen verbinden wir erstklassige Branchenexpertise mit einem breiten Spektrum an branchenübergreifenden Kompetenzen, arbeiten interdisziplinär und denken über den Tellerrand hinaus. Unseren Partnerunternehmen und Freelancern:Freelancerinnen können wir so umfassende Perspektiven innerhalb unserer eigenen Projekte bieten und unterstützen als langjähriger Rahmenvertragspartner bei der Besetzung von Projektvakanzen – zeitnah und direkt.
Wir freuen uns auf Ihre Kontaktaufnahme!
Ihr direkter Ansprechpartner bei Wavestone
Mirza Tahirovic
Telefon:
E-Mail:
Weitere Rahmendaten
Einsatzart:
Auslastung: 80 %
Branche: Other
Ihre Aufgaben
• Databricks-Notebooks und strukturierte Workflows für effiziente und wartbare Datentransformationen entwerfen, erstellen und optimieren
• Verwaltung von Databricks-Tabellen, Optimierung von Speicher-Layern und Implementierung von Partitionierungs-, Indexierungs- und Datenkomprimierungsstrategien für Leistung, Kosteneffizienz und Skalierbarkeit
• Datenpipelines und Analyse-Lösungen unter Verwendung der Databricks-Best Practices bereitstellen, einschließlich Versionskontrolle, CI, Tests und Überwachung.
• Arbeiten Sie mit Datenprodukten, konzentrieren Sie sich auf Performance-SLAs, Caching-Strategien und REST/nachrichtenbasierte Ausgangsports
• Entwerfen und Entwickeln von Datenpipelines und Automatisierungsskripten, Durchführung von Python-Code-Reviews in Abstimmung mit dem Entwicklungsteam
• Sicheren und qualitativ hochwertigen Code im Einklang mit den Organisationsstandards liefern
• Koordination mit verschiedenen Stakeholdern zur Abstimmung der Entwicklung mit Governance-, Sicherheits- und Compliance-Anforderungen
• Teilnahme an technischen Verfeinerungssitzungen zur Hinterfragung der technischen Projektanforderungen
• Dokumentation der technischen Aspekte des Projekts zum Verständnis
Muss-Anforderungen
• Mindestens 4 Jahre Erfahrung im Data Engineering mit Python
• Mindestens 3 Jahre Erfahrung mit Datenprodukten wie Databricks oder Data Lake
• Erfahrung mit Ausgangsports, die Performance-SLAs, Caching-Strategien und REST/Nachrichten-basierte Ausgangsports definieren
• Erfahrung mit Git, Versionskontrolle, Release Management und CI/CD
• Deutschkenntnisse min. B2 oder vergleichbar
• Englischkenntnisse mindestens C1 oder vergleichbar
Kann-Anforderungen
• Branchenkenntnisse in der Energiebranche sind von Vorteil
• Kenntnisse in Apache Spark, Airflow, Kafka und dem Azure Data Engineering Stack sind von Vorteil
• Erfahrung in der Arbeit mit einem .NET-Stack + Blazor (optional)
• Kernarchitektur, Verständnis von Datenmodellierung und Datenstrategie
• Erfahrung in der Bereitstellung von Projektverweisen, die Vertragsgegenstand, Leistungszeitraum, Kunde, durchgeführte Tätigkeit und eine kurze Beschreibung der Tätigkeit detailliert beschreiben
Weitere Informationen
Diese Rolle ist zu 90% remote strukturiert, mit einer 10%igen Präsenz vor Ort in Berlin.
Let’s power the future together
Vom Business Case bis hin zur Umsetzung: Als führendes Beratungsunternehmen für strategische Transformationen sind wir vertrauenswürdiger Partner für unsere Kunden - und für unsere Mitarbeitenden. Verantwortungsvoll, leistungsstark und immer mit dem Menschen im Fokus. #WeAreWavestone
Mit unserem 360°-Portfolio an Beratungsleistungen verbinden wir erstklassige Branchenexpertise mit einem breiten Spektrum an branchenübergreifenden Kompetenzen, arbeiten interdisziplinär und denken über den Tellerrand hinaus. Unseren Partnerunternehmen und Freelancern:Freelancerinnen können wir so umfassende Perspektiven innerhalb unserer eigenen Projekte bieten und unterstützen als langjähriger Rahmenvertragspartner bei der Besetzung von Projektvakanzen – zeitnah und direkt.
Wir freuen uns auf Ihre Kontaktaufnahme!
Ihr direkter Ansprechpartner bei Wavestone
Mirza Tahirovic
Telefon:
E-Mail: