DataBricks Expert
WattFox GmbH
Ansprechpartner: Marc Lewerentz
Freiburg, Deutschland
Umwelt und NachhaltigkeitData ArchitectureInfrastrukturAzure Data LakeAnforderungsanalyseData LakePySparkDatabricks
Beschreibung
Projektbeschreibung: Freelance DataBricks-Experte / -Expertin
Wir sind eines mittelständisches Unternehmen und planen den Einsatz von DataBricks (Azure). Wir suchen dafür einen erfahrenen Freelancer, der uns hilft, die initiale Lernphase zu verkürzen und von Anfang an eine passende Infrastruktur aufzubauen. Unsere Datenlandschaft wird künftig deutlich diverser – genau das hat die Entscheidung für DataBricks motiviert.
Aufgaben (ergebnisorientiert, drei Meilensteine)
- Ist-Analyse der bestehenden Analyseprozesse inkl. absehbarer zukünftiger Datenquellen und Prozesse ? Anforderungsdokument
- Umsetzungsvorschlag für die DataBricks-seitigen Anforderungen (Workspace-Architektur, Unity Catalog, Compute-Strategie, CI/CD, Kostenmodell) in Zusammenarbeit mit unseren internen DevOps Engineers, die alle Infrastruktur-Themen umsetzen ? Design-/Architekturvorschlag
- Prototypische Umsetzung von 1–2 herausfordernden Analyseprozessen inkl. Wissenstransfer ? funktionierende, dokumentierte Analyseprozesse
Anforderungsprofil
Erforderlich:
- Mehrjährige praktische Erfahrung mit DataBricks in produktiven Umgebungen (nicht nur Schulungs- oder Zertifikatswissen)
- Fundierte Erfahrung mit Azure Databricks im Speziellen: Azure Data Lake Storage Gen2, Unity Catalog
- Sehr gute Kenntnisse in Spark/PySpark, Delta Lake und Databricks SQL
- Erfahrung im Aufbau von Data-Plattform-Architekturen nach dem Lakehouse-Konzept
- Erfahrung mit CI/CD für Data-Engineering-Workflows (z. B. Databricks Asset Bundles, Repos, DevOps-Pipelines)
- Erfahrung in der Durchführung von Anforderungsanalysen gemeinsam mit StakeHoldern
- Fähigkeit und Bereitschaft, Wissen aktiv an das interne Team zu vermitteln (Enablement ist zentrales Ziel des Einsatzes)
- Selbstständige, ergebnisorientierte Arbeitsweise; sichere Kommunikation auf Deutsch
Wünschenswert:
- Databricks-Zertifizierungen (z. B. Databricks Certified Data Engineer Professional, Solutions Architect)
- Erfahrung mit MLflow bzw. ML-Workloads auf DataBricks
- Gute Englischkenntnisse für die Kommunikation