Beschreibung
Für unseren Kunden suchen wir einen freiberuflichen Data Intelligence Architect (m/w/d) mit PySpark & AWS.# Eckdaten:
Zeitraum: voraussichtlich 31.01.2023 - 31.12.2023
Auslastung: 5 Tage/Woche
Ort: 80% remote und 20% Berlin
Projektsprache: Deutsch
# Leistungsbeschreibung:
- Weiterentwicklung des Cloud nativen Backends, dazu gehören die Konzeptionierung, Umsetzung und Dokumentation von Architekturverbesserungen, neuen Features und Coding Standards
- Definition und Priorisierung von Arbeitspaketen in enger Abstimmung mit der Projektleitung und dem Product Owner
- Entwicklung von Daten Pipelines basierend auf der bestehenden Architektur und dem aktuellen Zonen-Konzept (raw - trusted - refined)
- Tätigkeiten im SCRUM Team im Sinne von Teilnahme an Refinements, Plannings, Reviews, Retros
- Weitergabe von Wissen an neue Kollegen/innen im Onboarding Prozess
- Schnittstellenfunktion/ kommunikative Vernetzung bei Stakeholdern in den Themenfeldern Daten und Datenplattformen
# Muss-Anforderungen:
- Erfahrung mit der strategischen und technologischen Weiterentwicklung moderner Architekturen und Technologien in den Bereichen Big Data, Daten Analyse, Künstliche Intelligenz
- Nachgewiesene Kenntnisse des grundsätzlichen Aufbaus von Cloud nativen Datenplattformen mit Batch- sowie Streaming-Daten Verarbeitung, inklusive praktische Erfahrung als Architekt
- Entwicklung von ETL-Strecken einschließlich Kenntnisse der Tools, Konzepte oder Programmiersprachen: Python, pySpark, Apache Spark, SQL, AWS MWAA.
- Projekterfahrung mit AWS Cloud Technologie und deren Managed Services (S3, Athena, Redshift, Glue, MWAA), idealerweise AWS zertifiziert
- Mind. 10 Jahre Berufserfahrung in der SW-Entwicklung (GIT, CICD, Testing, DevOps)
- Mehrjährige Erfahrung als Technischer Lead, insbesondere
o als aktiver Treiber von Architekturverbesserungen
o bei der Definition und Priorisierung von Arbeitspaketen in enger Zusammenarbeit mit der Projektleitung und dem Product Owner
o als Mentor von Entwickler/innen
o in Kommunikation und Präsentation auf Management Ebene
o beim Definieren und Sicherstellen von Coding Standards und Best Practices
- Erfahrung in der Branche von Eisenbahnverkehrsunternehmen, insbesondere im Umgang mit unterschiedlichen Datenformaten, Qualitätseinschränkungen und Verarbeitungsprozessen auf vorgelagerten Data Lakes
# Soll-Anforderungen:
- Architekturverständnis von Big Data und Machine Learning oder vergleichbaren Datenplattformen
- Erste praktische Erfahrung im Umgang mit dem AWS Service QuickSight und dem Anbinden und Visualisieren von Daten
- Kenntnisse agiler & skalierter Arbeitsmethoden: Nachweis Erfahrung durch Referenzprojekte oder individuelle Erfahrungen (z.B. Zertifikate)
- Praktische Erfahrung mit AWS Sagemaker
- Praktische Erfahrung mit IDE: pyCharm
Bei Interesse bitte ich um die Zusendung des CVs mit der Projektliste. Bitte nennen Sie Ihre Verfügbarkeit sowie separat die Stundensätze für remote und für Berlin.