90% Rem.: Data Analytics Engineer (m/w/d) – Python, PySpark/Flink, Airflow, Iceberg, Trino, Superset

nemensis AG
Ansprechpartner: Winita Hamdard
Bonn,  Deutschland
100% RemoteFreiberuflichStart 11/2026Dauer 8 Monate100% Auslastung
Hochschulen und Behörden und VerbändeAdobe AnalyticsAutomatic Data Processing EquipmentApache AirflowData AnalysisBig DataCodeanalyseData ArchitectureData IntegrationDatenverarbeitungssystemeDatensystemeDatenvisualisierungDatenbankanalyseDatenflussanalyseData IntelligenceDatenbank-EnginesWeb AnalyticsAutomatisierte DatenverarbeitungDatenverarbeitungDatabase Performance AnalyzerFeature-EngineeringData ScienceApache SparkData AssimilationpandasPySparkApache FlinkDatenprogrammierungDatenanalytikAWS Data AnalyticsAzure Data AnalyticsAzure Synapse AnalyticsStream AnalyticsDaten-PipelineSas Visual AnalyticsDatabricks

Beschreibung

Projektbeschreibung
Für ein Vorhaben im öffentlichen Umfeld wird eine zentrale Daten- und Analyseplattform aufgebaut und weiterentwickelt. Daten aus unterschiedlichen Domänen sollen konsolidiert, aufbereitet und auf Muster und Trends untersucht werden. Die Ergebnisse dienen analytischen Aufgaben und einer simulationsbasierten Prognosefähigkeit zur vorausschauenden Nutzungssteuerung. Als Data Analytics Engineer entwickeln Sie Datenverarbeitungs- und ETL/ELT-Workflows, führen explorative und statistische Analysen durch und unterstützen Machine-Learning-Verfahren sowie die verständliche Visualisierung der Erkenntnisse. Die Lösung wird in einer cloudbasierten Plattformumgebung betrieben und über automatisierte Build- und Bereitstellungsprozesse weiterentwickelt.

Rahmenparameter
Start: 16. November 2026
Laufzeit: zunächst bis 31. Dezember 2026; Verlängerung vom 1. Januar bis 30. Juni 2027 möglich
Auslastung: 90 %
Einsatzort: ca. 90 % remote innerhalb Deutschlands; Vor-Ort-Termine ggf. in Bonn
Projektsprache: Deutsch
Voraussetzung: deutsche Staatsangehörigkeit und SÜ2-Fähigkeit bzw. Bereitschaft zur Sicherheitsüberprüfung Ü2 nach § 9 SÜG (Geheim-/Sabotageschutz)
Stundensatz: 80 €/h remote, 85 €/h vor Ort

Aufgaben
  • Daten aus unterschiedlichen Domänen zentralisieren, integrieren, aggregieren und für Analysen aufbereiten
  • ETL/ELT-Prozesse und robuste Datenworkflows entwickeln und betreiben
  • Explorative Datenanalysen durchführen, Muster und Trends in Massendaten identifizieren und Ergebnisse statistisch absichern
  • Verfahren für Machine Learning, Anomaly Detection und Feature Engineering entwickeln bzw. anwenden
  • Daten aus relationalen Datenbanken anbinden und verarbeiten
  • Analyseergebnisse für Exploration und Entscheidungsunterstützung visualisieren
  • Datenverarbeitungs- und Big-Data-Frameworks für skalierbare Verarbeitung einsetzen
  • Build-Automatisierung und CI/CD-Pipelines unterstützen sowie Softwarequalitätsprinzipien, Code Reviews und statische Analysen anwenden
  • In agilen Teams zusammenarbeiten und Datenanwendungen in Linux- und Kubernetes-Umgebungen betreiben

Erfahrungen & Kenntnisse
  • Abgeschlossenes Studium in Data Analytics, Mathematik, Statistik oder eine vergleichbare Qualifikation
  • Mindestens 5 Jahre Erfahrung mit Python und den im Anforderungsprofil genannten Bibliotheken und Frameworks: Plotly, Matplotlib, Seaborn, Dash, Jupyter, PySpark oder Flink, Pandas, NumPy, SciPy und Statsmodels
  • Mindestens 5 Jahre Erfahrung mit ETL/ELT-Prozessen und -Workflows sowie MinIO, Apache Airflow, Apache Iceberg und Trino
  • Mindestens 5 Jahre Erfahrung mit deskriptiver und induktiver Statistik sowie explorativer Datenanalyse zur Muster- und Trenderkennung in Massendaten; Erfahrung mit statistischer Absicherung von Testergebnissen
  • Mindestens 3 Jahre Erfahrung mit Machine Learning, Anomaly Detection und Feature Engineering
  • Mindestens 3 Jahre Erfahrung mit relationalen Datenbanken wie PostgreSQL, Oracle oder MySQL
  • Mindestens 3 Jahre Erfahrung mit agilen Arbeitsweisen wie Scrum und Kanban sowie Big-Data-Processing-Frameworks
  • Mindestens 3 Jahre Erfahrung mit Build-Automatisierung und CI/CD-Pipelines, insbesondere GitLab Pipelines
  • Mindestens 3 Jahre Erfahrung mit Datenvisualisierung und -exploration, insbesondere Apache Superset
  • Mindestens 3 Jahre Erfahrung mit Softwarequalitätssicherung, Code Reviews, Clean Code, SOLID und statischer Codeanalyse
  • Mindestens 1 Jahr Erfahrung mit Linux-Systemadministration und Kubernetes
  • Deutsche Staatsangehörigkeit und SÜ2-Fähigkeit bzw. Bereitschaft zur entsprechenden Sicherheitsüberprüfung

Bewerben