Senior Big Data Developer / Distributed Data Engineer (m/w/d)

EPOS IT Experts GmbH
Ansprechpartner: Simon Augenstein
Frankfurt,  Deutschland
80% RemoteFreiberuflichab sofortDauer 12 Monate100% Auslastung
FinanzenBig DataData Distribution ServiceDateninfrastrukturSerialisierungShardingVerteilte DateisystemeDistributed Data StoreOpenShiftSmart DataDatenbank-EnginesStreamingTechnische DatenTestdatenDatenverarbeitungApache CassandraHochfrequente Datenverarbeitung mit Minimaler VerzögerungApache SparkApache FlinkCassandraDatenprogrammierungApache KafkaSpark StreamingDatapumpDaten-Pipeline

Beschreibung

Für unseren Kunden aus dem öffentlichen Dienst suchen wir ab sofort einen Senior Big Data Developer / Distributed Data Engineer (m/w/d)

+++Wichtig: Deadline für Rückmeldungen bis Donnerstag 13 Uhr+++

Start: asap
Laufzeit: 12 Monate +
Auslastung: Vollzeit
Einsatzort: 90% Remote - Frankfurt

+++Bereitschaft für eine SÜ2 muss gegeben sein+++

Aufgaben:

  • Architektur verteilter Datenpipelines: Konzeption, Aufbau und Optimierung robuster End-to-End-Pipelines zur Verarbeitung strukturierter Massendaten im Multi-Terabyte- und Petabyte-Bereich (Stream- & Batch-Processing).
  • Distributed Stream & Batch Processing: Implementierung hochperformanter Verarbeitungsstrecken mittels verteilter Frameworks (z. B. Apache Flink, Apache Spark / Spark Streaming) zur Entflechtung, Deduplizierung und Transformation von E-Rechnungsmeldedaten.
  • Massendatenspeicher-Design: Konzeption und Implementierung hochskalierbarer Storage-Schichten (z. B. Data Lakehouse / moderne Tabellen- und Spaltenformate wie Apache Iceberg, Delta Lake, Apache Parquet oder verteilte relationale/NoSQL-Cluster wie partitionsoptimiertes PostgreSQL / ClickHouse). Speichern und Lesen von Daten mit S3 / CEPH.
  • Performance-Engineering & Partitionierung: Entwicklung von Sharding-, Partitioning- und Bucketing-Konzepten, Optimierung von I/O-Durchsatz, Serialisierung, Query-Latenzen und Cluster-Ressourcenverbrauch.
  • Data Lifecycle & Compliance: Technische Umsetzung von Aufbewahrungs- und automatisierten Löschfristen (Data Retention) unter strikter Einhaltung des Steuergeheimnisses (§ 30 AO), der DSGVO und behördlicher BSI-Vorgaben.
  • Observability & Pipeline-Monitoring: Etablierung eines engmaschigen Monitorings für Distributed Pipelines (Consumer Lag, Throughput, Backpressure, Node-Health) in Zusammenarbeit mit den Betriebsteams.
  • Paritätische Zusammenarbeit: Enge Abstimmung mit den Java-Backend-Entwicklern des eigenen Teams sowie den Datenanalyse-Kollegen des Teams Fallverwaltung und den Partnern aus Niedersachsen im agilen Scrum-Framework.

Must-haves Skills:

- Mindestens 5 Jahre nachweisbare praktische Erfahrung in der Konzeption und Entwicklung von verteilten Massendaten-Systemen (Big Data / Data Engineering) im Enterprise-Umfeld.
- Fundierte Praxis in der Entwicklung mit Frameworks für verteilte Datenverarbeitung, insbesondere Apache Spark (Spark SQL/Streaming) und/oder Apache Flink.
- Exzellente Programmierkenntnisse in Java und/oder Scala sowie fundierte Beherrschung von SQL zur performanten Datenmanipulation großer Datenmengen.
- Umfassende Erfahrung im produktiven Einsatz von Apache Kafka (Architektur, Partitioning-Konzepte, Topic Sizing, Producer/Consumer Optimization, Kafka Connect). Erfahrungen mit REST-Schnittstellen.
- Nachweisbare Expertise mit spaltenorientierten Speicherformaten (Parquet, ORC, S3 / CEPH) sowie modernen Tabellenformaten (Apache Iceberg, Delta Lake) oder verteilten Massendatenbanken.
- Sicherer Umgang mit Docker/Podman und dem Betrieb verteilter Processing-Workloads auf Kubernetes oder Red Hat OpenShift.
- Deutsch und Englisch fließend in Wort und Schrift (mindestens Sprachlevel C1 in Deutsch und B2 in Englisch)


Skills:

  • Performance & JVM-Tuning: Tiefgehendes Verständnis von JVM-Speichermanagement (Garbage Collection, Off-Heap Memory), CPU/Memory Profiling und Cluster-Optimierung.
  • E-Rechnungs- & Datenformate: Verständnis von XML-, JSON- und Schematron-Validierungen bei Massendaten sowie Kenntnis der Standards EN 16931 und XRechnung.
  • Data Quality & Testing: Erfahrung im automatisierten Testen von Datenpipelines (z. B. Data Quality Frameworks wie Great Expectations, Testcontainers, de-identifizierte Testdaten-Generierung).
  • Security & Governance: Vorkenntnisse in behördlichen Sicherheitsvorgaben (BSI IT-Grundschutz), Ende-zu-Ende-Verschlüsselung at rest/in transit und Revisionssicherheit.
  • Öffentlicher Sektor / Steuern: Erfahrung in KONSENS-Vorhaben, Vorhaben der Finanzverwaltung oder behördlichen Massendatenplattformen.


Bewerben