Upgrade Projekt einstellen
Profilbild von Anonymes Profil, Data & Kubernetes Engineer
Ulm
verfügbar

Letztes Update: 06.03.2024

Data & Kubernetes Engineer

Firma: perigon.ai
Abschluss: Master of Science
Stunden-/Tagessatz: anzeigen
Sprachkenntnisse: deutsch (Muttersprache) | englisch (gut) | französisch (Grundkenntnisse)

Schlagwörter

Dateianlagen

Christian-Hunger-DataEngineer-Kubernetes-english_040324.pdf

Skills

Als erfahrener Data Engineer habe ich bereits an ganz unterschiedlichen Projekten gearbeitet, darunter die Erfassung und Verarbeitung von Millionen täglicher Transaktionen für einen großen Einzelhändler, die Erfassung von Telemetriedaten von Hunderten von Microservices sowie den Aufbau einer IoT Datenplattform. Vor kurzem habe ich eine Zertifizierung für Data Engineerung auf Microsoft Azure abgeschlossen (DP-203).

In den letzten drei Jahren lag mein Hauptaugenmerk auf der Entwicklung, dem Aufbau und der Wartung einer produktionstauglichen On-Premise-Kubernetes-Infrastruktur für Microservices und Machine Learning. Ich verfüge über mehr als sechs Jahre Erfahrung im Betrieb von Dateninfrastruktur (z. B. Kafka, Airflow, Spark) auf Basis von Kubernetes.

Die Umsetzung von DevOps-Prinzipien ist ein wichtiger Teil meiner Arbeit. Zuletzt habe ich die Deployment-Prozesse für einen Kunden mithilfe von GitOps und Argo CD deutlich verbessert.

Als erfahrener Programmierer in Java und Python löse ich gerne komplexe Probleme. Ein Beispiel ist der Entwurf und die Implementierung einer eigenen Query-Language für Benutzer ohne technischen Hintergrund. Derzeit wende ich Large Language Models (LLMs) an, um eine Schnittstelle in natürlicher Sprache für Datenbanken und APIs zu erstellen und so die Interaktion von Endbenutzern mit Daten weiter zu vereinfachen.

Projekthistorie

10/2023 - 02/2024
Anomaly Detection auf Echtzeit-Telemetriedaten
Müller Holding GmbH & Co. KG (Konsumgüter und Handel, >10.000 Mitarbeiter)
  • Entwicklung von Pipelines zur zuverlässigen Sammlung und Aufbereitung von Telemetriedaten von 100+ Microservices in Test- und Produktionsumgebungen.
  • Auslösen von Alerts falls Probleme von Clustern oder Anwendungen in den Daten erkennbar werden.
  • Bereitstellung von Dashboards zur Visualisierung der Daten.
  • Installation und Wartung der nötigen Dateninfrastruktur.
Skills: Open Telemetry / Prometheus / PromQL / Grafana / Alertmanager / OpsGenie / Kubernetes
10/2023 - 02/2024
Verarbeitung von Kontodaten in AWS
neutryno innovation GmbH (Internet und Informationstechnologie, < 10 Mitarbeiter)
  • Implementierung von Datenpipelines mit AWS Glue für die Sammlung und Aufbereitung von Transaktionsdaten mehrerer Konten via REST-API 
  • Aufbau eines Data Lakes mit Lake Formation und Amazon S3.
  • Analyse der Kontodaten mit Athena.
  • Automatisierung der Bereitstellung mit IaC (CDK).

Skills: Glue / Athena / S3 / Spark / Python / Lake Formation / IAM / CDK
09/2020 - 09/2023
Aufbau einer Kubernetes-Infrastruktur (on-premise) für Microservices und Machine Learning.
Müller Holding GmbH & Co. KG (Konsumgüter und Handel, >10.000 Mitarbeiter)
  • Entwurf, Umsetzung und Wartung einer On-Premise-Kubernetes-Infrastruktur (10+ Cluster) für den produktiven Einsatz.
  • Automatisierung der Bereitstellung von Clustern durch Infrastructure as Code (IaC)-Praktiken.
  • Einrichtung von Cluster-Management-Software, um auch hybride Cloud-Strategien zu ermöglichen.
Skills: Rancher / K3s / fluentbit / MinIO (Amazon S3 kompatibel) / Longhorn / Traefik / cert-manager / Istio / Knative / HAProxy / Proxmox / KVM / Terraform
  • Installation und Wartung von Machine Learning-Infrastruktur in lokalen Kubernetes-Clustern (z.B. Apache Spark, Tensorflow und Jupyter-Notebooks).
  • Empfehlung zur Migration in die Public Cloud für Datenanalysen und Machine Learning, um flexibler zu werden und besser skalieren zu können.
  • Vergleich verschiedener Cloud-Anbieter (AWS, Azure, GCP) für den Kunden
  • Aussprache einer Empfehlung für GCP (Vertex AI Workbench, Big Query) auf Grundlage der bestehenden Anforderungen.
Skills: AWS / Azure / GCP / Tensorflow / Spark / JupyterHub / Airflow 
 
  • Einführung von GitOps-Deployments auf Basis von Argo CD.
  • Verbesserung bestehener CI/CD-Pipelines um die Vorteile von Kubernetes voll auszunutzen, beispielsweise durch die Einführung von Review-Deployments für Feature-Branches.
  • Unterstützung von Softwareentwicklungs- und Infrastrukturteams bei der Einführung einer DevOps-Kultur.
Skills: Argo CD / GitOps / Jenkins / Gitlab CI / Helm / Kustomize / Python / Bash
11/2022 - 04/2023
Sammlung von Clickstream-Daten in Mobile- und Desktop-Apps
Müller Holding GmbH & Co. KG (Konsumgüter und Handel, >10.000 Mitarbeiter)
  • Entwurf und Umsetzung eines Framework zur Automatisierung und Vereinheitlichung der Verfolgung des Benutzerverhaltens über Mobile und Desktop-Anwendungen hinweg, das heute der Standard innerhalb des Unternehmens ist.
Skills: TypeScript / Matomo / Google Analytics / npm / node.js
03/2020 - 11/2020
Data Lake und ETL-Pipelines für Belegdaten
Müller Holding GmbH & Co. KG (Konsumgüter und Handel, >10.000 Mitarbeiter)
  • Implementierung eines Push-basierten Systems zur Erfassung und Verarbeitung von Belegdaten für über eine Million tägliche Transaktionen in über 900 Filialen.
  • Einrichtung von Pipelines zur Erstellung täglicher Steuerberichte für jede Filiale aus den Rohdaten.
  • Nutzung von iCas als Ersatz für herkömmlichen Object Storage (Amazon S3 / Azure Data Lake Storage) zur Einhaltung gesetzlicher Vorgaben.
Skills: Data Lake / ETL / iCas-Middlware / Java / Jenkins
07/2019 - 12/2019
Design und Entwicklung einer Query-Language für Belegdaten (MQL)
eXXcellent solutions GmbH (Internet und Informationstechnologie, 50-250 Mitarbeiter)
  • Entwurf und Implementierung eine Abfragesprache speziell für die Analyse von Belegdaten, die es auch technisch nicht versierten Benutzern erleichtert, die Daten zu analysieren.
  • Die Sprache wandelt benutzerfreundliche MQL-Abfragen automatisch im Hintergrund in komplexes SQL um.
Skills: SQL / Java / Gitlab CI / Docker / Bash / ANTLR
09/2018 - 05/2019
Entwicklung einer Skriptsprache zur Automatisierung von Kassensystemen
eXXcellent solutions GmbH (Internet und Informationstechnologie, 50-250 Mitarbeiter)
  • Entwurf und Implementierung einer benutzerdefinierten Skriptsprache zur Automatisierung von Kassen mit Variablen, Funktionen, Schleifen, Rekursion, einem Modulsystem und kassenspezifischen Operatoren zur direkten Ansprache der Hardware.
  • Zusammenarbeit mit Entwicklungs- und Testteams, um die Sprache in CI/CD-Pipelines zur Testautomatisierung zu verwenden.
  • Erstellung einer webbasierten IDE und Entwicklung eines Plugins, um Syntaxhighlighting für die Sprache in IntelliJ IDEA zu ermöglichen.
  • Implementierung eines Annotation Processors, der die Verwendung der Sprache in Kombination mit Java in einer einzigen Datei erleichtert und so die Integration mit Java-Test-Frameworks vereinfacht.
Skills: Java / Bash / Jenkins / Gitlab CI / JavaScript
06/2018 - 05/2019
Aufbau einer IoT Datenplattform
eXXcellent solutions GmbH (Internet und Informationstechnologie, 50-250 Mitarbeiter)
  • Entwicklung von CI/CD-Pipelines zur Automatisierung von Tests und Bereitstellung von Kafka-Producern und -Consumern.
  • Aufbau und Pflege einer Dateninfrastruktur auf Basis von Kubernetes.
  • Entwurf und Umsetzung eines Observability-Konzepts für die Datenplattform.
Skills: Kafka / MQTT / Kubernetes / Gitlab CI / Helm / Grafana / Prometheus / Scala / Cassandra
12/2016 - 05/2017
Entwicklung eines Framework für die Verarbeitung von Sensordaten in Echtzeit
eXXcellent solutions GmbH (Internet und Informationstechnologie, 50-250 Mitarbeiter)
  • Entwicklung einer neuen Datenstruktur auf Basis der Kategorientheorie (Monaden, Funktoren), um Datentransformationen zu vereinfachen.
  • Die neue Datenstruktur ermöglicht es Berechnungen, die für primitive Typen (z. B. Strings, Integers) definiert sind, direkt auf strukturierte/halbstrukturierte Daten anzuwenden und deren Struktur automatisch anzupassen.
  • Ich habe eine Referenzimplementierung des Konzepts geschrieben, einschließlich vordefinierter Transformationen und wiederverwendbarer Konnektoren für verschiedene Datenquellen und -senken.
Masterarbeit

Zertifikate

Microsoft Certified: Azure Data Engineer Associate
Microsoft
2023

Reisebereitschaft

In der Stadt Ulm mit einem Radius von 50 km verfügbar
Profilbild von Anonymes Profil, Data & Kubernetes Engineer Data & Kubernetes Engineer
Registrieren