Kafka Datenarchitektur - Streaming Pipeline
(Versicherungen, 250-500 Mitarbeiter)
Schlagwörter
Skills
Beratungsschwerpunkte
Programmiersprachen (Auswahl)
- Architektur / Microservices
- Architekturevaluierung
- Umsetzung fachlicher Anforderungen
- Entwickler Coaching / Training
- Architekturentwurf
- Cloud Migration / DevOps
- Event Driven Architecture
- Spring
- Spring Boot
- Kubernetes
- AWS
- Docker
- Event Driven Architecture
- Kafka
- Kafka Connect
- Terraform
- Terragrunt
Programmiersprachen (Auswahl)
- Java
- Kotlin
- Go
- Javascript
- Typescript
Projekthistorie
04/2022
-
bis jetzt
Projektbeschreibung:
Entwicklung einer zentralen Service Komponente zur Vereinheitlichung des Datenmanagements und zur Optimierung von Business Prozessen. Auf Basis von Apache Kafka wird ein zentraler DataHub aufgebaut. Daten werden aggregiert, zentral verarbeitet und an verschiedene Konsumenten (BI, CRM) veröffentlicht. Der Datahub wird die zentrale Schnittstelle für Daten im Unternehmen.
Tätigkeiten:
Technologien / Stichworte:
Kotlin
Kafka
Kafka Connect
Postgres
Postgres Foreign Data Wrapper
Avro
Jenkins
Kubernetes
MockK
Spring Boot
Spring Data JPA
Domain Driven Design
Event Driven Architecture
Event Sourcing
Entwicklung einer zentralen Service Komponente zur Vereinheitlichung des Datenmanagements und zur Optimierung von Business Prozessen. Auf Basis von Apache Kafka wird ein zentraler DataHub aufgebaut. Daten werden aggregiert, zentral verarbeitet und an verschiedene Konsumenten (BI, CRM) veröffentlicht. Der Datahub wird die zentrale Schnittstelle für Daten im Unternehmen.
Tätigkeiten:
- Aufbau einer skalierbaren Architektur auf Basis Spring Boot und Kafka
- Effiziente Verarbeitung großer Datenmengen mit Apache Kafka und Spring Kafka
- Schema Evolution mit Avro
- Technisches Coaching
- Domain Driven Design
- Agile Entwicklung nach Scrum
Technologien / Stichworte:
Kotlin
Kafka
Kafka Connect
Postgres
Postgres Foreign Data Wrapper
Avro
Jenkins
Kubernetes
MockK
Spring Boot
Spring Data JPA
Domain Driven Design
Event Driven Architecture
Event Sourcing
03/2022
-
03/2023
Cloudmigration AWS Ecommerce Plattform / AWS
Telefonica Germany
(Telekommunikation, 1000-5000 Mitarbeiter)
Projektbeschreibung:
Cloud Migration einer E-Commerce Plattform im laufenden Betrieb. Eine bestehende E-Commerce Plattform wird in die Cloud migriert. Ziel ist es eine saubere Greenfield Architektur zu etablieren, die als BluePrint für weitere Migrationen verwendet werden kann. Wir setzen hierbei auf möglichst vollständige Automatisierung mit Hilfe von GitOps und ArgoUML. Das komplette Setup ist automatisiert und als Infrastructure as Code über Terraform und Terragrunt realisiert. Aufgebaut werden mehrere Umgebungen in enger Zusammenarbeit mit dem QA Team. Periodische Lasttests stellen die Funktionsfähigkeit und Belastbarkeit des Systems sicher.
Tätigkeiten:
Technologien:
Cloud Migration einer E-Commerce Plattform im laufenden Betrieb. Eine bestehende E-Commerce Plattform wird in die Cloud migriert. Ziel ist es eine saubere Greenfield Architektur zu etablieren, die als BluePrint für weitere Migrationen verwendet werden kann. Wir setzen hierbei auf möglichst vollständige Automatisierung mit Hilfe von GitOps und ArgoUML. Das komplette Setup ist automatisiert und als Infrastructure as Code über Terraform und Terragrunt realisiert. Aufgebaut werden mehrere Umgebungen in enger Zusammenarbeit mit dem QA Team. Periodische Lasttests stellen die Funktionsfähigkeit und Belastbarkeit des Systems sicher.
Tätigkeiten:
- Cloud Architektur
- Service Migration
- Evaluation Managed Services
- Kostenanalyse
- Ablösung Altsysteme (Beispiel Austausch RabbitMQ gegen SQS / SNS)
Technologien:
- Terraform
- Terragrunt
- EKS
- Oracle
- Karpenter
- HPA
- Elasticache
- SQS / SNS
- Grafana
- Prometheus
- KEDA
- MSK / Kafka
08/2021
-
02/2022
Kafka Produkt Pipeline - Entwickung / Architektur
Telefonica Deutschland
(Telekommunikation, 1000-5000 Mitarbeiter)
Projektbeschreibung:
Aufbau einer Streaming Pipeline zur Echtzeitverarbeitung von Produktangeboten in einer Ecommerce Plattform. Um die Produktpflege in einer ECommerce Plattform zu beschleunigen wird ein Publizierungsprozess auf Basis Kafka und Kafka Streams realisiert. Die Zeitspanne von der Pflege von Produkten bis zur Live-Stellung in Produktion verringert sich dadurch von mehreren Stunden auf Sekunden bis Minuten. Die Lösung basiert auf Kafka und Kafka Streams realisiert mit mehreren Microservices und Pipelines. Die Umgebung wird auf AWS betrieben. Die Provisionierung der Umgebung basiert auf Infrastructure as Code, Terraform und GitOps mit Weaveworks Flux.
Aufgaben:
Aufbau einer Streaming Pipeline zur Echtzeitverarbeitung von Produktangeboten in einer Ecommerce Plattform. Um die Produktpflege in einer ECommerce Plattform zu beschleunigen wird ein Publizierungsprozess auf Basis Kafka und Kafka Streams realisiert. Die Zeitspanne von der Pflege von Produkten bis zur Live-Stellung in Produktion verringert sich dadurch von mehreren Stunden auf Sekunden bis Minuten. Die Lösung basiert auf Kafka und Kafka Streams realisiert mit mehreren Microservices und Pipelines. Die Umgebung wird auf AWS betrieben. Die Provisionierung der Umgebung basiert auf Infrastructure as Code, Terraform und GitOps mit Weaveworks Flux.
Aufgaben:
- Konzeption
- Architektur
- Implementierung
- Infrastruktur
- Coaching
- Spring
- Spring Boot
- Kafka
- Kafka Streams
- Weaveworks Flux
- GitOps
- AWS
- Terraform
- Terragrunt
- Docker
- Kubernetes
- EKS
10/2018
-
08/2021
Microfrontend Architektur / ECommerce Plattform Relaunch
(Telekommunikation, 1000-5000 Mitarbeiter)
Microfrontend Architektur / ECommerce Plattform Relaunch
Agile Entwicklung einer leichtgewichtigen eCommerce Plattform. Fokus des Projektes liegt auf einer engen Zusammenarbeit mit dem Fachbereich und einer möglichst kurzen Time-To-Market.
Hierfür müssen fachliche Konzepte überarbeitet und mit einem effizienten und modernen Technolgiestack realisiert werden.
Die Architektur basiert auf lose gekoppelten Self Contained Systems (SCS) basierend auf einer Kafka Event Architektur und Microfrontends auf Basis des Mosaic9 Stacks von Zalando.
Die in der AWS Cloud betriebene Infrastruktur wird über Cloudformation und Terraform provisioniert. Die komplette Infrastructur ist über Infrastructure as Code versioniert und über runatlantis.io automatisch provisioniert.
Die Umgebungen werden automatisiert durch die Entwickler bespielt per Continuous Delivery / Continuous Deployment.
Monitoring basiert auf Prometheus und Prometheus Operator. Visualisierung und Alerting erfolgt über Grafana.
Aufgaben:
Technologien :
Agile Entwicklung einer leichtgewichtigen eCommerce Plattform. Fokus des Projektes liegt auf einer engen Zusammenarbeit mit dem Fachbereich und einer möglichst kurzen Time-To-Market.
Hierfür müssen fachliche Konzepte überarbeitet und mit einem effizienten und modernen Technolgiestack realisiert werden.
Die Architektur basiert auf lose gekoppelten Self Contained Systems (SCS) basierend auf einer Kafka Event Architektur und Microfrontends auf Basis des Mosaic9 Stacks von Zalando.
Die in der AWS Cloud betriebene Infrastruktur wird über Cloudformation und Terraform provisioniert. Die komplette Infrastructur ist über Infrastructure as Code versioniert und über runatlantis.io automatisch provisioniert.
Die Umgebungen werden automatisiert durch die Entwickler bespielt per Continuous Delivery / Continuous Deployment.
Monitoring basiert auf Prometheus und Prometheus Operator. Visualisierung und Alerting erfolgt über Grafana.
Aufgaben:
- Feature Implementierung
- Entwickle Coaching
- Dokumentation von Konzepten und Guidelines Technischer Ansprechpartner
- Sicherstellung Einhaltung Enterprise Architektur Guidelines Nachhaltige Entwicklung
- Qualitätssicherung
- Infrastructure as Code / Terraform
- Cloudformation
Technologien :
- Spring
- Spring Boot
- Typescript
- NodeJS
- Mosaic9 Stack
- Kubernetes
- AWS
- EKS
- Jenkins
- Splunk
- Redis
- Oracle
- Docker
- AWS Lambda
- VueJS
- Kotlin
- Event Driven Architecture
- Kafka
- SQS
- SNS
- Terraform
- Terragrunt
- Atlantis
- Prometheus
- AWS Step Functions
- AWS Elasticache
- ElasticSearch 6.8
- Java 11
06/2019
-
10/2019
Portal - Digitale Kundenberatung
(Telekommunikation, 1000-5000 Mitarbeiter)
In enger Zusammenarbeit mit den Fachbereichen wurde ein analoger Prozess zur Kundenberatung in physikalischen Shops digitalisiert und von Grund auf neu konzipiert.
Die Lösung wirkt modern und elegant und ist primär auf Tablets bedienbar.
Entwicklung als Greenfield Projekt mit modernen und passenden Technologien.
Starker Fokus auf die Entwicklung von wiederverwendbaren Komponenten durch Microfrontends, realisiert über ReactJS und WebComponents.
Umzusetzende Anforderungen im Projekte:
Technologien:
Die Lösung wirkt modern und elegant und ist primär auf Tablets bedienbar.
Entwicklung als Greenfield Projekt mit modernen und passenden Technologien.
Starker Fokus auf die Entwicklung von wiederverwendbaren Komponenten durch Microfrontends, realisiert über ReactJS und WebComponents.
Umzusetzende Anforderungen im Projekte:
- Requirements Engineering
- Moderne Benutzeroberfläche auf Basis ReactJS
- REST basiertes Backend
- DSGVO konforme persistierung der Beratungsdaten
- Drag and Drop basierte Produktkonfiguration
- Digitalisierung manueller Prozesse / Abbildung der Prozesse in Softwaremodulen
- Entwickler Coaching
- Technischer Ansprechpartner
- Qualitätssicherung
- Implementierung
- Architektur
Technologien:
- MicroFrontend Architektur
- WebComponents
- MongoDB
- Java
- Kotlin
- Jenkins
- Docker
- ReactJS
- Spring Boot
- Spring Security
11/2014
-
10/2018
Architektur, Konzeption und Implementierung Relaunch ECommerce Plattform
(Telekommunikation, 1000-5000 Mitarbeiter)
Projektbeschreibung:
Ablösung einer monolithischen E-Commerce Plattform durch eine komplette Neuentwicklung auf Basis einer verteilten Microservice- Architektur im laufenden Betrieb. Modularisiernug der Code-Basis in kleine beherrschbare fachliche Einheiten in einem Scrum-Team mit mehr als 20 Entwicklern. Durch stetige Verbesserung im Scrum Prozess wurde eine massive Steigerung der Velocity und der in Produktion gelieferten Features während der Laufzeit des Projektes erreicht.
Aufgaben:
Ablösung einer monolithischen E-Commerce Plattform durch eine komplette Neuentwicklung auf Basis einer verteilten Microservice- Architektur im laufenden Betrieb. Modularisiernug der Code-Basis in kleine beherrschbare fachliche Einheiten in einem Scrum-Team mit mehr als 20 Entwicklern. Durch stetige Verbesserung im Scrum Prozess wurde eine massive Steigerung der Velocity und der in Produktion gelieferten Features während der Laufzeit des Projektes erreicht.
Aufgaben:
- Implementierung
- Konzeption
- Architektur
- Team & Entwicklercoaching
- Intellij
- Maven
- Grunt
- Gulp
- Spring
- Spring Boot
- Eureka
- Netflix Stack
- Microservices / Self Contained System Architektur
- Redis
- Oracle
- Wicket
- Junit
- Sonar
- RabbitMQ
- Hystrix
- Docker
- Grafana
- InfluxDB
- Angular
- React
05/2014
-
10/2014
Automobil - Vertriebsplattform - Architektur / Entwicklung / Coaching
(Transport und Logistik, 1000-5000 Mitarbeiter)
Projektbeschreibung:
Es wurde eine Plattform für den Online-Vertrieb von Fahrzeugen entwickelt. Ziel war eine Zeitersparnis von 30% im Online Acquise Flow. Die Plattform bietet die Möglichkeit, bestehende Fahrzeugkonfigurationen zu importieren und direkt mit Händlern in Kontakt zu treten, die ähnliche Fahrzeuge im Bestand haben.
Aufgaben:
Es wurde eine Plattform für den Online-Vertrieb von Fahrzeugen entwickelt. Ziel war eine Zeitersparnis von 30% im Online Acquise Flow. Die Plattform bietet die Möglichkeit, bestehende Fahrzeugkonfigurationen zu importieren und direkt mit Händlern in Kontakt zu treten, die ähnliche Fahrzeuge im Bestand haben.
Aufgaben:
- Analyse & Design
- Entwicklung
- Architektur
- Coding Guidelines
- Java 8
- Spring Data
- Spring WebMVC
- JUnit
- Hibernate
- JPA2
- REST
- Git
- Solr
- Maven
- Gradle
- Jenkins
- AngularJS
- Javascript
05/2014
-
10/2014
Automobil - Online Fahrzeugkonfiguration - Architektur / Implementierung / Konzeption
(Automobil und Fahrzeugbau, 1000-5000 Mitarbeiter)
Projektbeschreibung:
Für Neukunden wurde ein moderner Fahrzeugkonfigurator entwickelt, der auf Basis von einfachen Kundenangaben das am besten passende Fahrzeug findet. Für den Algorithmus war eine Anbindung an die Bestandssysteme des Kunden vorzunehmen. Das System wurde in enger Abstimmung mit dem Kunden von Grund auf neu konzipiert und entwickelt.
Der Flow für den Kunden wurde als sogenannter Conversational Flow realisiert. Der Kunde wurde durch gezielte Fragen sicher und schnell zu seinem gewünschten Produkt geleitet.
Aufgaben:
Technologien:
Für Neukunden wurde ein moderner Fahrzeugkonfigurator entwickelt, der auf Basis von einfachen Kundenangaben das am besten passende Fahrzeug findet. Für den Algorithmus war eine Anbindung an die Bestandssysteme des Kunden vorzunehmen. Das System wurde in enger Abstimmung mit dem Kunden von Grund auf neu konzipiert und entwickelt.
Der Flow für den Kunden wurde als sogenannter Conversational Flow realisiert. Der Kunde wurde durch gezielte Fragen sicher und schnell zu seinem gewünschten Produkt geleitet.
Aufgaben:
- Analyse & Design
- Schnittstellendesign
- Scrum
- Algorithmenentwicklung
Technologien:
- IntelliJ
- Java 8
- Maven
- Gradle
- Apache Solr
- Oracle 10g
- Spring
- JEE
- CDI
- AngularJS
- REST
- OAUTH2
Zertifikate
AWS Solution Architect Associate
AWS
2023
Reisebereitschaft
Nur Remote verfügbar
Projekte mit hohem Remote Anteil gewünscht.
