Simon Streubel verfügbar

Simon Streubel

Data Engineer

verfügbar
Profilbild von Simon Streubel Data Engineer aus Koeln
  • 50739 Köln Freelancer in
  • Abschluss: Bachelor of Arts / Wirtschaft und Politik Ostasiens / Schwerpunkte Japanisch & Wirtschaft
  • Stunden-/Tagessatz: nicht angegeben
    je nach Projektinhalt/-dauer; verhandelbar für Remote-Projekt
  • Sprachkenntnisse: deutsch (Muttersprache) | englisch (verhandlungssicher) | japanisch (gut)
  • Letztes Update: 09.02.2020
SCHLAGWORTE
PROFILBILD
Profilbild von Simon Streubel Data Engineer aus Koeln
DATEIANLAGEN
CV - Simon Streubel

Diese Anzeige ist nur für angemeldete Nutzer möglich.

SKILLS
Ich unterstütze Sie
  • In der Konzeption und Umsetzung von komplexen Microservice-Architekturen mit Kubernetes, Helm, Terraform, Apache Kafka, Schema Registry & Co.
  • Im Aufbau, bei der Installation und Konfiguration einer Hadoop basierten Big Data Umgebung sowohl On-Premise als auch in der Cloud
  • In der Konzeption und Implementierung von batch- und streaming-basierten Big Data ETL-Strecken, sowohl mit „klassischen“ ETL-Tools als auch unter Einsatz von Microservices/Docker/Kubernetes
  • In der Programmierung von Microservices mit Java und/oder Go
  • In der Datenmodellierung von „klassischen“ (relationalen) Data Warehouses
  • In der Leitung und Koordination von Teams (technische Führung)
  • Im Umfeld des Marketings, besonders in der Online-Vermarktung
  • Beim Halten von Schulungen & Workshops zum Thema Apache Kafka & Schema Registry
PROJEKTHISTORIE
  • 10/2019 - 12/2019

  • Big Data Engineer
    • Konzipierung und Umsetzung mehrerer ETL-Streaming-Pipelines mit Apache Kafka / Apache Spark
    • Aufbau Infrastruktur Apache Kafka, Apache Nifi, Solr, Zookeeper, Docker
    • Proof-of-Concept und Evaluation MS SQL Server Big Data Cluster

    Technologien
    • Apache Spark
    • Apache Kafka
    • Apache Nifi
    • Docker
    • Java
    • Spring Boot
    • Testcontainers
    • Redis
    • MS SQL Server 2019
    • Linux / Shell-Scripting
    • Continous Integration
    • Gitlab
    • Scrum
    • Jira/Confluence

  • 05/2019 - 09/2019

  • Big Data Engineer
    • Aufbau einer Big Data Umgebung in der Amazon Cloud auf Basis von ElasticMapReduce (EMR), die sich on-demand mit Hilfe von Gitlab Pipelines und Terraform für beliebige Teams dynamisch hochfahren und skalieren lässt
    • Bereitstellung von Big Data Interfaces/Tools wie JupyterHub, Apache Zepellin, R Studio, Hue
    • Konzipierung & Implementierung von DSGVO-konformen ETL-Pipelines mit Kafka, Kafka Connect, Hive. Presto und Apache Spark
    • Workshops & Schulungen zu Themen Hadoop, Big Data & Tooling
     
    Technologien
    • AWS (EMR, S3, Amazon Glue, EC2, etc)
    • Terraform
    • Apache Spark (Scala/Python)
    • Hive
    • Presto
    • ORC
    • Kafka Connect
    • Kafka Schema Registry
    • Avro
    • Go
    • Docker
    • Linux / Shell-Scripting
    • Continuous Deployment
    • Gitlab
    • Scrum
    • Jira/Confluence

  • 06/2018 - 05/2019

  • Big Data Engineer
    • Erstellung eines Konzepts zur Umsetzung einer Customer Data Platform
    • Katalogisierung/Sichtung der bereits vorhandenen Datenquellen & Infrastruktur
    • Erstellung einer Road Map „Customer Analytics“
    • Konzeption einer Login-Lösung zur Identifikation von Kunden (Single-Sign-On)
    • Workshops & Schulungen „Streaming und Data Analytics“
    • Aufbau und Betrieb mehrerer Kafka Cluster auf Kubernetes
    • Programmierung eines Kafka-Management-Dashboards
    • Programmierung von Kubernetes-Operatoren zur Automatisierung von Entwicklungsprozessen
    • Workshops & Schulungen „Apache Kafka, Schema-Registry & Service-to-Service-Kommunikation“
    • Workshops & Schulungen „Microservices & Eventing“

    Technologien
    • Azure
    • Kubernetes
    • Helm
    • Keycloak
    • Apache Kafka
    • Kafka Schema Registry
    • Avro
    • Microservice-Architektur
    • Go
    • Java
    • Python
    • JavaScript (VueJS/Node)
    • Docker
    • Linux / Shell-Scripting
    • Continuous Deployment
    • Gitlab
    • Scrum
    • Jira/Confluence

  • 07/2017 - 06/2018

  • Big Data Engineer
    • Konzeption und Aufbau einer Streaming-Targeting-Engine im Umfeld des Onlinemarketings basierend auf einer Microservice-Architektur und Apache Kafka
    • Programmierung von einzelnen Java-basierten Microservices mit Hilfe von Spring Boot
    • Programmierung und Deployment von Google Dataflow/Apache Beam basierten ETL-Jobs
    • Erstellung von Streaming-ETL-Prozessen in Apache NiFi
    • Deployment innerhalb der Google Cloud/Kubernetes
    • Aufbau einer Development-Umgebung mit Continuous Deployment, Docker, Kubernetes, Jenkins, Bitbucket/Git
    • Datenmigration in die Cloud
    • Konzeption und Implementierung von Grafana-Dashboards und Monitoring der Microservices
    • Evaluation diverser AdServing-Technologien
    • Führen von Bewerbungsgesprächen

    Technologien
    • AdServer Technologies (Adform DSP/DMP)
    • Apache Kafka
    • Apache NiFi
    • Apache Beam
    • Google Cloud
    • Big Query
    • Dataflow
    • Cloud Storage
    • Kubernetes
    • Google Compute Engine
    • CloudSQL
    • Stackdriver Logging
    • IAM/Rights Management
    • Docker
    • Java
    • Scala
    • Spring Boot
    • PostgreSQL
    • MySQL
    • Grafana
    • Prometheus
    • Linux (Alpine Linux, Ubuntu)
    • RESTful Services/Swagger UI
    • Jenkins
    • Jira/Confluence/Bitbucket
    • Git
    • Microservice-Architektur
    • Domain-Driven-Design
    • Continuous Deployment
    • Scrum

  • 03/2017 - 06/2017

  • Big Data Engineer
    • Aufbau einer Docker-basierten Apache Spark Data-Engine innerhalb einer OpenShift Enterprise Umgebung
    • Evaluation von MS SQL Server on Linux (Docker)
    • Datenimport und Berechnung von KPIs auf Basis von Apache Spark
    • Anbindung von Apache Spark an MS SQL Server 2016
    • Verwaltung von Git-Respositories innerhalb von GitLab
    • Dokumentation und Projektmangement innerhalb von Confluence/Jira

    Technologien
    • Spark (pySpark)
    • Docker
    • OpenShift
    • Linux (CentOS, Ubuntu)
    • MS SQL Server 2016
    • Jira/Confluence

  • 08/2014 - 01/2017

  • Anwendungsberater Data Warehouse
    • Anforderungsaufnahme im BI-Umfeld
    • Management von Data Warehouse-Projekten (Backend & Frontend)
    • Konzeption und Modellierung von Datenmodellen
    • Programmierung von Data Warehouse ETL-Strecken mit SQLServer Data Tools und T-SQL.
    • Konzeption und Entwicklung einer Online-Targeting-Infrastruktur und Plattform
    • Installation und Betrieb eines Hadoop Big Data-Systems (Distribution: Hortonworks Data Platform) via Ambari, Apache NiFi und Airflow
    • Modellierung und Programmierung von Big Data ETL-Pipelines via Hive und Apache NiFi
    • Integration und Programmierung von Workflows in Python und Airflow
    • Integration von Machine Learning Modellen via Spark (pyspark) und Spark ML
    • (Teil-)Koordination eines 10-köpfigen Entwickler-Teams
    • Betrieb und Supporttätigkeiten

    Technologien
    • Hadoop/HDFS/MapReduce
    • Spark/pySpark
    • Hive
    • Ambari
    • Apache NiFi
    • Airflow
    • SAP BusinessObjects 4.1
    • SQLServer 2014/2016
    • SQLServer Integration Services (Data Tools)
    • Microsoft PowerBI

  • 05/2012 - 07/2014

  • SAP BusinessObjects Entwickler
    • Entwicklung von SAP BusinessObjects-Reports
    • Modellierung von SAP BusinessObjects-Universen
    • Administration einer SAP BusinessObjects-Plattform
    • Programmierung Microsoft SQLServer 2012 + 2014

    Technologien
    • SAP BusinessObjects 3.x/4.x (DeskI/WebI)
    • SAP BusinessObjects Universe-Design-Tool
    • SQLServer 2014/2016

KONTAKTANFRAGE VERSENDEN

Nachricht:

Absenderdaten: