Schlagwörter
Skills
- Architecture (Microsoft Azure & AWS)
- Data Engineering (Databricks, Fabric, Apache Spark, Azure Synapse Analytics, Azure Data Factory, AWS Glue, Athena, EMR)
- Infrastructure as Code (Terraform, ARM, AWS CDK)
- Containerization (Kubernetes, Docker)
Tätigkeitsschwerpunkte
- Software Engineer & Cloud Consultant mit Fokus auf Microsoft Azure & Amazon Web Services
- ETL Prozesse & Data Engineering
- Entwicklung Big Data / ETL-Pipelines
- Anwendungsmigrationen unter Nutzung von Cloud Services
- Beratung & Implementierung von Automatisierungskonzepten
- Integration von ActiveDirectory, Sicherheitskonzepten und Compliancevorgaben (Überwachung und Protokollierung)
Zertifizierungen
- HashiCorp Certified: Terraform Associate
- Databricks Certified Associate Developer for Apache Spark
- Azure Solutions Architect Expert:
- AZ-300: Microsoft Azure Architect Technologies
- AZ-301: Microsoft Azure Architect Design
- Microsoft Certified: Azure Data Scientist Associate
- DP-100: Designing and Implementing a Data Science Solution on Azure
- AWS Certified Machine Learning – Specialty
- AWS Certified Solutions Architect – Associate
Projekthistorie
- Projektzusammenfassung:
- In diesem „Leuchtturm“-Projekt leitete ich die Entwicklung einer robusten Datenstrategie und eines Governance-Frameworks mit dem Ziel, die Datenverarbeitungskapazitäten der Organisation zu optimieren und zu verbessern. Kern des Projekts war der Aufbau einer hochperformanten Datenmanagementplattform auf Databricks, ergänzt durch das Design und die Implementierung einer effizienten Data-Hub-Ingest-Plattform.
-
- Leitung des Designs und der Etablierung einer unternehmensweiten Datenstrategie, ausgerichtet an Geschäftszielen und technologischen Fortschritten
- Entwicklung eines umfassenden Daten-Governance-Frameworks zur Gewährleistung von Datenqualität, Datenschutz und Einhaltung von Branchenstandards
- Überwachung der Bereitstellung und Anpassung der Datenmanagementplattform auf Databricks, Verbesserung der Datenverarbeitung, Analyse und Reportingfähigkeiten mit Power BI
- Entwicklung eines robusten Data-Hubs mit hochperformanter Ingest-Pipelines basierend auf AWS EventBridge,
- Optimierung des Datenflusses von verschiedenen Quellen zu zentralisierten Speichersystemen (Data Lake House auf Azure)
- Zusammenarbeit mit funktionsübergreifenden Teams zur Integration der Datenmanagementplattform in die bestehende IT-Infrastruktur und Geschäftsprozesse
- Durchführung von Schulungen und Workshops für neue Teams, Förderung einer datengetriebenen Kultur und Verbesserung der Datenkompetenz in der gesamten Organisation
- Services:
- Azure Databricks
- Databricks Data Catalog
- AWS EventBridge
- Kinesis
- Event Hub
- Structured Streaming (Apache Spark)
- Projektzusammenfassung:
-
- Integration eines Logistikdatenstroms mit Kafka durch PySpark Structured Streaming
- Definition der notwendigen Datenstrukturen für den Datenstrom
- Robuste und effiziente Integration des Logistikdatenstroms mit Event Hubs
- Echtzeitnutzung von Logistikdaten für Analyse und Weiterverarbeitung
- Entwurf und Implementierung von Pipelines zur Erfassung, Verarbeitung und Weiterleitung des Datenstroms
- Effiziente Datenverarbeitung mit PySpark Structured Streaming
- Konfiguration und Initialisierung des PySpark Streaming-Jobs
- Durchführung umfassender Test- und Überwachungsmechanismen
- Gewährleistung einer reibungslosen Datenübertragung und hoher Datenqualität
- Services:
- Azure Synapse Analytics
- Purview Data Catalog
- Apache Spark
- Event Hub
- Structured Streaming
- GraphFrame
- Azure Storage v2
- PowerBI
- Projektzusammenfassung:
- Unterstützung und Anleitung bei der Migration der bestehenden Datendienste, Pipelines und Assets auf eine neue und weiterentwickelte Architektur
- Entwicklung eines eventbasierten Systems
- Verwendung von Lambda-Funktionen und PySpark
- Integration mit Kafka
- Design- und Architekturplanung
- Implementierung von Lambda-Funktionen und PySpark-Jobs
- Konfiguration und Verbindung mit Kafka
- Serverlose Architektur für Skalierbarkeit und Verfügbarkeit
- Verarbeitung und Analyse von Ereignisdaten in Echtzeit
- PySpark-Transformationen, Filterungen und Aggregationen
- Effiziente und zuverlässige Verbindung mit Kafka
- Konfiguration, Sicherheitseinstellungen und Integration mit anderen Komponenten
- Umfangreiche Tests und Überwachungsmechanismen
- Hochperformantes und skalierbares Event-System
- Gewinnung wertvoller Erkenntnisse aus Ereignisdaten
- Datengetriebene Entscheidungsfindung
- Services:
- AWS Glue
- Apache Spark
- Data Catalog
- S3
- Athena
- Redshift
- Lambda
- ECS
- Step Functions
- Umsetzung verteilter Data Mesh Architekturen, damit verschiedene Produktteams effizient mit Daten arbeiten können
- Datenverarbeitung mit Big-Data-Frameworks und Datenbanktechnologien
- Erarbeitung serverlose/elastische Cloud-Architektur (AWS)
- Projektzusammenfassung:
- Weiterentwicklung der Big Data Lake Umgebung in AWS
- Umsetzung und Konzeption eines Data Lakehouse
- explorative Analyse sowie Algorithmenentwicklung durch Datenbereitstellung und -aufbereitung (AWS Glue, Spark, Lambda)
- Data Ingestion
- Entwicklung von Data Pipelines, ETL-Jobs zur Bereitstellung von konsumfertigen Datenquellen (AWS Glue, AWS Redshift, Spark, PySpark)
- Regressionstest und Qualitätsprüfung in den Datenstrecken und Data Lake
- Orchestrierung und Anbindung von Datenquellen
- Umsetzung von automatisieren Deployments mittels DevOps-Best-Practices (AWS Codebuild + Codepipeline, GitHub Actions)
- Aufbau der Infrastruktur mittels IaC (AWS CDK)
- Systembetreuung (inkl. Kostenmonitoring)
- Projektzusammenfassung:
-
- Erarbeitung von Lösungen in Projekten zu Azure und Automatisierung und Vorstellung/ Diskussion derselben
- Azure-Services: Azure Data Catalogue, Azure Synapse Analytics, Azure Data Factory, Azure Databricks
- Automatisierter Aufbau der Infrastruktur mit Infrastructure as Code (Terraform) und Ansible
- Scrum, JIRA, Gitlab, Docker
- Umsetzung Echtzeit-Datenübertragung mit Apache Kafka
- Beratung zu Azure Plattformstrategie bzgl. Referenzarchitekturen
- Entwicklung von Mechanismen und Automatismen zur proaktiven Beseitigung von Schwachstellen der Azure- und Kubernetes-Komponenten auf Basis standardisierter Cluster (Security by default)
- Konzeptionelle Weiterentwicklung der architektonischen und technologischen Plattform im Bereich Container-Orchestrierung auf Basis von Kubernetes, Continuous Integration & Continuous Deployment
- Erstellung Benutzer- und Berechtigungskonzepte unter Berücksichtigung der Konzernvorgaben
- Betriebsführung der angebotenen Services
- Agil arbeitendes Team
- Services:
- Azure Data Catalogue (Purview),
- Azure Synapse Workspace Analytics,
- Azure Data Factory,
- Azure Databricks
- Terraform
- Gitlab Runner
- Azure DevOps
Reisebereitschaft
exali IT-Haftpflicht-Siegel (Sondertarif für Freelancermap-Mitglieder)
Das original exali IT-Haftpflicht-Siegel bestätigt dem Auftraggeber, dass die betreffende Person oder Firma eine aktuell gültige branchenspezifische Berufs- bzw. Betriebshaftpflichtversicherung abgeschlossen hat. Diese Versicherung wurde zum Sondertarif für Freelancermap-Mitglieder abgeschlossen.
Versicherungsbeginn:
01.03.2023
Versicherungsende:
01.03.2027