Snowflake Data Warehouse & ETL Automation
Schlagwörter
Microsoft Azure
Data Analysis
Automatisierung
ETL
Verwaltungstätigkeiten
Snowflake
Terraform
Sql Data Warehouse
APIs
Airflow
Skills
Ich bin freiberuflicher Data Engineer und spezialisiere mich auf die Entwicklung skalierbarer, sicherer und effizienter Datenlösungen, die Unternehmen dabei unterstützen, das volle Potenzial ihrer Daten auszuschöpfen. Mit über fünf Jahren Erfahrung im Bereich Data Engineering helfe ich Ihnen, Ihre Dateninfrastruktur zu optimieren, Prozesse zu automatisieren und datengetriebene Entscheidungen schnell und fundiert zu treffen.
Strategische Beratung & Anforderungsanalyse
Strategische Beratung & Anforderungsanalyse
- Beratung zur Planung und Implementierung datengetriebener Projekte
- Anforderungsanalyse und Design maßgeschneiderter Datenlösungen
- Technologische Evaluierung und Strategieentwicklung
- Roadmap-Erstellung für Datenarchitekturen und Infrastruktur
- Entwicklung und Optimierung von ETL-Prozessen (Batch und Streaming)
- Orchestrierung von Datenpipelines
- Implementierung von skalierbaren DWH-Lösungen mit (Snowflake, Databricks)
- Verwaltung und Optimierung relationaler und graphbasierter Datenbanken (z. B. Oracle, MySQL, Postgres, SQL Server, Neo4j)
- Datenmodellierung mit Starschema, Snowflakeschema & Data Vault 2.0
- Automatisierung der Infrastruktur mit Terraform & GitHub Actions
- Containerisierung von Anwendungen und Datenpipelines mit Docker
- Nutzung von Cloud-Diensten wie AWS (z. B. AWS Glue), Azure (z. B. Azure Functions, Synapse Analytics, App Service) zur Entwicklung und Skalierung datengetriebener Lösungen
- Integration von Confluent Kafka für Streaming-Datenlösungen
- Erstellung von APIs, Skripten zur Optimierung und Automatisierung
- Durchführung von Datenanalysen
- Sicherstellung von Datensicherheit, Governance und Compliance in allen Prozessen
- Implementierung von Sicherheitslösungen und Best Practices in der Cloud und Infrastruktur
- Dokumentation von Prozessen und Übergabe von Systemen
- Wartung und Optimierung bestehender Datenlösungen
- Unterstützung bei der Fehlerbehebung und kontinuierlichen Verbesserung von Systemen
- Snowflake Certified
- Azure Certified
- Terraform Certified
Projekthistorie
03/2024
-
bis jetzt
Rolle: Data Engineer / Cloud Architekt
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Aufbau eines Data Warehouses in Snowflake zur Integration und Aufbereitung von Daten aus verschiedenen Quellen für tiefgehende Analysen.
- Implementierung ETL Prozesse mit AWS Glue und Speicherung der Daten in S3 für eine skalierbare Ablage.
- Verwaltung der SQL-Datenpipelines mit dbt Cloud, Automatisierung der Infrastruktur mit Terraform und Deployment-Prozess mit GitHub Actions.
- Visualisierung der angereicherten Daten in Amazon QuickSight für interaktive Dashboards und aussagekräftige Reports.
05/2024
-
12/2024
Power BI Reporting & Datenmodellierung
Rolle: Data Engineer | DB Engineer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung eines Datenschemas für Power BI zur Visualisierung von Transaktionsdaten, inklusive Modellierung der Daten in Oracle.
- Optimierung der Refresh-Prozesse für performante Datenaktualisierungen und Strukturierung von Dimensionen für detaillierte Analysen.
- Erstellung einer umfassenden Dokumentation und Bereitstellung von datengetriebenen Insights zur Unterstützung strategischer Entscheidungen.
08/2023
-
08/2024
LLM Chatbot für Mitarbeiterauslastung
Qurix Technology
(Internet und Informationstechnologie, < 10 Mitarbeiter)
Rolle: Data Engineer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung eines LLM-basierten Chatbots zur Analyse der internen Mitarbeiterauslastung und Optimierung von Ressourcen.
- Erstellung einer interaktiven Oberfläche mit Streamlit, inklusive rollenbasierter Zugriffskontrolle, Feedback- und Historienfunktionen.
- Skalierung und Bereitstellung der Anwendung über GitHub Actions, Docker und Azure App Service sowie effizientes Datenmanagement in Azure Storage Containern und Azure Container Registry.
08/2023
-
08/2024
Hybrid Data Catalog Anwendung
Qurix Technology
(Internet und Informationstechnologie, < 10 Mitarbeiter)
Rolle: Data Engineer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung einer flexiblen Data Catalog Anwendung für den Offline- und Online- Einsatz.
- Umsetzung einer interaktiven Oberfläche mit Streamlit, inklusive Offline-Caching von Metadaten aus PostgreSQL, SQL Server, DB2 etc. sowie Echtzeitaktualisierung online über Kafka.
- Containerisierung der Lösung mit Docker für eine skalierbare und portable Bereitstellung.
08/2023
-
08/2024
Internes Monitoring Tool
Qurix Technology
(Internet und Informationstechnologie, < 10 Mitarbeiter)
Rolle: Data Engineer | Cloud Architekt
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung eines maßgeschneiderten Monitoring-Tools, das Datenquellen wie HubSpot, Clockify und GitHub integriert.
- Nahtlose Anbindung der Quellen mittels Azure Functions, Speicherung aggregierter Daten in Snowflake und Visualisierung in Power BI.
- Vollautomatisierung des Prozesses inklusive Deployment, kontinuierlicher Integration und Wartung über GitHub Actions.
10/2023
-
05/2024
Azure Infrastruktur & Automatisierung
AIDAR GmbH
(Sonstiges, < 10 Mitarbeiter)
Rolle: Cloud Architekt
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Implementierung von Azure RBAC zur sicheren Verwaltung von Nutzer- und Gruppenberechtigungen.
- Bereitstellung Azure VMs für Python-Anwendung, Konfiguration einer Azure DBs und Sicherstellung der Einhaltung von Sicherheitsstandards.
- Automatisierung des Deployment-Prozesses mit GitHub Actions
- Entwicklung einer Docker Entwicklungsumgebung zur exakten Abbildung der Produktionsumgebung.
06/2022
-
07/2023
Terraform Infrastructure Automation
celver AG
(Internet und Informationstechnologie, 50-250 Mitarbeiter)
Rolle: Cloud Engineer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung und Implementierung skalierbarer, wartungsfreundlicher Terraform-Module zur Automatisierung der Infrastrukturbereitstellung auf Azure.
- Automatisierung des Deployment-Prozesses über GitHub Actions für verschiedene Umgebungen (Dev, Stage, Prod), um eine konsistente Infrastrukturbereitstellung zu gewährleisten.
06/2022
-
07/2023
Power BI Dashboard & Reporting Automation
celver AG
(Internet und Informationstechnologie, 50-250 Mitarbeiter)
Rolle: Data Analyst | Data Engineer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung eines zentralisierten Power BI Dashboards zur Konsolidierung und Analyse von Daten aus mehreren Quellen.
- Automatisierung der Datenaktualisierungen mit Power Automate und Optimierung der Berichtsleistung durch gezielte Datenmodellierung.
- Bereitstellung aussagekräftiger Insights zur Unterstützung datengetriebener Entscheidungen.
06/2022
-
07/2023
Automatisierte Datenverarbeitung
celver AG
(Internet und Informationstechnologie, 50-250 Mitarbeiter)
Rolle: Data Engineer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung einer Lösung für den automatisierten Datenverarbeitungsprozess, bei dem Kunden Dateien in einen Azure Storage Container hochladen.
- Implementierung eines Triggers, der bei Datei-Uploads automatisch die Verarbeitung und Anreicherung der Daten über Azure Synapse anstößt.
- Automatisierung der Rückspielung angereicherter Daten an den Kunden, inklusive Bestätigungslink zur Verifizierung, und Integration der bestätigten Daten in Echtzeit in interne Berichte.
06/2022
-
07/2023
Databricks ETL Pipeline & Datenoptimierung
celver AG
(Internet und Informationstechnologie, 50-250 Mitarbeiter)
Rolle: Data Engineer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung und Implementierung leistungsstarker ETL-Strecken in Databricks zur Verarbeitung und Transformation großer Datenmengen.
- Bereitstellung aufbereiteter Daten für Reporting und Machine Learning Modelle sowie Optimierung der Pipelines für schnelle, effiziente Datenverarbeitung.
- Sicherstellung hoher Datenqualität und Integration fortschrittlicher Transformationen zur Maximierung des Mehrwerts aus den Daten.
03/2019
-
04/2022
Entwicklung eines DWH
Datalogue GmbH
(50-250 Mitarbeiter)
Rolle: Data Engineer | Cloud Architekt
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Aufbau eines Data Warehouses in Google Cloud, inklusive Administration von PostgreSQL und virtuellen Maschinen.
- Entwicklung von ETL-Prozessen zur Anreicherung von Daten mit Geodaten und Metadaten.
- Bereitstellung der angereicherten Daten für ML-Trainings und Reporting-Tools sowie Sicherstellung einer stabilen, skalierbaren Infrastruktur.
03/2019
-
04/2022
KI-gestütztes Empfehlungssystem für Restaurants
Datalogue GmbH
(50-250 Mitarbeiter)
Rolle: Data Scientist | Data Engineer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung eines Empfehlungssystems, das Restaurants auf Basis von Transaktionsdaten und Zusatzinformationen gezielte Handlungsempfehlungen liefert.
- Einsatz von Machine Learning zur Vorhersage von Trends und Optimierung von Geschäftsentscheidungen.
- Automatisierte Datenverarbeitung für kontinuierliche, datengetriebene Insights zur nachhaltigen Geschäftsentwicklung.
03/2019
-
04/2022
Datenbankentwicklung
Datalogue GmbH
(50-250 Mitarbeiter)
Rolle: Database Developer
Beschreibung der Tätigkeit:
Beschreibung der Tätigkeit:
- Entwicklung und Optimierung von SQL-Abfragen zur Steigerung der Performance.
- Implementierung von Monitoring-Systemen zur Sicherstellung einer stabilen und effizienten Datenbankumgebung.
- Erstellung von Datenmodellen
Zertifikate
Reisebereitschaft
Verfügbar in den Ländern
Deutschland
Sonstige Angaben
Gerne stelle ich auf Anfrage Referenzkontakte zur Verfügung.
exali IT-Haftpflicht-Siegel (Sondertarif für Freelancermap-Mitglieder)
Das original exali IT-Haftpflicht-Siegel bestätigt dem Auftraggeber, dass die betreffende Person oder Firma eine aktuell gültige branchenspezifische Berufs- bzw. Betriebshaftpflichtversicherung abgeschlossen hat. Diese Versicherung wurde zum Sondertarif für Freelancermap-Mitglieder abgeschlossen.
Versicherungsbeginn:
21.03.2025
Versicherungsende:
01.04.2026
