23.02.2026 aktualisiert

**** ******** ****
Premiumkunde
100 % verfügbar

Data & Cloud Experts | Azure, AWS & GCP | Data Engineering, BI & Data Science Solutions

Hamburg, Deutschland
Weltweit
Master
Hamburg, Deutschland
Weltweit
Master

Profilanlagen

Mengyu Shi_Profil.pdf
ChristianeWilson_Profil.docx

Über mich

Data Insight Consulting GmbH entfaltet das volle Potenzial Ihrer Daten. Wir spezialisieren uns auf Data Engineering, Business Intelligence und Cloud-Architekturen – von modernen Datenplattformen über optimierte ETL-/ELT-Prozesse bis zu maßgeschneiderten Lösungen für Analytics und Machine Learning.

Skills

Agile MethodologieAmazon Web ServicesAmazon S3Data AnalysisArchitekturAtlassian ConfluenceAtlassian JiraMicrosoft AzureBash ShellBusiness IntelligenceBig DataProzessoptimierungCloud ComputingCloud-SpeicherContinuous IntegrationInformation EngineeringDateninfrastrukturData IntegrationETLData MiningDatenmodellData VaultDatenvisualisierungData WarehousingRelationale DatenbankenDevOpsGitHubR (Programmiersprache)PythonPostgreSQLMachine LearningProjektmanagementMicrosoft Sql-ServerMySQLMeldesystemeNumPyPredictive AnalyticsScrumVisualisierungRstudioRole Based Access ControlMicrosoft Power BIPublish SubscribeSAP ApplicationsSeleniumMicrosoft SharepointShell-ScriptVaultStored ProcedureSQLSQL Server Reporting ServicesSQL Server Integration ServicesSqlalchemySQL Server Analysis ServicesStreamingSalesforce TableauTransact-SqlVisual Studio OnlineDatenverarbeitungGoogle CloudJMP (Statistical Software)Cloud PlatformVerwaltungstätigkeitenData ScienceAzure Data FactoryFlaskApache SparkBackendGitLabPowerqueryFastAPIKanbanpandasMatplotlibData LakePySparkGitlab-CiGoogle Cloud FunctionsVBA Programming LanguageStar-SchemaGoogle BigqueryPlotlyApache KafkaDatenmanagementSSMSRestful ApisTerraformAzure Synapse AnalyticsMicrosoft PowerAppsDockerDatenbank-ToolsAmazon RedshiftDatabricksOracledb
Unser Team vereint spezialisierte Kompetenzen in modernsten Cloud-Technologien und Data-Lösungen. Wir unterstützen Unternehmen dabei, ihre Dateninfrastruktur zu modernisieren und wertvolle Erkenntnisse aus ihren Daten zu gewinnen. Unsere Expertise gründet auf langjähriger Projekterfahrung, fundierter akademischer Ausbildung und anerkannten Zertifizierungen unseres Expertenteams. Wir stehen für skalierbare Architekturen, sauberen Code und agile Umsetzung.

Cloud Platforms & Infrastructure
  1. Multi-Cloud: Microsoft Azure, Amazon Web Services (AWS), Google Cloud Platform (GCP)
  2. DevOps & IaC: Terraform, Docker, Azure DevOps, GitHub Actions, Shell Scripting
  3. Security & Identity: Azure Key Vault, RBAC/ABAC Konzepte
Data Engineering & Big Data
  1. Platforms: Databricks, Azure Synapse Analytics, Google BigQuery, Amazon Redshift, Exasol
  2. Processing: Apache Spark (PySpark, Spark SQL), Delta Lake & Delta Tables, Unity Catalog
  3. ETL & Orchestration: Azure Data Factory (ADF), dbt (data build tool), Fivetran, Google Dataflow, SSIS
  4. Streaming: Apache Kafka, AWS SNS, Google Pub/Sub
  5. Storage: Azure Blob Storage, AWS S3, MS SQL Server, PostgreSQL, MySQL
Business Intelligence (BI) & Visualization
  1. Reporting: Power BI (Desktop & Service), Tableau (Prep & Desktop), Excel
  2. Modelling & Analytics: PowerQuery/M, DAX, SSAS (Analysis Services), SSRS, Dataflows
  3. Low Code: PowerApps
Data Science & Backend
  1. Languages: Python (Expert), SQL / T-SQL
  2. Libraries: Pandas, Numpy, Scikit-learn
  3. Serverless: Google Cloud Functions
Methodik & Projektmanagement
  1. Data Modeling: Star Schema, Snowflake Schema, Data Vault, Unified Star Schema
  2. Agile: Scrum, Kanban
  3. Tools: Jira, Confluence, VS Code, SSMS

Sprachen

DeutschverhandlungssicherEnglischverhandlungssicher

Projekthistorie

Optimierung bestehenden Azure Umgebung, Transformation und Automatisierung der Data Platform von Azure Data Factory zu Databricks mit vollständigem CI/CD-Setup

Bauking GmbH
● Migration der gesamten Data Factory Umgebung zu Databricks inkl.
Aufbau von CI/CD, Automatisierung und modularen Utility-Funktionen
● Entwicklung und Optimierung von Databricks-Pipelines zur
Effizienzsteigerung und Reduktion der Laufzeiten
● Refactoring von SQL-Code und ETL-Prozessen für bessere Performance
und Wartbarkeit
● Aufbau und Integration von REST-APIs zur Datenanbindung
● Enge Zusammenarbeit mit dem Data-Team für eine reibungslose
Übergabe und Integration

Migration bestehender ETL-Prozesse zu Databricks

Fielmann Group AG
● Umschreiben bestehender AWS Glue Jobs in PySpark-Code zur
Optimierung der Datenverarbeitung
● Implementierung der Business-Logik mit dbt zur Standardisierung der
Transformationsprozesse
● Mitentwicklung der CI/CD-Prozesse unter Verwendung von GitHub
Actions, Databricks Asset Bundle und Terraform zur Automatisierung und
Effizienzsteigerung

Aufbau eines Lakehouses in Databricks,

Quantum GmbH
• Entwurf und Aufbau eines skalierbaren Data Warehouses
• Entwicklung und Optimierung von ETL-Pipelines durch PySpark zur
effizienten Verarbeitung und Integration großer Datenmengen aus
verschiedenen Quellen
● Einrichtung der CICD-Prozesse mit GitHub Actions

Aufbau einer Azure Cloud-Infrastruktur unter Einsatz von Terraform

Peter Döhle Schiffahrts KG
• Entwicklung und Implementierung der Cloud Infrastruktur für ein Azure
Synapse Workspace und diverse Ressourcen dazu, unter Verwendung von
Terraform als Infrastructure-as-Code Lösung.
• Konzeption und Aufbau von CI/CD-Pipelines zur Automatisierung des
Deployments und der Verwaltung der Cloud-Infrastruktur, um Effizienz
und Konsistenz in der Softwarebereitstellung zu gewährleisten.
● Umwandlung der SSIS-Pakete in Data Pipelines unter Einsatz von Azure
Synapse und Python.

Aufbau eines Data Warehouses in Snowflake mit dbt Cloud

Data Zulu GmbH
• Erstellung von Datenpipelines für Werbeplattformen mit dbt und Fivetran,
und Speicherung in einem Snowflake Data Warehouse
• Entwicklung umfassender Tableau Dashboards für die Web Traffic Analyse

Design und Implementierung eines Lakehouse in Azure

Secjur GmbH
• Entwicklung effizienter Data Pipelines unter Verwendung von Python,
Azure Data Factory und Databricks.
• Design und Implementierung einer Datenmanagement-Strategie unter
Anwendung von Lakehouse-Prinzipien, welche die flexible
Speicherkapazität eines Data Lakes nahtlos mit der Abfrage-Leistung
eines Data Warehouses kombiniert.
• Erstellung von Machine-Learning-Algorithmen zur Identifikation idealer
Kundenprofile.

Automatisierung der Erstellung von Data Pipelines

Otto GmbH & Co KG
• Analysieren komplexer Datenstruktur und Streamevents, und Erstellen
geeignete Datenmodellen unter Verwendung von Data Vault-Methoden.
• Entwicklung, Testen und Erweiterung eines Automatisierungssystem für
Data-Pipelines basierend auf der Google Cloud Plattform (Gravitas).
• Anbindung verschiedener Datenquellen wie Amazon SNS, Apache Kafka
und diversen On-Prem Datenbanken.
• Prozessmonitoring für die Erstellung von automatisierten Data-Pipelines
in Data Lake.
• Visualisierung von Daten durch PowerBI für BI-Analysten.

Aufbau einer BI-Lösung für den Geschäftsbereich Finance

CENTOGENE GmbH
• Erfassen und Umsetzen von Geschäftsanforderungen in Reports unter
Verwendung von SSRS.
• Verbesserung des Datenerfassung-Verfahrens, um alle relevanten
Informationen für die Entwicklung der Analysen zu erfassen.

Zertifikate

Microsoft Certified-Azure Data Engineer Associate

Microsoft Learn

2023

Microsoft Certified - Azure Fundamentals

Microsoft Learn

2022

Modeling Data Warehouse Data Vault 2.0

Data Vault Alliance

2022

Kontaktanfrage

Einloggen & anfragen.

Das Kontaktformular ist nur für eingeloggte Nutzer verfügbar.

RegistrierenAnmelden