Profilbild von Anonymes Profil, Senior Data Engineer | Senior Data Scientist (Azure, Databricks, Artificial Intelligence)
nicht verfügbar bis 01.07.2024

Letztes Update: 31.01.2024

Senior Data Engineer | Senior Data Scientist (Azure, Databricks, Artificial Intelligence)

Abschluss: Dr. rer. nat. (Physik)
Stunden-/Tagessatz: anzeigen
Sprachkenntnisse: deutsch (Muttersprache) | englisch (verhandlungssicher)

Schlagwörter

Power Bi Airflow Data Analysis Apache Hadoop Cloudera SQL Stream Analytics Databricks Künstliche Intelligenz Künstliche Neurale Netzwerke + 18 weitere Schlagwörter anzeigen

Dateianlagen

AshkanZadeh-CV-2023-De_111223.pdf

Skills

Azure 
Data Factory, Event Hub, Stream Analytics, IoT Hub, Comos DB, HDInsights, Data Lake Gen2, SQL Database, DevOps, Synapse Analytics, Stream Analytics

Databricks

Hadoop

HDFS, Spark, Kafka, Nifi, Airflow, Ranger, Atlas

Cloudera
CDSW

Power BI
Power BI (Data Modeling, Dashboards, Reports, Data Analysis), Power Bi Builder (Paginated reports)

Programmiersprachen
Python, MATLAB, SQL, NoSQL

Weitere Kenntnisse
Linux, Git, SSIS, SSAS, SSRS

Projekthistorie

01/2023 - 07/2024
Senior Data Engineer / Senior Data Scientist
Vattenfall (Energie, Wasser und Umwelt, 5000-10.000 Mitarbeiter)

Ausgeführte Aufgaben:
  • Consulting on the application of analytics and BI tools and services in Microsoft Azure stack (e.g. Synapse workspaces and dedicated SQL pools, SQL Database, PostgreSQL, Snowflake, Databricks, Data Factory, SSIS, Analysis Services, Function Apps, Power BI, ML ...).
  • Independent design of analysis solutions using Python, SQL, etc.
  • Design and creation of ETL/ELT traces
  • Creation and maintenance of APIs
  • Independent application of CI/CD, testing and version control
  • Data modeling
  • Anomalie detection with AI
  • Predictive Analytics
Eingesetzte Technologien: Azure Synapse Analytics, Data Factory, Data Lake, Databricks, Spark, Python, CI/CD, SQL Database

01/2022 - 12/2022
Senior Data Engineer
Statistisches Bundesamt (Öffentlicher Dienst, 1000-5000 Mitarbeiter)

Die heute fragmentiert aufgestellte IT-Unterstützung der Statistikproduktion soll harmonisiert und übergreifend standardisiert werden. Die Ziel Systemarchitektur soll dabei folgende vier Rahmenbedingungen erfüllen:
  1. Die Ziel-Systemarchitektur verbessert die IT-Unterstützung entlang der Wert-schöpfungskette des Kunden. Die Wertschöpfungskette des Kunden richtet sich nach den Stufen des Geschäftsprozessmodells Amtliche Statistik (GMAS)
  2. Die Ziel-Systemarchitektur fokussiert auf die Statistikproduktion im Grundbetrieb des Kunden. Sie soll aber so skalierbar ausgelegt werden, dass die Infrastruktur für das Projekt Registerzensus in dieser Architektur erweitert werden kann. Somit bilden Grundbetrieb und Registerzensus gemeinsam den Lösungsraum für die Ziel-Systemarchitektur
  3. Die Ziel-Systemarchitektur bildet die Anforderungen an unterschiedliche Datenschutzbedarfe ab. Für bestimmte Fachanwendungen gilt, dass die zu verarbeitenden Daten vor einer Anonymisierung/Pseudonymisierung den Schutzbedarf "sehr hoch" haben können. Die Zielarchitektur ist in der Lage, diesen Schutzbedarf abzudecken.
  4. Im Sinne einer "Customer Journey" sind zwei wesentliche Nutzergruppen zu berücksichtigen: 1) Datenanalyseteams und 2) Softwareentwicklungsteams. Die Datenanalyseteams möchten typische Tools aus dem Data Engineering- und Data Science-Umfeld (NiFi, R, Python, SAS Viya1) nutzen, um bekannte und neue Statistiken zu erzeugen.

Ausgeführte Aufgabe: Herr Zadeh verantwortet in diesem Projekt die Konzeption, Aufbau und die Migration der aktuellen Projekte auf dem Cloudera Plattform und dessen Implementierung, Test und Betriebsüberwachung.
Eingesetzte Technologien: Cloudera, AWS, Spark, Kafka, Nifi, Ranger, Atlas, Python, Azure, CI/CD, Power BI

06/2021 - 11/2021
Senior Data Engineer
Statistisches Bundesamt (Öffentlicher Dienst, 1000-5000 Mitarbeiter)

Um die Webseite des Kunden für die Zukunft vorzubereiten, sollten eine neue Infrastruktur geschaffen werden, in der es möglich ist, Daten aus unterschiedlichen externen Quellen in der Datenbank zu streamen, zu strukturieren und zu speichern. Anschließend sollte es möglich sein, die Daten aus unterschiedlichen Quellen, die ähnliche Daten enthalten gemeinsam analysieren zu können. Das Produkt des Projekts sollte eine Webschnittstelle zur Suche, Visualisierung und Ad-hoc-Modellierung von Tabellen mit statistischen Daten besitzen. Durch einen geeigneten Einsatz von Hadoop, Hive und Spark konnte das Projekt erfolgreich umgesetzt werden. Für die Realisierung wurden mehrere ETL implementiert die die Daten aus den Quellen in der Datenbank geladen und bearbeitet haben. Durch Einsatz von ROLAP und MOLAP ist der Endnutzer in der Lage diese Daten individuell abfragen und analysieren.

Ausgeführte Aufgabe: Herr Zadeh verantwortete in diesem Projekt die Planung, Organisation und Durchführung, sowie die Kommunikation mit Projektowner und dem Entwicklungsteam. Zusätzlich verantwortete er die Implementierung, manuelle Testdurchführung, sowie die Erstellung und Anpassung von automatisierten Testfällen. Die anschließenden Testergebnisse wurden ausführlich dokumentiert. Die Erstellung von Power BI Dashboards und Reportings gehörte ebenfalls zu seinen Aufgaben.
Eingesetzte Technologien: Cloudera, Azure, Hadoop, Spark, Hive, Kafka, Python, CI/CD, Power BI

08/2020 - 05/2021
Senior IoT & Data Engineer
Goethe Universität Frankfurt & Wolfel GmbH (Energie, Wasser und Umwelt, 500-1000 Mitarbeiter)

Im Rahmen eines Projekts von Bundesministerium für Wirtschaft und Energie sollen Detektionssysteme entwickelt werden mit dem es möglich ist eine 360° Überwachung um jede Windenergieanlage zu errichten, um eine Kollision mit Vögeln und Fledermäuse zu verhindern. Hierfür hat Herr Zadeh Detektionssysteme wie Radar, Ultraschall-Mikrofone und Kamerasysteme miteinander vernetzt. Anschließend hat Herr Zadeh eine Infrastruktur geschaffen, mit der alle Daten automatisch gesammelt, vereinheitlicht, gesäubert und in einer Datenbank gespeichert wurden. Danach wurden mehrere Data Pipelines implementiert, welche die Daten mit unterschiedlicher Analyse und Klassifikationsalgorithmen verarbeitet und zur Verfügung gestellt haben. Implementierung prädiktive Datenanalyse-Methoden und Maschinelles Lernen gehörten zu diesen Pipelines.

Ausgeführte Aufgabe: Koordination des Projekts, Entwicklung Cloudbasierte Data Engineering & IoT Lösungen
Eingesetzte Technologien: Azure, Azure IoT Hub, Azure Event Hub, Azure Synapse, Azure Stream Analytics, Spark, Python, SQL/NoSQL, Power BI

01/2019 - 03/2020
Data Engineer
Trumpf SE & Co KG (Öffentlicher Dienst, >10.000 Mitarbeiter)

  • Aufbau einer Architektur für eine Data-Engineering-Lösung mit Azure Data Engineering Technologien wie Azure Data Factory (ADF), Azure Data Lake Gen2, Azure Blob Storage, Azure SQL Database, Azure Databricks, Azure HDInsight und Microsoft PowerBI.
  • Umwandlung von Daten aus Azure Data Lake Storage Gen2 in Azure SQL Database mit Azure Data Factory (ADF)
  • Erstellen von Mapping Data Flows zur Erstellung von Transformationslogik.
  • Debugging von Datenflüssen, Untersuchung von Problemen, Behebung von Fehlern usw.
  • Erstellen von ADF-Pipelines zur Ausführung von HDInsight-Aktivitäten und zur Durchführung von Datentransformationen.
  • Erstellen von ADF-Pipelines zur Ausführung von Databricks Notebook-Aktivitäten zur Durchführung von Transformationen.
  • Überwachen von Datenpipelines, Erstellen von Warnungen und Berichten von Metriken aus dem Azure Data Factory Monitor.
  • Überwachung von Data Factory Pipelines mit Azure Monitor und Einstellung von Diagnose Einstellung, die an Azure Storage Account oder Log Analytics Workspace weitergeleitet wird.
  • Erstellen von Log Analytics Workspace, Erstellen von Arbeitsmappen und Diagrammen aus Log Analytics auf den Azure Data Factory Pipelines.
  • Erstellen des Log Analytics-Arbeitsbereichs, Erstellen von Arbeitsmappen und Diagrammen aus Log Analytics auf den Azure Data Factory-Pipelines
  • Koordination des Projekts
  • Erstellung von Dashboards in Power BI
  • Erstellung von Power BI Reports

Ausgeführte Aufgabe: Koordination des Projekts, Entwicklung Cloudbasierte Data Engineering Lösungen
Eingesetzte Technologien: Azure, HDInsight, Azure SQL, Azure Data Lake, Azure Data Factory, Power BI, Databricks, Azure Blob Storage Gen2 , Python, DevOps

01/2018 - 07/2018
Data Scientist
GMT GmbH (Industrie und Maschinenbau, 10-50 Mitarbeiter)

Das Hauptziel von InDiThera (Integration bildgeführter Brustkrebsdiagnostik mit minimalinvasiver Lasertherapie) ist die Realisierung eines Demonstratorsystems, dass zwei elektromagnetische Diagnoseverfahren mit bildgeführter minimalinvasiver Therapie (Laserablation) kombiniert. Das erwartete Ergebnis ist ein einzigartiges und innovatives diagnostisches Therapiesystem, das ergänzende diagnostische Informationen im Vergleich zur klassischen Mammographie liefert.

Ausgeführte Aufgabe: Entwicklung von Mustererkennungsalgorithmen (KI) Projektergebnis: Es wurde ein bilgebendes Diagnostikverfahren entwickelt.
Eingesetzte Technologien: Python

Zertifikate

Data Platform and Pipeline Design
2022
Introduction to Databricks
2022
Airflow workflow orchestration
2022
Data Engineering on AWS
2022
CDP Data Governance with SDX
2022
Cloudera Essentials for CDP
2021
Introduction to Cloudera Machine Learning
2021
Introduction to Cloudera Data Warehouse
2021

Reisebereitschaft

Nur Remote verfügbar
Profilbild von Anonymes Profil, Senior Data Engineer | Senior Data Scientist (Azure, Databricks, Artificial Intelligence) Senior Data Engineer | Senior Data Scientist (Azure, Databricks, Artificial Intelligence)
Registrieren