01.10.2026 aktualisiert
CK
100 % verfügbar
Data Engineer | GCP | BigQuery | Apache Airflow | dbt | Python
Kfar Yasif, Israel
Nur Remote
M.Sc. Informatik, Universität Hamburg, Schwerpunkt Data ScienceSkills
dbtJavaApache AirflowGoogle BigQueryETLDatenqualitätData WarehousingPythonMachine LearningTensorFlowSQLGoogle CloudPyTorchGrafanaDeep Learning
Data Engineering & Pipeline-Entwicklung
Mehrjährige Erfahrung in der Entwicklung, Migration und Optimierung produktiver Datenpipelines auf der Google Cloud Platform. Einsatz von ETL/ELT-Prozessen, dbt, Datenmodellierung, Orchestrierung mit Apache Airflow und Cloud Composer sowie Sicherstellung hoher Datenqualität durch automatisierte Tests und atomare Partitionierungen.
Cloud & Analytics (GCP)
Fundierte Kenntnisse in Google Cloud Platform-Diensten wie BigQuery, Cloud Composer, Google Cloud Storage und GKE. Aufbau und Betrieb skalierbarer Datenplattformen sowie Visualisierung analytischer Ergebnisse in Grafana-Dashboards.
Programmierung mit Python & SQL
Umfangreiche Praxiserfahrung in der Entwicklung von Datenpipelines, Self-Service-Workflows und Machine-Learning-Modellen mit Python und SQL. Ergaenzend Kenntnisse in Java, JavaScript, Node.js und Vue.js.
Machine Learning & Deep Learning
Akademische und praktische Erfahrung in der Entwicklung von Transformer- und LSTM-basierten Modellen mit PyTorch, PyTorch Lightning, Keras und TensorFlow. Anwendung in Bereichen wie Gestenerkennung, Schallquellenlokalisierung und Sprachverbesserung.
Data Warehousing & Datenmodellierung
Konzeption und Implementierung robuster Datenmodelle in BigQuery. Einsatz von dbt zur Migration produktiver Scheduled Queries sowie zur Sicherstellung reproduzierbarer und wartbarer Datenstrukturen.
CI/CD & DevOps-Tools
Einsatz von Docker und Git im Rahmen produktiver Datenpipeline-Entwicklung. Implementierung von Regressionstests, kontrollierten Fehlerbehandlungen und transaktionalen Schreibvorgaengen zur Betriebssicherheit.
Full-Stack-Entwicklung
Entwicklung einer Webanwendung mit Node.js im Backend und Vue.js im Frontend zur Unterstuetzung von Lehrkraeften. Datenverwaltung und -verarbeitung ueber BigQuery.
Data Science & Experimentdesign
Durchfuehrung umfassender Experimente zur Hyperparameter-Optimierung und Modellarchitektur-Bestimmung. Einsatz von Scikit-learn, PyTorch Lightning und weiteren Frameworks zur Analyse und Bewertung von Modellleistungen.
Mehrjährige Erfahrung in der Entwicklung, Migration und Optimierung produktiver Datenpipelines auf der Google Cloud Platform. Einsatz von ETL/ELT-Prozessen, dbt, Datenmodellierung, Orchestrierung mit Apache Airflow und Cloud Composer sowie Sicherstellung hoher Datenqualität durch automatisierte Tests und atomare Partitionierungen.
Cloud & Analytics (GCP)
Fundierte Kenntnisse in Google Cloud Platform-Diensten wie BigQuery, Cloud Composer, Google Cloud Storage und GKE. Aufbau und Betrieb skalierbarer Datenplattformen sowie Visualisierung analytischer Ergebnisse in Grafana-Dashboards.
Programmierung mit Python & SQL
Umfangreiche Praxiserfahrung in der Entwicklung von Datenpipelines, Self-Service-Workflows und Machine-Learning-Modellen mit Python und SQL. Ergaenzend Kenntnisse in Java, JavaScript, Node.js und Vue.js.
Machine Learning & Deep Learning
Akademische und praktische Erfahrung in der Entwicklung von Transformer- und LSTM-basierten Modellen mit PyTorch, PyTorch Lightning, Keras und TensorFlow. Anwendung in Bereichen wie Gestenerkennung, Schallquellenlokalisierung und Sprachverbesserung.
Data Warehousing & Datenmodellierung
Konzeption und Implementierung robuster Datenmodelle in BigQuery. Einsatz von dbt zur Migration produktiver Scheduled Queries sowie zur Sicherstellung reproduzierbarer und wartbarer Datenstrukturen.
CI/CD & DevOps-Tools
Einsatz von Docker und Git im Rahmen produktiver Datenpipeline-Entwicklung. Implementierung von Regressionstests, kontrollierten Fehlerbehandlungen und transaktionalen Schreibvorgaengen zur Betriebssicherheit.
Full-Stack-Entwicklung
Entwicklung einer Webanwendung mit Node.js im Backend und Vue.js im Frontend zur Unterstuetzung von Lehrkraeften. Datenverwaltung und -verarbeitung ueber BigQuery.
Data Science & Experimentdesign
Durchfuehrung umfassender Experimente zur Hyperparameter-Optimierung und Modellarchitektur-Bestimmung. Einsatz von Scikit-learn, PyTorch Lightning und weiteren Frameworks zur Analyse und Bewertung von Modellleistungen.
Erfahrung
Berufserfahrung0 - 5 Jahre
Freelancer seit2023
Sprachen
ArabicMutterspracheGermanverhandlungssicherEnglishverhandlungssicherHebrewverhandlungssicher
Projekthistorie
Migration produktiver BigQuery Scheduled Queries zu dbt. Entwicklung einer Facelift-Pipeline mit zentral verwalteten Profilen, Mappings und Schemas in BigQuery und Google Cloud Storage fuer automatisierte Airflow- und GKE-Prozesse. Entwicklung eines Airflow-Self-Service-Workflows zur Verarbeitung von Podcast-Episodentiteln. Implementierung sicherer Backfills und atomarer Tagespartitionen sowie Verbesserung der Betriebssicherheit. Technologien: Python, SQL, dbt, GCP, BigQuery, GCS, Cloud Composer, Apache Airflow, GKE, Docker, Elasticsearch, Grafana.
Ueberarbeitung und Weiterentwicklung der bestehenden Datenarchitektur sowie Migration bestehender, auf GCP-VMs betriebener Datenpipelines zu Cloud Composer und Apache Airflow. Entwicklung und Anbindung von Datenpipelines zur automatisierten Verarbeitung von Podcast-Daten fuer NDR und MDR sowie Aufbereitung fuer analytische Anwendungen und Grafana-Dashboards. Technologien: GCP, Cloud Composer, Apache Airflow, BigQuery, Grafana, Python, SQL, Piano, Elasticsearch.
Konzeption und Implementierung einer skalierbaren Datenpipeline auf der Google Cloud Platform zur automatisierten Aufnahme, Verarbeitung und Bereitstellung von Social-Media-Daten aus Facelift. Anbindung und Verarbeitung von Piano-Daten sowie Entwicklung erster Prognosemodelle. Aufbereitung und Visualisierung der Daten in interaktiven Grafana-Dashboards. Technologien: GCP, BigQuery, Grafana, Python, SQL, Facelift, Piano.