en
Entwicklung von LLM basierten KI-Anwendungen in PySpark
(Öffentlicher Dienst, 50-250 Mitarbeiter)
Schlagwörter
Künstliche Intelligenz
Airflow
Künstliche Neurale Netzwerke
Computer Vision
C++
Clusteranalyse
It-Beratung
Continuous Integration
Forecasting
R (Programmiersprache)
Skills
Technische Skills
GenAI, LLM, Deep Learning, Machine Learning, Clustering, Time Series Forecasting, Computer Vision, PyTorch, PySpark, SparkML, Databricks, scikit-learn, XGBoost, Pandas, PyTest, Poetry, Pydantic, MLOps, Mlflow, Airflow, AWS s3, K8s, Docker, HELM, FAST API, REST API, Ray, Statistics, A/B Testing, Bayesian Statistics, Causal Inference, Visualization, Gitlab CI/CD, Git
Programmiersprachen
Python, SQL, Java, C++, R
Soft Skills
Beratung, Kommunikation, Präsentation vor Stakeholdern, SCRUM, CRISP-DM
Erfahrung
Data Science, AI-Engineering, Machine Learning Engineering, Software Development, IT-Consulting
GenAI, LLM, Deep Learning, Machine Learning, Clustering, Time Series Forecasting, Computer Vision, PyTorch, PySpark, SparkML, Databricks, scikit-learn, XGBoost, Pandas, PyTest, Poetry, Pydantic, MLOps, Mlflow, Airflow, AWS s3, K8s, Docker, HELM, FAST API, REST API, Ray, Statistics, A/B Testing, Bayesian Statistics, Causal Inference, Visualization, Gitlab CI/CD, Git
Programmiersprachen
Python, SQL, Java, C++, R
Soft Skills
Beratung, Kommunikation, Präsentation vor Stakeholdern, SCRUM, CRISP-DM
Erfahrung
Data Science, AI-Engineering, Machine Learning Engineering, Software Development, IT-Consulting
Projekthistorie
09/2022
-
07/2024
- Fine-tuning von foundational LLMs (Llama, Mistral) mit dem Ziel der Generierung von Textzusammenfassungen in deutscher Sprache. Umsetzung mittels Parameter Efficient Fine Tuning (PEFT) und Low Rank Adaption (LoRA) mit Huggingface.
- Segmentierung von mehrdimensionalen Kundensaten durch Ausnutzung von effizienter LLM Datenrepräsentation - Verbesserung von existierenden Clustering Lösungen um 2x.
- Erkennung von Datenanomalien und Duplikaten durch verteilte, end-to-end Machine Learning Pipelines in PySpark - Erhebliche verbesserung der Datenqualität.
- Zeit- und Kostenoptimierung von GPU Resourcen durch dynamisches job schduling auf Nvidia A100 und A30 GPUs.
02/2023
-
06/2024
Deployment von PySpark KI-Anwendungen in K8s and Hadoop
(Öffentlicher Dienst, 50-250 Mitarbeiter)
- Deployment, Skalierung und Überwachung von KI-Anwendungen im Kubernetes Cluster (Stackable) und im Hadoop Cluster (Cloudera)
- Einführung und Einbindung von Monitoring Tools (mlflow) zur kontinuierlichen Modellüberwachung (MLOps)
- Skalierung und Logging der Hyperparametersuche von ML-Pipelines mit PySpark und MLFlow - Beschleunigung der bisherigen Suche um 5x.
- Performance- und Ressourcen Optimierung von verschiedenen Machine Learning Apps durch Anpassen von Spark Konfigurationen und Datenpartitionierung.
- Einführung von modernen GitOps Praktiken f ̈ur CI/CD.
01/2022
-
09/2022
Entwicklung von ML-Anwendungen zur Verbesserung der Datenqualität
(Automobil und Fahrzeugbau, < 10 Mitarbeiter)
- Entwickeln von baumbasierten Klassifizierungsmodellen zur Erkennung von Anomalien in Ladestationen für Elektrofahrzeuge - Einführung von datengetriebenen Validierungsregeln.
- Erzeugen von Business Insights bzgl. Datenqualität mit Hilfe von SQL basierten Datenbank abfragen.
Zertifikate
Reisebereitschaft
Verfügbar in den Ländern
Deutschland, Österreich und Schweiz
Sonstige Angaben
www.linkedin.com/in/daniel-manns-ds
