Data Science & AI Expert with Python & Kubernetes / Argo Workflows (f/m/d) ID 25970-0
C4 Energy GmbH & Co. KG
Ansprechpartner: Sebastian Mende
Remote, Deutschland
EnergiewirtschaftProzessoptimierungContinuous IntegrationDevOpsExperimentierenJinja2PythonMarkdownSonarqubeVersionierungWorkflowsTestenLifecycle ManagementTest-Driven DevelopmentData ScienceGitlab-CiKubernetesDSGVOTerraformDocker
Beschreibung
Data Science & AI Expert with Python & Kubernetes / Argo Workflows (f/m/d) ID 25970-0
Offsite Stunden: 900
Gewünschtes Eintrittsdatum: 13.01.2025
End-Datum: 30.06.2025
Project Description
In an effort to improve development speed, quality and maintainability, we are building a set of reusable components to be used in the context of Data Science & AI.
The ultimate goal is to enable data scientists to work without the need for ML engineers, while following best engineering and security practices.
We follow the GitOps principle, so most of our components consist of templates that set up infrastructure and pipelines through CI/CD.
We also maintain reusable Docker images and Python libraries that are often used in the templates.
Some examples of components
- Automated data ingestion, including versioning, validation against expectations, data drift checking
- ML lifecycle: from experiments to predictions via pipelines running on Kubernetes (Argo workflows) and DVC
- Documenting in markdown and publishing beautiful web pages using mkdocs
- Set up Python packages, including CI/CD with pre-commit checks, testing, integration with SonarQube, build and deployment
We constantly push the boundaries of what we do to stay current with best practices, and in some cases, lead the way.
We prefer open source solutions whenever possible.
Technical Skills
TDD and DevOps practices are second nature to you.
Tools:
• GitLab CI/CD
• Python
• Kubernetes
• Argo Workflows
• Argo CD
• jinja2 and copier
• terraform
Tasks Description
• You will consult a team of 7 ML Engineers, primarily working within a sub-team of 3 dedicated to developing and maintaining reusable components. (The remaining team focuses on maintaining the underlying infrastructure, like Kubernetes and Argo Workflows.)
• Actively contribute to the Agile team’s setup, and be open minded about processes you are new to
• Develop new components as outlined in the project description, including automated data ingestion, ML lifecycle management, and documentation tools. Enhance existing components by adding new features and improvements.
• Provide support to users (primarily data scientists and other ML engineers) by troubleshooting issues, answering queries, and ensuring effective use of the developed components.
• Independently drive the development and continuous improvement of components, proactively identifying areas for enhancement.
• Contribute to and maintain comprehensive user and developer documentation to ensure ease of use and adoption of the components.
• Participate in peer reviews of code and documentation to uphold high-quality standards and knowledge sharing within the team.
• Design and implement comprehensive test suites to ensure the reliability, robustness, and high quality of all components, maintaining consistent standards across the development lifecycle.
Soft Skills
You enjoy precision work and attention to detail.
You feel rewarded when you are able to reduce complexity, and you constantly strive for the simplest design possible.
Ability to communicate complex concepts in simple, accessible, and entertaining language.
Sollten wir Ihr Interesse geweckt haben, dann freuen wir uns auf die Übersendung Ihres aussagekräftigen Word Profils unter der Angabe Ihres Stundensatzes, EU-DSGVO Zustimmung und Verfügbarkeit an
***@***.com
Herzlichen Dank im Voraus und mit herzlichen Grüßen
Ihre C4 Group
Hinweis:
Ab Mai 2018 gilt die neue EU-DSGVO, damit wir Ihre Bewerbung berücksichtigen und Ihnen zukünftig weiterhin direkt Projekte aktiv vorstellen können, bestätigen Sie uns bitte einmal in Ihrer Bewerbung, dass wir Ihr Profil bei uns speichern dürfen.
Als Zustimmung bitte einfach copy&paste EU-DSGVO OK! in Ihre Bewerbung kopieren.
Mit dem Übersenden Ihres CVs im Rahmen Ihrer Bewerbung auf diesem Portal und/oder per Email erklären Sie sich damit einverstanden, dass wir Ihr Profil mit Ihren persönlichen Daten für unsere weitere Zusammenarbeit bei uns aufnehmen. Eine Weitergabe Ihrer Daten und Vorstellung bei unseren Kunden erfolgt selbstverständlich nur mit Ihrem Einverständnis und nach Rücksprache mit Ihnen.
Sollten Sie keine weiteren E-Mails und/oder die Löschung Ihrer Daten von uns wünschen, schreiben Sie eine E-Mail an ***@***.com mit dem Betreff "Abmelden". Wir respektieren Ihr Recht auf Privatsphaere. Lesen Sie hierzu unsere Richtlinien unter c4-energy.com/Datenschutz.html. Unsere Stelle für Datenschutz erreichen Sie unter ***@***.com.
Offsite Stunden: 900
Gewünschtes Eintrittsdatum: 13.01.2025
End-Datum: 30.06.2025
Project Description
In an effort to improve development speed, quality and maintainability, we are building a set of reusable components to be used in the context of Data Science & AI.
The ultimate goal is to enable data scientists to work without the need for ML engineers, while following best engineering and security practices.
We follow the GitOps principle, so most of our components consist of templates that set up infrastructure and pipelines through CI/CD.
We also maintain reusable Docker images and Python libraries that are often used in the templates.
Some examples of components
- Automated data ingestion, including versioning, validation against expectations, data drift checking
- ML lifecycle: from experiments to predictions via pipelines running on Kubernetes (Argo workflows) and DVC
- Documenting in markdown and publishing beautiful web pages using mkdocs
- Set up Python packages, including CI/CD with pre-commit checks, testing, integration with SonarQube, build and deployment
We constantly push the boundaries of what we do to stay current with best practices, and in some cases, lead the way.
We prefer open source solutions whenever possible.
Technical Skills
TDD and DevOps practices are second nature to you.
Tools:
• GitLab CI/CD
• Python
• Kubernetes
• Argo Workflows
• Argo CD
• jinja2 and copier
• terraform
Tasks Description
• You will consult a team of 7 ML Engineers, primarily working within a sub-team of 3 dedicated to developing and maintaining reusable components. (The remaining team focuses on maintaining the underlying infrastructure, like Kubernetes and Argo Workflows.)
• Actively contribute to the Agile team’s setup, and be open minded about processes you are new to
• Develop new components as outlined in the project description, including automated data ingestion, ML lifecycle management, and documentation tools. Enhance existing components by adding new features and improvements.
• Provide support to users (primarily data scientists and other ML engineers) by troubleshooting issues, answering queries, and ensuring effective use of the developed components.
• Independently drive the development and continuous improvement of components, proactively identifying areas for enhancement.
• Contribute to and maintain comprehensive user and developer documentation to ensure ease of use and adoption of the components.
• Participate in peer reviews of code and documentation to uphold high-quality standards and knowledge sharing within the team.
• Design and implement comprehensive test suites to ensure the reliability, robustness, and high quality of all components, maintaining consistent standards across the development lifecycle.
Soft Skills
You enjoy precision work and attention to detail.
You feel rewarded when you are able to reduce complexity, and you constantly strive for the simplest design possible.
Ability to communicate complex concepts in simple, accessible, and entertaining language.
Sollten wir Ihr Interesse geweckt haben, dann freuen wir uns auf die Übersendung Ihres aussagekräftigen Word Profils unter der Angabe Ihres Stundensatzes, EU-DSGVO Zustimmung und Verfügbarkeit an
***@***.com
Herzlichen Dank im Voraus und mit herzlichen Grüßen
Ihre C4 Group
Hinweis:
Ab Mai 2018 gilt die neue EU-DSGVO, damit wir Ihre Bewerbung berücksichtigen und Ihnen zukünftig weiterhin direkt Projekte aktiv vorstellen können, bestätigen Sie uns bitte einmal in Ihrer Bewerbung, dass wir Ihr Profil bei uns speichern dürfen.
Als Zustimmung bitte einfach copy&paste EU-DSGVO OK! in Ihre Bewerbung kopieren.
Mit dem Übersenden Ihres CVs im Rahmen Ihrer Bewerbung auf diesem Portal und/oder per Email erklären Sie sich damit einverstanden, dass wir Ihr Profil mit Ihren persönlichen Daten für unsere weitere Zusammenarbeit bei uns aufnehmen. Eine Weitergabe Ihrer Daten und Vorstellung bei unseren Kunden erfolgt selbstverständlich nur mit Ihrem Einverständnis und nach Rücksprache mit Ihnen.
Sollten Sie keine weiteren E-Mails und/oder die Löschung Ihrer Daten von uns wünschen, schreiben Sie eine E-Mail an ***@***.com mit dem Betreff "Abmelden". Wir respektieren Ihr Recht auf Privatsphaere. Lesen Sie hierzu unsere Richtlinien unter c4-energy.com/Datenschutz.html. Unsere Stelle für Datenschutz erreichen Sie unter ***@***.com.