Beschreibung
Aktuell suchen wir einen erfahrenen Data Engineer mit Erfahrung in AWS Serverless und Hadoop für die Entwicklung einer Data Lake PlattformSollten Sie jemanden in Ihrem Netzwerk haben für den das passt, oder ist es gar für Sie spannend?
Gerne sende ich einmal die Details mit:
- Vertrag: über Xcede
- Start: 01.02.2021
- Dauer: 1. Beauftragung 122 PT
- Auslastung: 100%
- Budget: 600€/Tag
- Standort: Remote / 2 Tage die Woche onsite in FFM
Unsere Plattform ist auf Basis aktueller Standardtechnologien (AWS Serverless und Hadoop) sowie -architekturen umgesetzt und ist bedarfsgerecht erweiterbar und beliebig skalierbar. Sie erlaubt die performante Sammlung, Anreicherung, Verknüpfung, Veredelung und Auswertung von Daten aus verschiedensten Quellen des Unternehmens (Einsatz/Disposition der Fahrzeuge, der IT (WLAN, ZIP) in den Fahrzeugen sowie Sensor-, Fahrzeugzustands- und andere Live bzw. Telemetrie-Daten) und eröffnet umfassende Verbesserungspotentiale für die Datennutzung in allen Bereichen. Mit dieser Plattform wird die Grundlage für Big-Data-Analysen und Data Science im Fernverkehr geschaffen, wodurch wertvolle Erkenntnisgewinne oder auch neue Geschäftsmodelle entstehen können.
Ihre Aufgabe
- Beratung und Umsetzung beim Aufbau eines Data Lakes mit Hilfe von AWS Services
- automatischen Provisionierung von AWS Services mit Hilfe von IaC und CI/CD
- Aufbau eines AWS Accountmonitorings mit Blick auf Kosten-/technischen und fachlichen Monitorings
- weitere Ausgestaltung der Berechtigungs- und Sicherheitskonzepte
- Aufnahme von Analyse-/Modellierungs-Anforderungen aus dem Projektteam
- Umsetzung der Anforderungen in R und Python
Skills:
- Systemadministration bzw. im Betrieb von Applikation im Umfeld von Data Warehouse, Big Data und Analytics Systemen
- Plattformbetrieb/PaaSBetrieb
- hadoop Ökosystems (bspw. Cloudera oder Hortonworks) und von Linux- und Windows Umgebungen
- AWS IAM, EMR, GLUE,S3, EC2, ECS, EKS, CloudWatch, Nifi, relationale Datenbanken
- Administration von Cloud (Amazon web Services) und/oder Onpremise-Infrastratruktur
Wenn Sie gerne in einem dynamischen jungen Team arbeiten und direkt Ergebnisse Ihrer Arbeit sehen wollen, sind Sie hier richtig.