Beschreibung
Aufgaben:- Speicherung von großen
Mengen an Textdaten
- Beratung bei der Erstellung einer cloudfähigen Architektur zur Verarbeitung von großen Datenmengen
auf Basis von Data Mining Algorithmen in Apache Spark
- Beratung bei der Portierung des bestehenden Hortonworks Hadoop Ökosystem in die Cloud, insb. Beratung bei der Erstellung einer cloudfähigen Architektur zur Erfassung und
nach Amazon AWS
- Dokumentation der Vorgänge und der umzusetzenden Architektur
- Präsentation der Architektur an die Entwicklerteams sowie bis auf Managementebene
- Migration von Java basierten Anwendungen auf AWS
- Verschlüsselung alle Kommunikationswege (inklusive AWS Load Balancer, AWS RDS und REST APIs) in der AWS-Welt
- Erstellung von der CI/CD Pipelines in GitLab
- Erstellen von Docker Containers und Einstellung der Docker-Umgebung in Abnahme/Produktion Server
- Bereitstellung und Darstellung der technischen und fachlichen Metriken aus den Docker-Containers
- Entwicklung von der „Produce/Consume“ Schnittstelle zwischen Java-basierte Anwendungen und
Apache Kafka
- Qualitätssicherung und Verbesserung der Datenqualität
Muss-Anforderungen:
- Mindestens 5 Jahre nachweisbare Erfahrung in Java 7/8 Entwicklung
- Mindestens 2 Jahre nachweisbare Erfahrung in der (Web-)Entwicklung von Webservices insbesondere
mit REST
- Mindestens 2 Jahre nachweisbare Erfahrung mit Microsoft SQL Server und Apache SolR
- Mindestens 2 Jahre nachweisbare Erfahrung mit GitLab, Git, Docker, Spring, Spring Boot, Eclipse,
Maven und Jenkins
- Erfahrung mit AWS Platform – AWS RDS, ECS, EMR, Cloudwatch, API Gateway, Route 53, ACM
- Mindestens 2 Jahre Erfahrung in agiler Softwareentwicklung
- Erfahrung in der Dokumentation und Beschreibung von Softwarearchitekturen
Soll-Anforderungen:
- Kenntnisse im Bereich Fernverkehr
- Erfahrung in bahnspezifischen Themen wie Fahrzeug-Planung und Dispositions-Systemen
- Verwaltung und Deployment auf AWS EMR Clusters
- Bei Bedarf, Unterstützung des Fernverkehrs Data-Lake Team bei der fachlichen/technischen Fragen
- Hoher Selbstanspruch an eigene Arbeit, Teamfähigkeit und ausgeprägte analytische und konzeptionelle Fähigkeiten