Beschreibung
Für unseren Kunden in Frankfurt am Main sind wir aktuell auf der Suche nach einem Data Intelligence Architekten (m/w/d).Falls Sie die folgende Projektbeschreibung interessiert und Sie die Anforderungen ausreichend abdecken, bitten wir Sie um kurzfristige Rückmeldung unter Angabe Ihrer Kontaktdaten, Ihrer Konditionen für den genannten Einsatzort (Stunden- oder Tagessatz) sowie Ihres Profils (vorzugsweise in Word).
Gerne können Sie uns dieses per E-Mail an schicken. Da der E-Mailversand bekanntermaßen nicht zu den sichersten Datenübertragungen zählt, möchten wir Ihnen zusätzlich eine sichere und verschlüsselte Upload-Möglichkeit für Ihre Bewerbungsunterlagen anbieten. Nutzen Sie dazu die Schaltfläche „Bewerben“ in unserem Projektportal unter https://mindheads.de.
Projektstandort: Frankfurt am Main (ca. 70% on-site)
Dauer: 01.01.2020 - 31.12.2020
Volumen: 100 PT
Abgabefrist beim Kunden: 21.11.2019
Kurzbeschreibung Projekt“:
Die Abteilung des Kunden bietet umfangreiche Dienstleistungen und Produkte im Umfeld Big Data an. Neben umfassenden Beratungsleistungen zu Datenhaltung, Datenintegration, Datenaufbereitung, Datenanalyse und Datennutzung entwickelt sie zusammen mit Kunden für konkrete Big Data-Aufgabenstellungen Prototypen, um die Daten der Kunden nutzbar zu machen. Daneben bietet die Abteilung Plattformleistungen an, die große Datenmengen speichern und verarbeiten können. Außerdem werden Kundenapplikationen SLA-gesteuert, ITIL-konform betrieben.
Aufgaben:
- Architekturberatung, Konzeption, Installation, Administration und Absicherung von Hadoop Clustern mittels Kerberos und SSL von HDFS, Yarn, Spark, Hive Thrift Server, Hive LLAP, Spark Thrift Server, Zeppelin, Nifi, Kafka, Zookeeper, Druid, Superset in den Distributionen Hortonworks (HDF/HDP) und Amazon EMR im High Availability Mode und „always encrypted“ Ansatz
- Konzeption und Implementierung der Authentifizierung und Autorisierung mittels Active
- Directory Cross Forrests an den Hadoop Clustern mit Kerberos und Ranger sowie die Integration der folgenden Satelliten Systeme:
-> Jenkins mit Spark Clients und Docker Containers
-> Gitlab CI
-> Airflow
-> Zeppelin mit Livy
-> R Studio Server
-> Jupyter Notebooks
-> Tableau
-> Tensorflow
-> Streamsets
-> Nifi
- Implementierung der Authentifizierung und Autorisierung an mindestens folgenden Enterprise AWS Cloud Native Komponenten incl. tiefgreifender Anpassungen und starker Einschränkungen von AWS IAM Roles/Policies User. Des Weiteren ist Wissen über die Anwendbarkeit der folgenden Komponenten erforderlich:
-> AWS EMR
-> ECS mit Fargate
-> RDS (Postgres, MSSQL, MySQL)
-> S3 (Bucket Policys, SSE, IAM Policies)
-> Redshift
-> Athena
-> Glue
-> Lambda
-> Kinesis
-> MSK
-> Sagemaker
- Architekturberatung, Konzeption, Implementierung und Inbetriebnahme von Kappa Streaming Architekturen sowie deren Konzeption, Implementierung und Inbetriebnahme
-> Kafka / MSK / Kinesis
-> Kafka Streams mit Spring Boot
-> SSL/Kerberos/Ranger für Kafa
-> Flink / Spark Stream Prozessoren
-> Nifi Stream Prozessoren
- Architekturberatung, Konzeption, Implementierung und Inbetriebnahme von EMR Clustern unter Betrachtung der folgenden Faktoren
-> Komponenten: hadoop, spark, flink, yarn, flink, tez, hive, tensorflow
-> Security & Encryption: At Rest Encyrption (AWS KMS), At Transport Encyrption (Enterprise PKI), Minimal limitierte Service Roles and Instance Profiles
-> Authentifizierung mittels Kerberos der EMR Hadoop Services und der Integration in die vorhanden Konzern AD Struktur
-> Benutzung von Instance fleets, Instance groups, Auto Scaling und Auto-Termination
- Architekturberatung von Dataflows, Datastaging und Inbound Data Ingests unter Betrachtung von vorhandenen Strukturen und Komponenten und der Nutzung von AWS Cloud Native Komponenten
- Konzeptionelle und vorausschauende Weiterentwicklung der architektonischen und technologischen Plattformen im Bereich Big Data und Analytics
- Entwicklung von Mechanismen und Automatismen zur proaktiven Beseitigung von Schwachstellen in cloudbasierten Analytics-Komponenten (Security by default)
- Erarbeitung von Konzepten und Umsetzung dieser Konzepte zur Automatisierung des Deployments von datengetriebenen Applikationen
- Operationalisierung der Architekturthemen und Entwicklung von Lösungsoptionen
- Organisation und Durchführung von Workshops zur Abstimmung der technischen Anforderungen im Management-Kreis
Anforderungen:
Muss-Anforderung:
- Mehrjährige Erfahrung als Architekt und Entwickler im Umfeld Big Data
- Kenntnisse gängiger Architektur- und Entwicklungsstandards in AWS und Fähigkeit zur Anwendung vorhanden
- Kenntnisse von Tools aus dem Hadoop-Ökosystem – insbesondere Erfahrungen mit AWS
- EMR und AWS Lake Formation oder HDP wünschenswert
- Gängige Plattformen Linux, Windows etc. in AWS sind bekannt und können souverän bedient werden
- AWS Services, insbesondere Analytics Services und deren automatisierte Bereitstellung können souverän eingesetzt werden
- Fundierte Erfahrung in der technischen Konzeption cloudbasierter Plattformen mit diversen Komponenten
- Erfahrungen bzgl. Automation im Hadoop-Umfeld und weitreichende Kenntnisse bzgl. Security
- Qualitätsorientierung, Kommunikations- und Präsentationsstärke, professionelles Auftreten, Eigeninitiative sowie die Kreativität neue Technologien hinsichtlich der Eignung des Einsatzes zu prüfen
- Erfahrung in der Umsetzung von IT-Services und Mitarbeit bei datenbasierten Geschäftsmodellen
- Kenntnisse von Betriebsprozessen im Kontext Data Lake zur Sicherstellung der Qualität und Einsatztauglichkeit der Architekturen im dauerhaften ITIL-konformen Betrieb
- Langjährige Erfahrung und Nutzung der folgenden Komponenten sowie die Fähigkeit der Nutzungsberatung gegenüber konzerninternen Kunden:
-> EC2 Full Stack (Ubuntu, Userdata, Snapshots, Security Groups, DNS, Instance Profiles, EBS)
-> VPC
-> KMS/IAM/ACM
-> Document DB / MongoDB
-> Loadbalancer ELB/ALB/NLB
-> Lambdas
-> SSM
-> Elastic Beanstalk
Soll-Anforderung:
- Erfahrungen im Umgang mit personenbezogenen Daten (Erfüllung rechtl. Vorgaben)
- Vertiefte Kenntnisse im Umfeld von klassischen relationalen und Cloud basierten DWH Systemen
- Erfahrung in der Umsetzung und Anwendung der DSGVO
Für Fragen, Anregungen oder Wünsche stehen wir Ihnen gern zur Verfügung. Aktuelle Informationen über uns sowie weitere Vakanzen finden Sie auch auf unserer Homepage: https://mindheads.de
Kontakt:
mindheads GmbH
Dr.-Haas-Straße 4
96047 Bamberg
Tel.