Schlagwörter
Skills
Programmiersprachen
- Objektorientert / Imperativ
- Scala (Experte), Java (Experte), Python, PHP, Perl, JavaScript, Delphi, Pascal, C
- Scala (Experte), Java (Experte), Python, PHP, Perl, JavaScript, Delphi, Pascal, C
- Funktional / Mathematisch / Deklarativ
- Scala (Experte), QVT Relations (Experte), R, Prolog / Eclipse (CLP), Pari
- Scala (Experte), QVT Relations (Experte), R, Prolog / Eclipse (CLP), Pari
- Tools und Vorgehensweisen
- Docker, Scala-IDE, Eclipse, Git, SVN, CVS, Maven, SBT, Bash, Make, Delphi-IDE, Redmine, Scrum, TDD, Pair Programming
- Docker, Scala-IDE, Eclipse, Git, SVN, CVS, Maven, SBT, Bash, Make, Delphi-IDE, Redmine, Scrum, TDD, Pair Programming
- Frameworks (kleiner Auszug, sonst nicht in Skills genannt)
- JBoss Wildfly, JavaMail, Apache Cocoon, XSLT (Xalan), Apache Thrift
- Systeme zur verteilten Berechnung
- Batch Verarbeitungssysteme: Apache Spark, Apache Hadoop, Lambda Architectures
- Frameworks zur verteilen Berechnung: MapReduce, Hive, Scalding, Summingbird, Cascading
- Streaming Verarbeitungssysteme: Kafka Streams, Spark Streaming, Apache NiFi, Apache Storm
- Cluster Resource Manager: YARN, (Mesos)
- Verteile Speichersysteme: HDFS
- Discovery Tools: R, Zeppelin
- Machine Learning
- Regression: Random Forests / Support Vector Regression
- Classification: Random Forests
- Clustering: k-Means
- NoSQL
- Apache Cassandra (Experte)
- div. Zugriffsschichten auf NoSQL, z.B. Datastax Cassandra Driver (Experte), Twitter Storehaus (Experte), Hector, Knox
- HBase
- Relationale Datenbanken
- div. Zugriffsschichten JDBC, JPA, Hibernate, ScalikeJDBC, Slick
- div. DBMS MySQL, Oracle, H2, ...
- div. Tools wie Squirrel, Toad, ...
- Linux (inkl. Administration), MacOS/X, Windows
Projekthistorie
2016-heute DWH Entwickler (Telefónica / O2, Freiberufler)
- Entwicklung diverser Jobs in Spark, Hive, Hadoop, Oracle, Sqoop, Kafka Streams
- Entwicklung verschiedener Archetypen für die Entwicklung von Jobs im DWH (Spark, Spark Streaming, MapReduce, Scala, Java, Maven)
- Erstellen eines Entwicklungsprozesses zur Entwicklung von Big Data / Spark / Spark Streaming / Mapreduce / Hadoop - Jobs
- Aufsetzen einer Build- und Test- Infrastruktur für die Big Data Jobs (Continuous Integration, Repositories)
- Entwicklung von Bibliotheken, z.B. Hive Streaming API mit Spark Streaming
- Sicherheit von Daten in Hadoop im Entwicklungsprozess
- Nutzung von Spark, Kafka Streams, Hive, Kubernetes, Hortonworks, Hadoop, Scala, Java 8, Python, PL/SQL, ...
- Entwicklung von Komponenten einer Ingestion Pipeline für Daten
- Integration von Kafka Streams Applikationen für die Transformation von DSGVO / GDPR relevanten Daten mit dem Ziel diese datenschutzkonform aufbewahren zu können
- Entwicklung in Scala mit Docker und Kubernetes
- Streaming Ansatz zur Bereitstellung von Daten nahezu in Echtzeit
- Framework zur Erstellung von Lambda-Architekturen in Scala
- Basiert auf Apache Spark
- Bibliothek für Versionsverwaltung von Batches und Online-Jobs
- Kompletter Serving Layer inkludiert
- Apache Spark, Apache Hadoop, YARN, Maven, Apache Cassandra, MapDB, ScalikeJDBC, Scala, Lambda Architekturen, Thrift, Twitter Stack, Summingbird, Datastax Driver, Spark Streaming
- Datenspeicher für B2B-Nachrichten (und Administration) mit Apache Cassandra
- Vergleich Oracle und Cassandra, Code ist nun Open Source
- Scray, Docker, Apache Spark, Apache Cassandra, Scala, R, Spark MLlib, Java
- Speichern und Abrufen von Daten aus NoSQL, Apache Cassandra
- Verarbeitung von Energiedaten von Haushalten mit Smart Metern mittels Hadoop und Storm
- Vorhersage von Stromverbräuchen mit Machine Learning (Support Vector Regression / SVM / SVR)
- Webapplikation zur Anzeige der Energiedaten und Endkundenenergiehandel (Photovoltaikstrom)
- Apache Hadoop, MapReduce, Apache Storm, Summingbird, Lambda Architektur, Tomkat, Vaadin, Java
- Weiterentwicklung und Produktisierung eines Dienstes für professionelle Photographen
- Administration Linux-Dienste (Webserver, Mail)
- PHP, MySQL, Apache HTTP, ImageMagick
- Entwicklung verschiedener Komponenten eines Warenwirtschaftsystems
- Datenübernahmen mit verschiedenen Datenbanksystemen (Pervasive SQL / BTrieve, MSSQL, Interbase)
- Entwicklung eines Buildsystems in Perl
- Anbindung von Delphi-Code an Tomkat / Java mittels SOAP-Service
- Delphi, Pascal, Perl, Pervasive/SQL, SOAP, Tomkat, Java, Apache Axis
Reisebereitschaft
Verfügbar in den Ländern
Deutschland und Schweiz
vor allem D6 (Raum Frankfurt) und ggf. auch im gesamten süddeutschen und schweizer Raum