Andreas Petter verfügbar

Andreas Petter

BigData Berater und Entwickler mit Scala / Java

verfügbar
Profilbild von Andreas Petter BigData Berater und Entwickler mit Scala / Java aus Nidderau
  • 61130 Nidderau Freelancer in
  • Abschluss: Dr.-Ing. (Informatik) | Dipl.-Inform. (mit Auszeichnung)
  • Stunden-/Tagessatz:
  • Sprachkenntnisse: deutsch (Muttersprache) | englisch (verhandlungssicher) | französisch (Grundkenntnisse)
  • Letztes Update: 23.06.2020
SCHLAGWORTE
SKILLS
Programmiersprachen
  • Objektorientert / Imperativ
    • Scala (Experte), Java (Experte), Python, PHP, Perl, JavaScript, Delphi, Pascal, C
       
  • Funktional / Mathematisch / Deklarativ
    • Scala (Experte), QVT Relations (Experte), R, Prolog / Eclipse (CLP), Pari
       
  • Tools und Vorgehensweisen
    • Docker, Scala-IDE, Eclipse, Git, SVN, CVS, Maven, SBT, Bash, Make, Delphi-IDE, Redmine, Scrum, TDD, Pair Programming
       
  • Frameworks (kleiner Auszug, sonst nicht in Skills genannt)
    • JBoss Wildfly, JavaMail, Apache Cocoon, XSLT (Xalan), Apache Thrift
BigData
  • Systeme zur verteilten Berechnung
    • Batch Verarbeitungssysteme: Apache Spark, Apache Hadoop, Lambda Architectures
    • Frameworks zur verteilen Berechnung: MapReduce, Hive, Scalding, Summingbird, Cascading
    • Streaming Verarbeitungssysteme: Kafka Streams, Spark Streaming, Apache NiFi, Apache Storm
       
  • Cluster Resource Manager: YARN, (Mesos)
     
  • Verteile Speichersysteme: HDFS
     
  • Discovery Tools: R, Zeppelin
     
  • Machine Learning
    • Regression: Random Forests / Support Vector Regression
    • Classification: Random Forests
    • Clustering: k-Means
Datenbanken und Queueing
  • NoSQL
    • Apache Cassandra (Experte)
    • div. Zugriffsschichten auf NoSQL, z.B. Datastax Cassandra Driver (Experte), Twitter Storehaus (Experte), Hector, Knox
    • HBase
       
  • Relationale Datenbanken
    • div. Zugriffsschichten JDBC, JPA, Hibernate, ScalikeJDBC, Slick
    • div. DBMS MySQL, Oracle, H2, ...
    • div. Tools wie Squirrel, Toad, ...
Betriebssysteme
  • Linux (inkl. Administration), MacOS/X, Windows
PROJEKTHISTORIE
2016-heute DWH Entwickler (Telefónica / O2, Freiberufler)
  • Entwicklung diverser Jobs in Spark, Hive, Hadoop, Oracle, Sqoop, Kafka Streams
  • Entwicklung verschiedener Archetypen für die Entwicklung von Jobs im DWH (Spark, Spark Streaming, MapReduce, Scala, Java, Maven)
  • Erstellen eines Entwicklungsprozesses zur Entwicklung von Big Data /  Spark / Spark Streaming / Mapreduce / Hadoop - Jobs
  • Aufsetzen einer Build- und Test- Infrastruktur für die Big Data Jobs (Continuous Integration, Repositories)
  • Entwicklung von Bibliotheken, z.B. Hive Streaming API mit Spark Streaming
  • Sicherheit von Daten in Hadoop im Entwicklungsprozess
  • Nutzung von Spark, Kafka Streams, Hive, Kubernetes, Hortonworks, Hadoop, Scala, Java 8, Python, PL/SQL, ...
01/2018-09/2018 Big Data Entwickler (Daimler / Car2Go, Freiberufler)
  • Entwicklung von Komponenten einer Ingestion Pipeline für Daten
  • Integration von Kafka Streams Applikationen für die Transformation von DSGVO / GDPR relevanten Daten mit dem Ziel diese datenschutzkonform aufbewahren zu können
  • Entwicklung in Scala mit Docker und Kubernetes
  • Streaming Ansatz zur Bereitstellung von Daten nahezu in Echtzeit
2015-2016 Lambda-Architektur-Framework, "Scray" (Seeburger AG, teilweise als Freiberufler)
  • Framework zur Erstellung von Lambda-Architekturen in Scala
  • Basiert auf Apache Spark
  • Bibliothek für Versionsverwaltung von Batches und Online-Jobs
  • Kompletter Serving Layer inkludiert
  • Apache Spark, Apache Hadoop, YARN, Maven, Apache Cassandra, MapDB, ScalikeJDBC, Scala, Lambda Architekturen, Thrift, Twitter Stack, Summingbird, Datastax Driver, Spark Streaming
2014-2016 B2B-Monitoring-Projekt mit großem Energieversorger (Seeburger AG, RWE)
  • Datenspeicher für B2B-Nachrichten (und Administration) mit Apache Cassandra
  • Vergleich Oracle und Cassandra, Code ist nun Open Source
  • Scray, Docker, Apache Spark, Apache Cassandra, Scala, R, Spark MLlib, Java
2011-2013 Smart-Metering-Projekt (Seeburger AG, Utilities)
  • Speichern und Abrufen von Daten aus NoSQL, Apache Cassandra
  • Verarbeitung von Energiedaten von Haushalten mit Smart Metern mittels Hadoop und Storm
  • Vorhersage von Stromverbräuchen mit Machine Learning (Support Vector Regression / SVM / SVR)
  • Webapplikation zur Anzeige der Energiedaten und Endkundenenergiehandel (Photovoltaikstrom)
  • Apache Hadoop, MapReduce, Apache Storm, Summingbird, Lambda Architektur, Tomkat, Vaadin, Java
2005 Internet-Photographendienst (Selbstständig)
  • Weiterentwicklung und Produktisierung eines Dienstes für professionelle Photographen
  • Administration Linux-Dienste (Webserver, Mail)
  • PHP, MySQL, Apache HTTP, ImageMagick
2003-2004 Warenwirtschaftsystem (Brandt & Partner GmbH (Consulting), SBH)
  • Entwicklung verschiedener Komponenten eines Warenwirtschaftsystems
  • Datenübernahmen mit verschiedenen Datenbanksystemen (Pervasive SQL / BTrieve, MSSQL, Interbase)
  • Entwicklung eines Buildsystems in Perl
  • Anbindung von Delphi-Code an Tomkat / Java mittels SOAP-Service
  • Delphi, Pascal, Perl, Pervasive/SQL, SOAP, Tomkat, Java, Apache Axis
ZEITLICHE UND RÄUMLICHE VERFÜGBARKEIT
vor allem D6 (Raum Frankfurt) und ggf. auch im gesamten süddeutschen und schweizer Raum
 
KONTAKTANFRAGE VERSENDEN

Nachricht:

Absenderdaten: