AP

Andreas Petter

verfügbar

Letztes Update: 01.11.2023

BigData Berater und Entwickler mit Scala / Java

Firma: PetterSystems Informatikberatung
Abschluss: Dr.-Ing. (Informatik) | Dipl.-Inform. (mit Auszeichnung)
Stunden-/Tagessatz: anzeigen
Sprachkenntnisse: deutsch (Muttersprache) | englisch (verhandlungssicher) | französisch (Grundkenntnisse)

Skills

Programmiersprachen
  • Objektorientert / Imperativ
    • Scala (Experte), Java (Experte), Python, PHP, Perl, JavaScript, Delphi, Pascal, C
       
  • Funktional / Mathematisch / Deklarativ
    • Scala (Experte), QVT Relations (Experte), R, Prolog / Eclipse (CLP), Pari
       
  • Tools und Vorgehensweisen
    • Docker, Scala-IDE, Eclipse, Git, SVN, CVS, Maven, SBT, Bash, Make, Delphi-IDE, Redmine, Scrum, TDD, Pair Programming
       
  • Frameworks (kleiner Auszug, sonst nicht in Skills genannt)
    • JBoss Wildfly, JavaMail, Apache Cocoon, XSLT (Xalan), Apache Thrift
BigData
  • Systeme zur verteilten Berechnung
    • Batch Verarbeitungssysteme: Apache Spark, Apache Hadoop, Lambda Architectures
    • Frameworks zur verteilen Berechnung: MapReduce, Hive, Scalding, Summingbird, Cascading
    • Streaming Verarbeitungssysteme: Kafka Streams, Spark Streaming, Apache NiFi, Apache Storm
       
  • Cluster Resource Manager: YARN, (Mesos)
     
  • Verteile Speichersysteme: HDFS
     
  • Discovery Tools: R, Zeppelin
     
  • Machine Learning
    • Regression: Random Forests / Support Vector Regression
    • Classification: Random Forests
    • Clustering: k-Means
Datenbanken und Queueing
  • NoSQL
    • Apache Cassandra (Experte)
    • div. Zugriffsschichten auf NoSQL, z.B. Datastax Cassandra Driver (Experte), Twitter Storehaus (Experte), Hector, Knox
    • HBase
       
  • Relationale Datenbanken
    • div. Zugriffsschichten JDBC, JPA, Hibernate, ScalikeJDBC, Slick
    • div. DBMS MySQL, Oracle, H2, ...
    • div. Tools wie Squirrel, Toad, ...
Betriebssysteme
  • Linux (inkl. Administration), MacOS/X, Windows

Projekthistorie

2016-heute DWH Entwickler (Telefónica / O2, Freiberufler)
  • Entwicklung diverser Jobs in Spark, Hive, Hadoop, Oracle, Sqoop, Kafka Streams
  • Entwicklung verschiedener Archetypen für die Entwicklung von Jobs im DWH (Spark, Spark Streaming, MapReduce, Scala, Java, Maven)
  • Erstellen eines Entwicklungsprozesses zur Entwicklung von Big Data /  Spark / Spark Streaming / Mapreduce / Hadoop - Jobs
  • Aufsetzen einer Build- und Test- Infrastruktur für die Big Data Jobs (Continuous Integration, Repositories)
  • Entwicklung von Bibliotheken, z.B. Hive Streaming API mit Spark Streaming
  • Sicherheit von Daten in Hadoop im Entwicklungsprozess
  • Nutzung von Spark, Kafka Streams, Hive, Kubernetes, Hortonworks, Hadoop, Scala, Java 8, Python, PL/SQL, ...
01/2018-09/2018 Big Data Entwickler (Daimler / Car2Go, Freiberufler)
  • Entwicklung von Komponenten einer Ingestion Pipeline für Daten
  • Integration von Kafka Streams Applikationen für die Transformation von DSGVO / GDPR relevanten Daten mit dem Ziel diese datenschutzkonform aufbewahren zu können
  • Entwicklung in Scala mit Docker und Kubernetes
  • Streaming Ansatz zur Bereitstellung von Daten nahezu in Echtzeit
2015-2016 Lambda-Architektur-Framework, "Scray" (Seeburger AG, teilweise als Freiberufler)
  • Framework zur Erstellung von Lambda-Architekturen in Scala
  • Basiert auf Apache Spark
  • Bibliothek für Versionsverwaltung von Batches und Online-Jobs
  • Kompletter Serving Layer inkludiert
  • Apache Spark, Apache Hadoop, YARN, Maven, Apache Cassandra, MapDB, ScalikeJDBC, Scala, Lambda Architekturen, Thrift, Twitter Stack, Summingbird, Datastax Driver, Spark Streaming
2014-2016 B2B-Monitoring-Projekt mit großem Energieversorger (Seeburger AG, RWE)
  • Datenspeicher für B2B-Nachrichten (und Administration) mit Apache Cassandra
  • Vergleich Oracle und Cassandra, Code ist nun Open Source
  • Scray, Docker, Apache Spark, Apache Cassandra, Scala, R, Spark MLlib, Java
2011-2013 Smart-Metering-Projekt (Seeburger AG, Utilities)
  • Speichern und Abrufen von Daten aus NoSQL, Apache Cassandra
  • Verarbeitung von Energiedaten von Haushalten mit Smart Metern mittels Hadoop und Storm
  • Vorhersage von Stromverbräuchen mit Machine Learning (Support Vector Regression / SVM / SVR)
  • Webapplikation zur Anzeige der Energiedaten und Endkundenenergiehandel (Photovoltaikstrom)
  • Apache Hadoop, MapReduce, Apache Storm, Summingbird, Lambda Architektur, Tomkat, Vaadin, Java
2005 Internet-Photographendienst (Selbstständig)
  • Weiterentwicklung und Produktisierung eines Dienstes für professionelle Photographen
  • Administration Linux-Dienste (Webserver, Mail)
  • PHP, MySQL, Apache HTTP, ImageMagick
2003-2004 Warenwirtschaftsystem (Brandt & Partner GmbH (Consulting), SBH)
  • Entwicklung verschiedener Komponenten eines Warenwirtschaftsystems
  • Datenübernahmen mit verschiedenen Datenbanksystemen (Pervasive SQL / BTrieve, MSSQL, Interbase)
  • Entwicklung eines Buildsystems in Perl
  • Anbindung von Delphi-Code an Tomkat / Java mittels SOAP-Service
  • Delphi, Pascal, Perl, Pervasive/SQL, SOAP, Tomkat, Java, Apache Axis

Reisebereitschaft

Verfügbar in den Ländern Deutschland und Schweiz
vor allem D6 (Raum Frankfurt) und ggf. auch im gesamten süddeutschen und schweizer Raum
Profilbild von Andreas Petter BigData Berater und Entwickler mit Scala / Java aus Nidderau BigData Berater und Entwickler mit Scala / Java
Registrieren