Java Software Entwicklung und Architektur: Big Data, Hadoop, NoSQL, Data engineering, Suchmaschinen, Information retrieval, Machine learning, Linux

Architektur und Entwicklung einer Data Management Platform (DMP) zur Verarbeitung von Click-Stream Daten und zur User-Segmentierung.

Aufgaben:

Konzeption und Implementierung einer Lambda-Architektur zur skalierbaren Aufnahme von Click-Stream Daten und Erstellung von Audience-Segmenten auf einem Kubernetes Cluster, mit folgenden Schwerpunkten:

• Streaming-Pipeline zur Aufnahme, Transformation, Validierung & Filterung und Persistierung von Click-Stream Daten. (Spring Boot 2, Microservices, Kubernetes, S3, Kafka)
• Spark-basierende Batch-Jobs zur Ermittlung von Cookie-
  Labels und Berechnung der Segmente mit verschiedenen Auspr¨agungen und verschiedenen Wahrscheinlichkeiten (Cassandra, Spark, S3, Kafka).
• Indizierung der Segmente zur schnellen Berechnung der Kardinalit ¨ at von kombinierten Audience-Segmenten (Spark, ElasticSearch, Spring Boot 2, Cassandra, Kafka).
• Entwicklung und Anpassung verschiedener Helm-Charts für die SB-Microservices und Tech-Infrastruktur (Helm, Kubernetes, Cassandra, ElasticSearch, Kafka, Zookeeper, Prometheus, Grafana).

• Entwicklung einer skalierbaren Pipeline zur Aufnahme, Verarbeitung und Auslieferung von Massen-Bilddaten
• Entwicklung der neuen, zentralen Plattform und Pipelines zur Verarbeitung und Auslieferung von Bildern und Metadaten. Aufgaben waren unter Anderem:
  • Erstellung diverser Spark-Streaming Jobs (Kafka/
    Hbase/SolR/HDFS), z.B. query-basierende (SolR)
    Auslieferung von skalierten und annotierten Bildern,
    Metadaten(re)indizierung, Aufnahme von neuen Metadaten.
  • Erstellung einer skalierbaren, Spring-Boot basierenden
    Server-Applikation zum Prozessieren (Validierung, Normalisierung, Standardisierung, Skalierung), Indizieren (Metadaten) und Persistieren von Bildern.
  • Erstellung einer Spring-Boot basierenden Client-Applikation
    zum Erfassen und U¨ bertragen der Bilder.
  • Anbindung von deep-learning basierenden subflows zur Metadatengenerierung.
  • Anbindung von legacy subflows mit Bildern und Metadaten.
  • Docker-compose basierendes Test- und Produktivenvironment mit diversen images/container (HBase, Kafka, SolR, Zookeeper, Consul, Grafana, Prometheus, Zookeeper).

Entwicklung eines Produktes zur Verarbeitung großer Datenmengen im Kontext AdTech/Market Research

• Verarbeitung von großen Datenmengen im Kontext von AdTech und Market Research (Details unter NDA):

• Requirements engineering mit Anforderungen von Produktmanagern und Data Scientists, Erarbeitung von verschiedenen Lösungskonzepten und eines Technologiestacks für die technische Realisierung
• Design, Implementierung, Build, Dokumentation, Test, Deployment, Troubleshooting und Ende-zu-Ende Mo-
  nitoring einer big-data Lösung, die täglich mehrere TBs auf-
  nimmt und verarbeitet (Java Spark, AWS (EMR, EC2, S3, Glacier, DynamoDB, CloudWatch), Atlassian Tool Suite (Stash, Bamboo))
• Operationalisierung von prototypischen ML Methoden, die durch das GfK Data Science Team entwickelt wurden (R → Java Spark, PySpark, SparkMLlib)
• Vorantreiben des Feature-Engineering Prozesses in enger Zusammenarbeit mit dem Data-Science Team und Anbindung und Integration neuer Datenquellen (Java Spark, PySpark, S3)
• Unterstützung bei Daten-Integrationsaufgaben in Abstimmung mit Engineering Teams von Fremdfirmen.

• PaaS: Kundenspezifischer vertikaler Webcrawler und Dataminer
• Entwicklung und Architektur einer PaaS:
  • Kundenspezifischer Webcrawler und Dataminer
  • Vertikale SE
  • Crawling und Indizierung von URLs und Domains
  • Graph-, NLP-, ML- und Regexbasierendes Datamining
  • REST-basierende Webservices.

• Entwicklung advertiser campaign setup tool mit feingranularer, zielgruppengenauer Werbeausspielung
• Data analysis und enrichment und von Double Click Campaign Manager (DCM) Daten und proprietären Datenquellen:
  • Erzeugung von diversen custom audiences (Spark / EMR / S3/ Parquet) für Kampagnenausspielung in DoubleClick for Publishers (DFP)
  • Implementierung eines auktionsbasierenden forecast-Mechanismus (probabilistische counter) zur CPM-Maximierung, unter Berücksichtigung von konkurrierenden Kampagnen und überlappenden audience-Segmenten.
  • Implementierung einer Spring-Boot-Applikation zur Kommunikation und Weitergabe von analysis data an das Frontend (docker, REST, Swagger, Spring Boot, stups, aws cloud). Entwicklung von diversen data analysis jobs (produktiv und prototypisch) zur Bestimmung von Kontrollgruppen (und uplifts), similar brands, Visitor-Aggregationen, Cookie-Alignment (Spark/EMR/S3/Parquet).

Rollout Hortonworks BD Cluster für Data Scientists

• Testdeployment einer Big data Infrastruktur (Hortonworks, Ambari, Docker, Vagrant, Bash). Finale Planung für die Provisionierung des Clusters (Rechtemanagement, Security (Firewall), Authentifizierung und Autorisierung, Directory Services Anbindung (AD/LDAP/Kerberos), Terminal Server, sichere Einbindung von Softwarekomponenten und Repositories)
• Training und Beratung der Data scientists zur horizontalen Skalierung von single/shared memory Implementierungen (Spark, Hive, Hadoop/Yarn) und zum Einsatz von Continuos integration (Git, Jenkins).

Entwicklung einer hochskalierbaren semantischen Middleware

• Entwicklung und Architektur einer big-data Plattform zur dynamischen Vernetzung und Analyse unstrukturierter Daten.
• Entwicklung der inkrementellen Algorithmik (NLP, hazelcast MR, elasticsearch, Cassandra); Analyse, Transformation und Persistierung der abgeleiteten Daten in eine verteilte Graphdatenbank (Titan, Gremlin, Tinkerpop/Blueprints)
• Entwicklung von performanten Batch-jobs (Hadoop MR, Faunus, TitanHadoop).

Architektur und Entwicklung einer spezialisierten und verteilten Suchmaschinenanwendung für SEO-Dienstleistungen

Suchmaschine:

• Crawling
• Parsing
• Indexing mit Hadoop/Map-Reduce-Jobs
• Storage in HDFS u. HBase (content)
• Cassandra (links, tld-zonefiles(domains))
• Index mit ElasticSearch (diverse doctypes, mappings und indexes)

Frontend:

Entwicklung des Frontends mit GWT

Backend:

• Dienste als GWT RPC Services und Servlets (REST)
• Datenbankanbindung der Client/User-Daten
• Security, Login, Textprocessing mit CoreNLP und Weka
• Mailing

Client-App:

• Entwicklung einer Desktop-Applikation mit Java FX
• Browsersteuerung via Selenium
• Backend-Kommunikation via JSON/servlets
• Steuerung mehreren Browser- Instanzen
• Lokale Datenverwaltung mit SQLite
• Schneller Crawler für client URLs

Beschaffung, Aufbau und Administrierung eines Linux HPC-Clusters (shared und distributed memory, grid).

Entwicklung eines parallelen, partikelbasierenden Multiphysik- Simulators für die numerische Charakterisierung und Analyse schwingender Tropfen

• Entwicklung eines effizienten, partikelbasierenden Multiphysik-Simulators im DFG-Projekts “Electrowetting-Simulation mit Partikelmethoden”:
  
  • numerische Simulation von kleinen Tropfen, welche
    mittels elektrischer Felder bewegt werden

Schwerpunkte:

• diskrete Simulation
• physikalische Modellbildung
• numerische Charakterisierung
• scientific computing

Implementierung:

• modulare Klassenhierarchien für Kräfte, Integratoren, Paarlistenberechnung und Interaktoren
• Adaptivität und verschiedene solver für die Lösung von linearen Gleichungssystemen. Optimierter und parallelisierter Code

Entwicklung von Modulen für ein partikelbasierendes Simulatoren- Framework

• Kopplung an Finite-Elemente Löser, effiziente Lösung schwachbesetzter lineare Gleichungssysteme
• Partikel-Feld-Kopplung für Navier-Stokes-Gleichungen und Elektrostatik
• Kopplung von mesoskopischer und makroskopischer Skala.

• Entwicklung und Erweiterung eines proprietären semicustom Designflows (Java, Perl, C)
• Reporting, Versionierung (CVS, SVN) und Issuetracking (bugzilla)
• Erarbeitung des Flowschnittstellendesigns
• Multisite Daten-Management und -Releasing
• Versionskontrolle der Flow-Daten
• EDA-Tool-Einbindung
• hierarchische XML-basierende Konfiguration
• Erstellung von Dokumentation (Manuals, Man-Pages, Javadoc) und Tests (JUnit, Perl)

Entwicklung eines performanten SystemC-Simulators für den Mikrocontroller m8051ew mit vollständiger Abdeckung des Microcodes/Befehlssatzes

• Migration/Entwicklung einer Online-Datenbank (PHP ! Java Server Faces, TXT ! MySQL/Oracle) für die Projekteverwaltung
• Erweiterung einer webbasierten Designflow-Projekte-Datenbank zur übergreifenden Dokumentation von Teilprojekten, Releases/IPs und automatisierter Validierung (Perl/Python-Scripts).

• Implementierung von Modellen mit der Finite Elemente und Finite Volumen Methode
• Implementierung einer mesoskaligen Partikel-Feld Kopplung

Entwicklung einer GUI, Implementierung verschiedener Klassen für die Berechnung und Darstellung von Geo-Daten

• Entwicklung und Migration einer Anwendung für Simulationsdaten
• Import, Verarbeitung und Export von Geometrie und Meßpunkten von ANSYS-Simulationsdaten (Pre/Post-Processing)

• Mitarbeit in der Entwicklung von Leit- / Prozeßsteuerungssoftware

• Windows unattended setup für autonome, gesicherte SBSysteme/Terminals für verschiedene Zielapplikationen
• Entwicklung von DLLs (MFC) und Einbindung mittels proprietärer Makros.