Architektur, Projektmanagement, Entwicklung und Coaching im Big Data und Cloud Umfeld
Aktualisiert am 18.04.2024
Profil
Referenzen (1)
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 01.05.2024
Verfügbar zu: 80%
davon vor Ort: 50%
AWS
Apache Spark
Apache Kafka
Microservices
Scala
Elastic Search
Kubernetes
Machine Learning
Generative AI
Deutsch
Englisch
fliessend, muttersprachlich
Französisch
fliessend, muttersprachlich
Latein
kleines Latinum

Einsatzorte

Einsatzorte

Deutschland, Österreich, Schweiz

Deutschland: bevorzugt D1, D2,D5

UK: Bevorzugt London

möglich

Projekte

Projekte

5 Jahre 6 Monate
2018-10 - heute

Global data and analytics platform

Tech lead / Design Authority Spark Apache Storm Apache Flume ...
Tech lead / Design Authority

Industry: Finance

Role: Tech lead / Design Authority

Tasks: Architecture, system design, development

  • o Implement an event driven, stream processor for high frequency events on Kafka / Spark for S3
  • o Implement Redshift Spectrum / Glue Crawler based Data Lake for events with continuous schema eveolution
  • o Asses requirements and design cloud based data processing docker components with AWS ECS
  • o Design and implement Service Deployment Automation with Terraform
  • o Implement Python based Applications with AWS Lambda
  • o Implement data pipelines with AWS Kinesis and AWS SQS
  • o Migrate existing data infrstractures from relational databases and Classic Readshift to the new Data Lake
Spark Apache Storm Apache Flume Cassandra Apache Kafka Docker
ClearScore Ltd
London
1 Jahr 6 Monate
2017-05 - 2018-10

Publishing and Editing microservices platform

Tech lead / Design Authority Postgres Scala Python ...
Tech lead / Design Authority

Industry: Publishing

Role: Tech lead / Design Authority

Tasks: Architecture, system design, development

  • o Implement a micro service centric event sourced platform for a paper publication system
  • o Asses requirements and design cloud based data processing docker components with AWS ECR
  • o Design and implement Service Deployment Automation with Terraform
  • o Develop a concept for Monolith migration to microservices using strangulation pattern
  • o Implement components with TDD on Java 8 with Kinesis, Elastic Search, PostgreSQL, AWS Lambda
  • o Implement Python based Applications with AWS Lambda
  • o Implement data pipelines with AWS Kinesis and AWS SQS
  • o Refactor and migrate microservices to Docker centric deployments
Postgres Scala Python AWS Apache Kafka Kinesis Docker
Elsevier Ltd
Oxford
8 Monate
2016-10 - 2017-05

Data and Analytics platform on AWS

Lead Data Engineer Apache Kafka Apache Spark Scala ...
Lead Data Engineer

Industry: Transport

Role: Lead Data Engineer

Tasks: Architecture, system design, development

  • o Asses requirements and design a cloud-based data processing platform
  • o Design and implement Service Deployment Automation with AWS CloudFormation and Ansible
  • o Introduce and implement Apache Kafka as a message platform
  • o Implement a high volume, near real time data processing pipeline from RDBMS bin log, JMS and Kafka data sources into Redshift and AWS S3 using Apache Spark Streaming on Scala
  • o Implement real – time Geo - Tracking applications for vehicles with Elastic Search and Spark
Apache Kafka Apache Spark Scala Terraform Elastic Search
Flixbus / FlixMobility GmbH
Berlin
5 Monate
2016-07 - 2016-11

Design und Implementierung eines Streaming Systems für die Echtzeitdetektion von Anomalien und Ausfällen in Stromnetzen

Architeckt, Entwickler, Coach Spark Apache Storm Apache Flume ...
Architeckt, Entwickler, Coach

Implementierung eines Streaming Systems mit Apache Spark, Cassandra, Kafka und Flume

  • Validierung eines Apache Storm basierten - Prototyps
  • Implementierung einer Anomalie Detektion
  • Portierung des fingerprinting und des modell trainers von python (numpy/pandas) auf Spark MLlib
  • Caoching der Entwickler
Spark Apache Storm Apache Flume Cassandra Apache Kafka
Siemens AG
Nürnberg
4 Monate
2016-07 - 2016-10

Design und Implementierung eines Streaming Systems für die Echtzeitdetektion von Anomalien und Ausfällen in Stromnetzen

Architeckt, Entwickler, Coach Spark Apache Storm Apache Flume ...
Architeckt, Entwickler, Coach

Implementierung eines Streaming Systems mit Apache Spark, Cassandra, Kafka und Flume

  • Validierung eines Apache Storm basierten - Prototyps
  • Implementierung einer Anomalie Detektion
  • Portierung des fingerprinting und des modell trainers von python (numpy/pandas) auf Spark MLlib
  • Caoching der Entwickler
Spark Apache Storm Apache Flume Cassandra Apache Spark Scala
Siemens AG
Nürnberg
8 Monate
2015-12 - 2016-07

High volume tracking and web/app usage profiling

System design, development Spark Cassandra Hadoop ...
System design, development

System design, development

  • Implement probabilistic identification mechanisms for App and Web users in profiling/tracking records with Spark
  • Implement a large scale Cassandra/Spark based aggregation platform for web and app user reporting and analytics
  • Implement high volume SSTable based bulk Loading for large Cassandra Clusters
  • Implement automated AWS Elastic Map Reduce based pipelines with EMR and Spark
  • Implement Sessioning and Cookie restoration mechanisms for user tracking records

Spark Cassandra Hadoop AWS
GfK SE
Berlin, Nürnberg
1 Jahr 7 Monate
2014-06 - 2015-12

High volume data collection and profiling

Softwareentwicklung, Architektur Spark Cassandra Hadoop ...
Softwareentwicklung, Architektur

System design, development

  • Implement a streaming system for user profiling and segmentation with Apache Storm and Kafka
  • Implement data collection services with AWS auto scale for through puts of up to 50 k requests/sec
  • Implement MapReduce aggregation and processing Jobs with Scalding and batch aggregation application with Apache Spark on HDFS and HBase
  • Implement user profile storage synchronisation with Kafka, Flume, Spark and HBase
  • Build an API for real time profile and segment look ups with a Cassandra backend
  • Implement high volume SSTable based bulk Loading for large Cassandra Clusters
  • Introduce Scala and Spark / Coaching of developers
Spark Cassandra Hadoop Scalding Apache Kafka
xplosion Interactive GmbH
Hamburg
7 Monate
2015-01 - 2015-07

Real time copyright infringement detection with Storm and Kafka

Architekt Apache Storm Apache Kafka Akka ...
Architekt

System design, development

  • Refactoring und re implementation of a system for text and image analysis and plagarism detection with Apache Storm, redis and kafka
  • Implement specialized Akka – Actor components to increase throughput and performance of complex operations, scale out to 150 Mio surveyed sites / day
  • Implement Graphite based metering

Apache Storm Apache Kafka Akka Redis
dpa / Mecom GmbH
Hamburg
8 Monate
2014-08 - 2015-03

Implement a lamda processing System with Hadoop and Storm

Architekt, Entwickler Apache Storm Scalding Apache Flume ...
Architekt, Entwickler

System design, development

  • Implement MapReduce based Lambda processing system for insurance contract data processing on top of Cloudera CDH 4 with Apache Storm, Scalding, Flume and Mongo DB
  • Set up kerberized CDH Clusters for Dev and production environments in secured locations

Apache Storm Scalding Apache Flume MongoDB Hadoop
Allianz SE
München

Aus- und Weiterbildung

Aus- und Weiterbildung

Education

10/1995 ? 04/1999

Universität zu Köln, Universität Hamburg,

Computer Science

1995

Abitur, Staatliches Internat Schloß Plön

Kompetenzen

Kompetenzen

Top-Skills

AWS Apache Spark Apache Kafka Microservices Scala Elastic Search Kubernetes Machine Learning Generative AI

Produkte / Standards / Erfahrungen / Methoden

Akka
Ansible
Apache Flume
Apache Spark
Apache Storm
AWS
AWS EMR
Hadoop
Redshift
Scalding
Spark
Technologien:
Apache Hadoop, Twitter Storm, Hive auf Cloudera und Hortonworks
JEE: JSP, JSTL, Servlets, JNDI, JDBC, RMI, EJB 1.1 - 3.0 ,
JMS, JavaMail, CORBA/IDL
Sonstige: Oracle JDBC Erweiterungen, Netscape LDAP SDK,
Apple Enterprise Objects Framework (EOF),
Regular Expressions unter Java und Perl

Applikationsserver:
JBoss 4 - 5, Glassfish, Apple WebObjects ab 4, BEA WebLogic, Tomcat, iPlanet Application Server 6,
OC4J (Oracle Container for J2EE)/Orion Server, ATG Dynamo 5.6.1/6.0.0,
Websphere

Java Frameworks und Toolkits:
Hadoop, Zookeeper, ATG Dynamo Application Framework, Dynamo Personalisation, Dynamo Scenario
Apache Jserv, Jakarta Cocoon, Jakarta Struts 1 und 2, Jakarta Log4j, Jakarta Ant, Junit,
HTTPUnit und JFCUnit

Sonstiges:
PHP 3 und 4, CGI ProgrLmmierung mit Perl und mod_perl,
shell scripting unter linux und Solaris

Betriebssysteme

Docker
HPUX
Mac OS
fundierte Systemkenntnisse
OS/400
integration von OS/400 Anwendung über JavaToolBox
PalmOS
SUN OS, Solaris
fundierte Systemkenntnisse
Unix
fundierte Systemkenntnisse
Windows
fundierte Systemkenntnisse
Systemadministration:
Solaris ab 2.6, Linux seit 1.3.X - 2.4 (alle gängigen Distributinen), FreeBSD 4.X, Windows NT 4.0, MacOS (Classic)
Grundkenntnisse: HP-UX, MacOS X Server, OS/400, Cisco IOS und vielen anderen UNIX - Derivate

Programmiersprachen

C
Grundkenntnisse
Java
fundierte Kenntnisse
JavaScript
fundierte Kenntnisse
Lisp
Grundkenntnisse
Perl
gute Kenntnisse
PHP
fundierte Kenntnisse
PL/SQL
Grundkenntnisse
Python
Scala
Shell
fundierte Kenntnisse
Terraform
Sprachen:
Java (Schwerpunkt), Scala, PHP, Perl und Shell (bash,tcsh) scripting,
C (Grundkenntnisse) und Lisp (Grundkenntnisse), UML,  SQL - 92, Oracle SQL, PL/SQL (Grundkenntnisse), XML, HTML, JavaScript (ECMAScript)

Technologien:
Hadoop, Twitter Storm, Hive, JSP, Spring, EJB, JEE

Datenbanken

Access
Adabas
Cassandra
DB/400
DB2
Elastic Search
JDBC
fundierte Kenntnisse
MongoDB
MySQL
fundierte Kenntnisse
ODBC
Oracle
fundierte Kenntnisse
Postgres
Redis
SQL
fundierte Kenntnisse in SQL 92
Durchgeführte Migrationen zwischen MySQL und Oracle und Oracle und DB2. Modellierung und Design von grossen Oracle Installationen, sowie Administration und Programmierung mit PL/SQL und Java Stored Procedures.

Datenkommunikation

Apache Kafka
AppleTalk
CORBA
Ethernet
Fax
Internet, Intranet
ISDN
Kinesis
LAN, LAN Manager
NetBeui
NetBios
RFC
Router
RPC
SMTP
SNMP
TCP/IP
UUCP
Windows Netzwerk
Emailsysteme:
Sendmail, Postfix, qmail, iPlanet Messaging Server 5

Firewall und Masquerading Netzwerke
Planung und Installation von Solaris, Linux und BSD basierte Firewalls mit BIG/IP Controller, SunScreen und IPChains (bastille - firewall)

Fileserver:
NFS (Solaris, Linux), NIS (YP) unter Solaris und Linux, Samba unter Linux und AppleTalk (Netatalk) unter Linux, NT Domäne mit Samba und NT - basierte Domänen Controller

LDAP Server:
Open LDAP, Netscape Directory Server, iPlanet Directory Server 4/5

Hardware

Alpha
Ascii/X - Terminals
Drucker
Macintosh
PC
Streamer
SUN

Branchen

Branchen

Bisher bin ich für Kunden folgender Branchen tätig gewesen:
Wertpapier- und Finanzdienstleistungen, Banken und Versicherungen,
Gesetzliche Krankenversicherungen, Konsumgüter,
Medien, Reisen und Touristik, Handel, Chemie und Pharma,
Industrie, Automation

Einsatzorte

Einsatzorte

Deutschland, Österreich, Schweiz

Deutschland: bevorzugt D1, D2,D5

UK: Bevorzugt London

möglich

Projekte

Projekte

5 Jahre 6 Monate
2018-10 - heute

Global data and analytics platform

Tech lead / Design Authority Spark Apache Storm Apache Flume ...
Tech lead / Design Authority

Industry: Finance

Role: Tech lead / Design Authority

Tasks: Architecture, system design, development

  • o Implement an event driven, stream processor for high frequency events on Kafka / Spark for S3
  • o Implement Redshift Spectrum / Glue Crawler based Data Lake for events with continuous schema eveolution
  • o Asses requirements and design cloud based data processing docker components with AWS ECS
  • o Design and implement Service Deployment Automation with Terraform
  • o Implement Python based Applications with AWS Lambda
  • o Implement data pipelines with AWS Kinesis and AWS SQS
  • o Migrate existing data infrstractures from relational databases and Classic Readshift to the new Data Lake
Spark Apache Storm Apache Flume Cassandra Apache Kafka Docker
ClearScore Ltd
London
1 Jahr 6 Monate
2017-05 - 2018-10

Publishing and Editing microservices platform

Tech lead / Design Authority Postgres Scala Python ...
Tech lead / Design Authority

Industry: Publishing

Role: Tech lead / Design Authority

Tasks: Architecture, system design, development

  • o Implement a micro service centric event sourced platform for a paper publication system
  • o Asses requirements and design cloud based data processing docker components with AWS ECR
  • o Design and implement Service Deployment Automation with Terraform
  • o Develop a concept for Monolith migration to microservices using strangulation pattern
  • o Implement components with TDD on Java 8 with Kinesis, Elastic Search, PostgreSQL, AWS Lambda
  • o Implement Python based Applications with AWS Lambda
  • o Implement data pipelines with AWS Kinesis and AWS SQS
  • o Refactor and migrate microservices to Docker centric deployments
Postgres Scala Python AWS Apache Kafka Kinesis Docker
Elsevier Ltd
Oxford
8 Monate
2016-10 - 2017-05

Data and Analytics platform on AWS

Lead Data Engineer Apache Kafka Apache Spark Scala ...
Lead Data Engineer

Industry: Transport

Role: Lead Data Engineer

Tasks: Architecture, system design, development

  • o Asses requirements and design a cloud-based data processing platform
  • o Design and implement Service Deployment Automation with AWS CloudFormation and Ansible
  • o Introduce and implement Apache Kafka as a message platform
  • o Implement a high volume, near real time data processing pipeline from RDBMS bin log, JMS and Kafka data sources into Redshift and AWS S3 using Apache Spark Streaming on Scala
  • o Implement real – time Geo - Tracking applications for vehicles with Elastic Search and Spark
Apache Kafka Apache Spark Scala Terraform Elastic Search
Flixbus / FlixMobility GmbH
Berlin
5 Monate
2016-07 - 2016-11

Design und Implementierung eines Streaming Systems für die Echtzeitdetektion von Anomalien und Ausfällen in Stromnetzen

Architeckt, Entwickler, Coach Spark Apache Storm Apache Flume ...
Architeckt, Entwickler, Coach

Implementierung eines Streaming Systems mit Apache Spark, Cassandra, Kafka und Flume

  • Validierung eines Apache Storm basierten - Prototyps
  • Implementierung einer Anomalie Detektion
  • Portierung des fingerprinting und des modell trainers von python (numpy/pandas) auf Spark MLlib
  • Caoching der Entwickler
Spark Apache Storm Apache Flume Cassandra Apache Kafka
Siemens AG
Nürnberg
4 Monate
2016-07 - 2016-10

Design und Implementierung eines Streaming Systems für die Echtzeitdetektion von Anomalien und Ausfällen in Stromnetzen

Architeckt, Entwickler, Coach Spark Apache Storm Apache Flume ...
Architeckt, Entwickler, Coach

Implementierung eines Streaming Systems mit Apache Spark, Cassandra, Kafka und Flume

  • Validierung eines Apache Storm basierten - Prototyps
  • Implementierung einer Anomalie Detektion
  • Portierung des fingerprinting und des modell trainers von python (numpy/pandas) auf Spark MLlib
  • Caoching der Entwickler
Spark Apache Storm Apache Flume Cassandra Apache Spark Scala
Siemens AG
Nürnberg
8 Monate
2015-12 - 2016-07

High volume tracking and web/app usage profiling

System design, development Spark Cassandra Hadoop ...
System design, development

System design, development

  • Implement probabilistic identification mechanisms for App and Web users in profiling/tracking records with Spark
  • Implement a large scale Cassandra/Spark based aggregation platform for web and app user reporting and analytics
  • Implement high volume SSTable based bulk Loading for large Cassandra Clusters
  • Implement automated AWS Elastic Map Reduce based pipelines with EMR and Spark
  • Implement Sessioning and Cookie restoration mechanisms for user tracking records

Spark Cassandra Hadoop AWS
GfK SE
Berlin, Nürnberg
1 Jahr 7 Monate
2014-06 - 2015-12

High volume data collection and profiling

Softwareentwicklung, Architektur Spark Cassandra Hadoop ...
Softwareentwicklung, Architektur

System design, development

  • Implement a streaming system for user profiling and segmentation with Apache Storm and Kafka
  • Implement data collection services with AWS auto scale for through puts of up to 50 k requests/sec
  • Implement MapReduce aggregation and processing Jobs with Scalding and batch aggregation application with Apache Spark on HDFS and HBase
  • Implement user profile storage synchronisation with Kafka, Flume, Spark and HBase
  • Build an API for real time profile and segment look ups with a Cassandra backend
  • Implement high volume SSTable based bulk Loading for large Cassandra Clusters
  • Introduce Scala and Spark / Coaching of developers
Spark Cassandra Hadoop Scalding Apache Kafka
xplosion Interactive GmbH
Hamburg
7 Monate
2015-01 - 2015-07

Real time copyright infringement detection with Storm and Kafka

Architekt Apache Storm Apache Kafka Akka ...
Architekt

System design, development

  • Refactoring und re implementation of a system for text and image analysis and plagarism detection with Apache Storm, redis and kafka
  • Implement specialized Akka – Actor components to increase throughput and performance of complex operations, scale out to 150 Mio surveyed sites / day
  • Implement Graphite based metering

Apache Storm Apache Kafka Akka Redis
dpa / Mecom GmbH
Hamburg
8 Monate
2014-08 - 2015-03

Implement a lamda processing System with Hadoop and Storm

Architekt, Entwickler Apache Storm Scalding Apache Flume ...
Architekt, Entwickler

System design, development

  • Implement MapReduce based Lambda processing system for insurance contract data processing on top of Cloudera CDH 4 with Apache Storm, Scalding, Flume and Mongo DB
  • Set up kerberized CDH Clusters for Dev and production environments in secured locations

Apache Storm Scalding Apache Flume MongoDB Hadoop
Allianz SE
München

Aus- und Weiterbildung

Aus- und Weiterbildung

Education

10/1995 ? 04/1999

Universität zu Köln, Universität Hamburg,

Computer Science

1995

Abitur, Staatliches Internat Schloß Plön

Kompetenzen

Kompetenzen

Top-Skills

AWS Apache Spark Apache Kafka Microservices Scala Elastic Search Kubernetes Machine Learning Generative AI

Produkte / Standards / Erfahrungen / Methoden

Akka
Ansible
Apache Flume
Apache Spark
Apache Storm
AWS
AWS EMR
Hadoop
Redshift
Scalding
Spark
Technologien:
Apache Hadoop, Twitter Storm, Hive auf Cloudera und Hortonworks
JEE: JSP, JSTL, Servlets, JNDI, JDBC, RMI, EJB 1.1 - 3.0 ,
JMS, JavaMail, CORBA/IDL
Sonstige: Oracle JDBC Erweiterungen, Netscape LDAP SDK,
Apple Enterprise Objects Framework (EOF),
Regular Expressions unter Java und Perl

Applikationsserver:
JBoss 4 - 5, Glassfish, Apple WebObjects ab 4, BEA WebLogic, Tomcat, iPlanet Application Server 6,
OC4J (Oracle Container for J2EE)/Orion Server, ATG Dynamo 5.6.1/6.0.0,
Websphere

Java Frameworks und Toolkits:
Hadoop, Zookeeper, ATG Dynamo Application Framework, Dynamo Personalisation, Dynamo Scenario
Apache Jserv, Jakarta Cocoon, Jakarta Struts 1 und 2, Jakarta Log4j, Jakarta Ant, Junit,
HTTPUnit und JFCUnit

Sonstiges:
PHP 3 und 4, CGI ProgrLmmierung mit Perl und mod_perl,
shell scripting unter linux und Solaris

Betriebssysteme

Docker
HPUX
Mac OS
fundierte Systemkenntnisse
OS/400
integration von OS/400 Anwendung über JavaToolBox
PalmOS
SUN OS, Solaris
fundierte Systemkenntnisse
Unix
fundierte Systemkenntnisse
Windows
fundierte Systemkenntnisse
Systemadministration:
Solaris ab 2.6, Linux seit 1.3.X - 2.4 (alle gängigen Distributinen), FreeBSD 4.X, Windows NT 4.0, MacOS (Classic)
Grundkenntnisse: HP-UX, MacOS X Server, OS/400, Cisco IOS und vielen anderen UNIX - Derivate

Programmiersprachen

C
Grundkenntnisse
Java
fundierte Kenntnisse
JavaScript
fundierte Kenntnisse
Lisp
Grundkenntnisse
Perl
gute Kenntnisse
PHP
fundierte Kenntnisse
PL/SQL
Grundkenntnisse
Python
Scala
Shell
fundierte Kenntnisse
Terraform
Sprachen:
Java (Schwerpunkt), Scala, PHP, Perl und Shell (bash,tcsh) scripting,
C (Grundkenntnisse) und Lisp (Grundkenntnisse), UML,  SQL - 92, Oracle SQL, PL/SQL (Grundkenntnisse), XML, HTML, JavaScript (ECMAScript)

Technologien:
Hadoop, Twitter Storm, Hive, JSP, Spring, EJB, JEE

Datenbanken

Access
Adabas
Cassandra
DB/400
DB2
Elastic Search
JDBC
fundierte Kenntnisse
MongoDB
MySQL
fundierte Kenntnisse
ODBC
Oracle
fundierte Kenntnisse
Postgres
Redis
SQL
fundierte Kenntnisse in SQL 92
Durchgeführte Migrationen zwischen MySQL und Oracle und Oracle und DB2. Modellierung und Design von grossen Oracle Installationen, sowie Administration und Programmierung mit PL/SQL und Java Stored Procedures.

Datenkommunikation

Apache Kafka
AppleTalk
CORBA
Ethernet
Fax
Internet, Intranet
ISDN
Kinesis
LAN, LAN Manager
NetBeui
NetBios
RFC
Router
RPC
SMTP
SNMP
TCP/IP
UUCP
Windows Netzwerk
Emailsysteme:
Sendmail, Postfix, qmail, iPlanet Messaging Server 5

Firewall und Masquerading Netzwerke
Planung und Installation von Solaris, Linux und BSD basierte Firewalls mit BIG/IP Controller, SunScreen und IPChains (bastille - firewall)

Fileserver:
NFS (Solaris, Linux), NIS (YP) unter Solaris und Linux, Samba unter Linux und AppleTalk (Netatalk) unter Linux, NT Domäne mit Samba und NT - basierte Domänen Controller

LDAP Server:
Open LDAP, Netscape Directory Server, iPlanet Directory Server 4/5

Hardware

Alpha
Ascii/X - Terminals
Drucker
Macintosh
PC
Streamer
SUN

Branchen

Branchen

Bisher bin ich für Kunden folgender Branchen tätig gewesen:
Wertpapier- und Finanzdienstleistungen, Banken und Versicherungen,
Gesetzliche Krankenversicherungen, Konsumgüter,
Medien, Reisen und Touristik, Handel, Chemie und Pharma,
Industrie, Automation

Vertrauen Sie auf GULP

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das GULP Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.