Softwareentwickler/Systemarchitekt mit Schwerpunkt verteilte Systeme ? Data, Cloud & Container
Aktualisiert am 13.05.2024
Profil
Referenzen (1)
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 01.09.2024
Verfügbar zu: 100%
davon vor Ort: 25%
Cloud, Data, Container
Deutsch
Muttersprache
Englisch
fließend, Arbeitsumgebung Englisch für 5 Jahre

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
Ich stehe für meine Kunden weltweit zur Verfügung, bisherige Projekterfahrung im Ausland u.a. in Belgien, Schweiz, Canada, China, Singapore, USA.
möglich

Projekte

Projekte

9 Monate
2023-09 - heute

Unterstützungs- und Beratungsdienstleistungen im Rahmen einer Data Warehouse Implementierung

Consultant, Data Engineer
Consultant, Data Engineer
  • Beratung Datenmodell, ETL Strecken

  • Konzeption und Umsetzung mehrerer ETL Strecken

  • Wissenstransfer interner Mitarbeiter

AWS Cloud Java Spring GitLab Docker
2 Jahre 4 Monate
2021-07 - 2023-10

Unterstützung Migration eines Data Warehouse in die Cloud

Solution Architect
Solution Architect
  • Konzeption und Umsetzung eines Data Ware House mittels LakeFormation und Glue Catalog

  • Konzeption und Umsetzung mehrerer GitLab CI/CD Pipelines zum Testen und Ausrollen backend basierter Prozesse

  • Schulung und Wissenstransfer interner Mitarbeiter

AWS Cloud Docker Glue LakeFormation GitLab AWS Glue
2 Jahre 7 Monate
2020-06 - 2022-12

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Nutzerdaten

Solution Architect, Data Engineer
Solution Architect, Data Engineer

·       Konzeption und Umsetzung Cloud Infrastruktur zum Aufbau eines Data Warehouse

·       Integration von Airflow als Workflow Engine

·       Integration Google Spark K8s Operator als Laufzeitumgebung für ETL Prozesse

·       Aufbau eines Teams zur Umsetzung von ETL Prozesse

·       Beratung allg. Datenarchitektur

AWS Cloud Kubernetes Docker Spark Terraform Python Kustomize
1 Jahr 3 Monate
2019-01 - 2020-03

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Fahrzeugdaten, Aufbau Data Science Umgebung

Solution Architect , Data Engineer
Solution Architect , Data Engineer

·       Erweiterung und Produktivsetzung eines Prototypen zur Massendatenverarbeitung

·       Aufbau und Inbetriebnahme einer CI/CD Pipeline

·       Konzeption, Umsetzung & Deployment Backend API inkl. Helm Chart

·       Konzeption & Umsetzung Projektstruktur, Release Management

·       Aufbau ETL Strecke zur Datenvalidierung und ?vereinnahmung

AWS Cloud Lambda IAM Kubernetes Docker Terraform Python ElasticSearch LogStash Kibana Helm Charts
Volkswagen AG
5 Monate
2019-08 - 2019-12

Konzeption und Umsetzung Infrastruktur zur Sensordatenverarbeitung, Erweiterung einer bestehenden Data Sciene Umgebung

Solution Architect
Solution Architect

·       Beratung hinsichtlich Konzeption und Werkzeuge zum Aufbau einer Kubernetes basierten Infrastruktur zur Sensordatenverarbeitung

·       Konzeption und Aufbau Infrastruktur auf Kubernetes (Kafka Cluster, Spark Framework, Zookeeper, ZK Manager)

·       Konzeption und Aufbau ETL Strecke zur Datenvereinnahmung

·       Konzeption und Aufbau CI/CD Pipeline mit Bamboo & Kubernetes

AWS Cloud Kubernetes Kafka Spark Bamboo Java Docker Helm Charts InfluxDB
D. Swarovski KG
1 Jahr 8 Monate
2017-05 - 2018-12

Unterstützung Konzeption und Umsetzung einer Micro Service Architektur

System Architect
System Architect
  • Abstimmung und Koordination div. Teams bzgl. Technologieeinsatz
  • Unterstützung Konzeption zentraler Elemente (De/Serializer, Data Pipe Design, Error Handling, Message Handling, Datenbank Design)
  • Einführen von Kafka als zentralen Message Bus für Micro Services
  • Einführen von LiquiBase zum Datenbank Schema Management
  • Fachlich / technische Betreuung eines konkreten Micro Service
Micro Services Java Docker Kafka LiquiBase IT Architektur allg
aixigo AG
1 Jahr 2 Monate
2017-10 - 2018-11

Konzeption und Umsetzung eines cloud basierten Data Ware House / Data Science Umgebung

Solution Architect, Data Engineer
Solution Architect, Data Engineer

·       Konzeption eines dynamisch skalierbaren Data Ware House

·       Umsetzung Infrastruktur in Terraform (Infrastructure as Code)

·       Umsetzung Infrastruktur Komponenten in Kubernetes

·       Modellierung DWH & Datenablage

·       Aufbau ETL Strecken zur Datenvereinnahmung

AWS Cloud Kubernetes Spark R NiFi Terraform Docker Jupyter NB
D. Swarovski KG
8 Monate
2017-01 - 2017-08

Konzeption und Umsetzung Big Data Warehouse

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Technische Projektleitung
  • Konzeption AWS Cloud Infrastruktur
  • Implementierung Data Pipelines
  • Aufbau Data Warehouse / Workflow Management
  • Datenaufbereitung / Prozessmanagement
Spark SparkR Hadoop Hive Jupyter AWS Cloud R Bamboo Terraform
GfK SE
1 Monat
2017-03 - 2017-03

Unterstützung bei der Evaluierung von Anbietern im Bereich Big Data

Requirements Engineer, Solution Architect
Requirements Engineer, Solution Architect
  • Erfassung und Dokumentation der technischen und fachlichen Anforderungen zum Aufbau und Betrieb eines auf Apache Hadoop basierenden Data Warehouse
  • Einholen von Angeboten verschiedener Anbieter, Aufbereitung der Informationen zur Entscheidungsfindung
  • Implementierung eines Prototyps zur Datenvereinnahmung
Hortonworks Cloudera SAP Cloud Apache NiFi AWS Cloud MS Azure
Open Grid Europe GmbH
7 Monate
2016-06 - 2016-12

Architekturreview und Konzeption und Implementierung Streaming Layer

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Review und Bewertung vorhandene Architektur und Datenmodell
  • Durchführung Workshop Datenmanagement / Lambda Architektur
  • Konzeption und Implementierung Realtime Layer mit Spark RT
  • Erarbeitung Konzept und Umsetzung für die Integration von Realtime Layer und Batch Layer
Hadoop Spark AWS Cloud Scala MapReduce JCascalog RedShift
Helix Leisure Pte Ltd
1 Monat
2016-10 - 2016-10

Workshop Big Data Technologien ? Einführung und Funktionsweise

Data Engineer
Data Engineer
  • Durchführung eines 3-tägigen Workshops
  • Einführung in Big Data/Hadoop Ökosystem
  • Praktische Übung Big Data Einsatz in der AWS Cloud
Hadoop Spark AWS Cloud MapReduce Hive Pig R
Universitätsspital Basel
5 Jahre 7 Monate
2011-03 - 2016-09

Konzeption und Entwicklung einer Webapplikation

Founder, Solution Architect, Data & Software Engineer,
Founder, Solution Architect, Data & Software Engineer,

Konzeption und Entwicklung einer Webapplikation (LambdaNow)

  • Konzeption der Anwendung
  • Implementierung von Webseite und Backend
  • Einrichten Deployment Prozess + Hosting Umgebung
  • Einrichtung eines vollautomatisierten Apache Hadoop Deployment Prozesses in der Amazon Cloud
Apache Hadoop Python Puppet AWS Git RedHat Linux
[Firma auf Anfrage]
9 Monate
2015-12 - 2016-08

Konzeption und Aufbau Continuous Deployment / Delivery Pipeline für datengetriebene Anwendung in einer Cloud Umgebung

Solution Architect, DevOps Engineer
Solution Architect, DevOps Engineer
  • Planung und Umsetzung einer Big Data Infrastruktur in der AWS Cloud
  • Planung und Umsetzung einer Continuous Deployment Pipeline
  • Technische Leitung eines internen Teams
AWS Cloud Hadoop Spark Bamboo Git Terraform Vagrant InfluxDB
GfK SE
6 Monate
2016-02 - 2016-07

Unterstützung im Aufbau von ETL Strecken für ein Hadoop basiertes DWH

Data Engineer, Software Entwickler
Data Engineer, Software Entwickler
  • Planung und Umsetzung eines Hive Export Moduls
  • Implementierung Kafka & Redis Export Modul als Teil eines Open Source Projektes
  • Implementierung Analyse Algorithmus zur Auswertung von Click Streams
Hadoop Hive Spark Redis Kafka Avro Scala HCatalog Schedoscope
Otto GmbH & Co. KG
4 Monate
2015-07 - 2015-10

Konzeption und Umsetzung eines Data Ware House basierend auf Big Data Technologien ? OLAP workload

Solution Architect
Solution Architect
  • Planung und Realisierung der Cluster Infrastruktur
  • Evaluierung verschiedener Eingangsformate hinsichtlich der Performance
  • Vorbereitung und Durchführung von Lasttests
Hadoop Impala Hive ETL AWS Cloud
RadioOpt GmbH
2 Jahre 10 Monate
2012-11 - 2015-08

Konzeption und Umsetzung einer Big Data Architektur zur Auswertung Telekommunikationsdaten

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Planung und Realisierung des Netzwerkes (VPC)
  • Planung und Realisierung eines Hadoop Clusters (100TB Kapazität)
  • Einrichten Deployment Prozess, inkl. Monitoring
  • Implementierung eines Data Ingestion Frameworks zur Speicherung von ca. 300GB Daten pro Tag
Apache Hadoop Hive Flume Java Spring Puppet Ubuntu Linux AWS
GfK SE
1 Jahr
2014-07 - 2015-06

Konzeption und UmsetzKonzeption und Umsetzung eines Big Data Systems zur Batch und Realtime Datenverarbeitung

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Planung und Realisierung der Deploymentumgebung
  • Evaluierung verschiedener Technologien zur Datenerfassung / Datenverarbeitung
  • Technische Leitung eines Teams
  • Implementierung eines verteilten, ausfallsicheren High Throughput Messaging- und Analyse Systems für Maschinendaten
Hadoop Storm Kafka Java ETL Linux AWS Cloud
Technicolor SA
1 Jahr 7 Monate
2013-03 - 2014-09

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse

Solution Architect, Data Engineer
Solution Architect, Data Engineer

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse für Game Analytics

  • Planung und Realisierung eines Data Warehouse
  • Evaluierung verschiedener Ansätze zur Datenerfassung
  • Auswahl geeigneter Technologien
  • Technische Leitung / Koordination eines verteilten Teams (GER, CN, CAN)
  • Implementierung eines verteilten, ausfallsicheren High Troughput Messaging System
Hadoop Map/Reduce Kafka Hive ETL Java Linux
Ubisoft / BlueByte GmbH
1 Jahr 5 Monate
2013-02 - 2014-06

Konzeption und Umsetzung einer Big Data Infrastruktur in virtualisierten Umgebungen

System Architect, Solution Architect, Data & Software Engineer,
System Architect, Solution Architect, Data & Software Engineer,
  • Planung und Realisierung einer Big Data Deployment Infrastruktur
  • Implementierung Deployment Prozess für Hadop Cluster on Demand in einer virtualisierten Umgebung
  • Prototypische Implementierung verschiedener Algorithmen im Map/Reduce Framework
Hadoop OpenStack Opscode Chef Java Linux
Deutsche Telekom AG
8 Monate
2012-05 - 2012-12

Konzeption und Umsetzung eines Hadoop Clusters

System Architect, Data Engineer
System Architect, Data Engineer
  • Beratung und Konzeption eines Hadoop Clusters
  • Auswahl der geeigneten Hardware
  • Einrichten eines Deployment Prozesses und Ausrollen des Clusters
  • Portierung bestehender Statistikroutinen nach Map/Reduce
Apache Hadoop Hive Pig Python Java Maven Puppet Debian Linux
exactag GmbH
10 Monate
2011-06 - 2012-03

Neuimplementierung eines Analysetools als Map/Reduce Anwendung

Data & Software Engineer
Data & Software Engineer
  • Analyse und Integration einer bestehenden Implementierung in das Map/Reduce Framework mit der Hadoop Streaming API
  • Installation und Konfiguration eines Hadoop Clusters inkl. Monitoring
  • Einrichten eines Deployment Prozesses
Apache Hadoop/HBase Java Maven Ganglia Chef PHP Debian Linux
Etracker GmbH
6 Monate
2010-09 - 2011-02

Integration eines Payment Providers in bestehendes Backend

Software Engineer
Software Engineer

Integration eines Payment Providers in bestehendes Backend

(Ruby/Rails, OAuth, MySQL, Git, Debian Linux)

  • Datenaufbereitung, Konvertierung und Import in Datenbank
  • Mapping der Daten, Textmatching mit vorhandener Datenbasis
  • Integration eines Payment Providers
Aupeo GmbH
5 Monate
2010-05 - 2010-09

Integration einer Signaturkomponente in ein Email Programm

Software Engineer
Software Engineer

Integration einer Signaturkomponente in ein Email Programm (KMail) (C++, Qt, KDE, Ubuntu Linux)

  • Einrichten der Debug Umgebung
  • Integration Signaturkomponente in KMail
  • Testen der Implementierung
OpenLimit SignCubes GmbH
3 Monate
2010-03 - 2010-05

Implementierung und Refactoring eines Analysetools in C++

Software Engineer
Software Engineer

Implementierung und Refactoring eines Analysetools in C++

(C++, MySQL C/C++ API, Doxygen, Hudson, Ubuntu/Debian Linux)

  • Einrichten einer Build Umgebung für C++ Projekte
  • Refactoring des Prototypen
  • Anpassung und Erweiterung der Software an Produktionsumgebung (Logging, Fehlerbehandlung, Unit Testing)
  • Einrichten eines Deployment Prozesses
  • Aufsetzen einer Build Servers (Continous Integration)
etracker GmbH
4 Monate
2009-11 - 2010-02

Konzeption und Entwicklung eines Web Crawlers

Software Engineer
Software Engineer

Konzeption und Entwicklung eines Web Crawlers

(C++, Fedora/RedHat Linux, Cassandra)

  • Design der Applikation als hochperformanten multi-threaded Server
  • Implementierung als verteilte Anwendung unter Verwendung von asynchronen Sockets (non-blocking I/O)
IT-Cowboy

Aus- und Weiterbildung

Aus- und Weiterbildung

6 Jahre
1998-10 - 2004-09

Studium der Theoretischen Elektrotechnik

Diplom, Technische Universität Ilmenau
Diplom
Technische Universität Ilmenau
3 Jahre 11 Monate
1992-09 - 1996-07

Allgemeine Hochschulreife

Allgemeine Hochschulreife, Georg-Cantor-Gymnasium Halle(Saale)
Allgemeine Hochschulreife
Georg-Cantor-Gymnasium Halle(Saale)

Position

Position

Systemarchitekt/Berater/Softwareentwickler mit Schwerpunkt verteilte Systeme ? Data, Cloud & Container


Seit mehr als 15 Jahren und in über 20 Projekten unterstütze ich meine Kunden beim Entwurf und der Entwicklung von datengetriebenen Geschäftsprozessen unter Nutzung moderner Technologien.

Kompetenzen

Kompetenzen

Top-Skills

Cloud, Data, Container

Schwerpunkte

Aufbau ETL Prozesse und Cloud Infrastruktur
Experte
Anforderungsanalyse Datenprozesse
Übersetzen von Geschäftsanforderungen in technische Prozesse un Infrastrukturen
Technologieberatung
Die richtige Technologie für den konkreten Anwendungsfall
Mentoring
Wissenstransfer, Erfahrungsaustausch & Best Practices

Systemarchitekt / Data Engineer mit mehr als 15 Jahren Erfahrung im Aufbau und Betrieb von technischen Prozessen zur Datenverarbeitung auf cloudbasierten Infrastrukturen.

Ich unterstütze meine Kunden beim Entwurf und der Entwicklung von datengetriebenen Geschäftsprozessen unter Nutzung moderner Technologien.


Produkte / Standards / Erfahrungen / Methoden

Cloudtechnologien
Experte
Containertechnologien
Experte
ETL Prozesse
Experte
  • Planung und Umsetzung von ETL Prozessen in Cloud & Container Umgebungen
  • Planung, Aufbau und Automatisierung von Infrastrukturen in Cloud Umgebungen
  • Design von verteilten Systemen hinsichtlich Skalierbarkeit und Performance
  • sehr gute Kenntnisse in der Konzeption und Umsetzung von ETL Prozessen
  • systematische / analytische Heransgehensweise an neue Probleme
  • Design / Entwicklung / Implementierung von Algorithmen (wissenschaftlicher Hintergrund)
  • sehr gute Kenntnisse von Linux & Containertechnologien (Provisioning, Configuration Management, Deployment, Monitoring)
  • Objektorientierte Softwareentwicklung (OOA, OOD, OOP, Test, Dokumentation)
  • gute Kenntnisse Scriptsprachen (Perl / Python / Ruby) zur Automatisierung von Abläufen
  • Test Driven Development, Continuous Integration
  • Umgang mit gängigen Entwicklungswerkzeugen (IDEs, Debugger, SCM, CI/CD)

Cloud Technologien

  • AWS Managed Services (EC2, S3, EMR, DynamoDB, IAM, Kinesis, Lambda, Route53, CloudFormation, ElastiCache, RDS, RedShift, ECS, ECR, Athena, Glue, LakeFormation, etc.)
  • Azure Cloud Services
  • OpenStack
  • Terraform


Containertechnologien

  • Docker
  • Kubernetes
  • Helm
  • Kops
  • Kustomize


Softwareentwicklung

  • Emacs
  • Eclipse/CDT
  • Subversion
  • CVS
  • Makefiles (autoconf, automake)
  • Git
  • CMake
  • Scons
  • ant
  • maven
  • Hudson
  • Doxygen
  • Enterprise Architect

Netzwerktechnologien

  • Ethernet (TCP/IP, UDP, routing, iptables, multicast, sync/async Sockets)

Serversoftware

  • Apache (mod_rewrite, mod_jk, mod_ssl, mod_proxy)
  • Nginx
  • Tomcat
  • HAProxy
  • Mongrel
  • MySQL
  • MySQL Proxy
  • BIND
  • DHCP
  • NFS
  • Samba
  • OpenVPN
  • Squid
  • OpenLDAP
  • Postfix
  • RPM Package Manager
  • Zookeeper

Datacentersoftware

  • Provisioning/Configuration/Deployment (Saltstack, Puppet, Capistrano, Chef, Cobbler)
  • Monitoring/Logging (Ganglia, Nagios, Syslog)

Berufliche Stationen

01/2010 ? aktuell                                      

Freiberufler

 

05/2005 ? 10/2009                                        

MOG Inc. ? Startup im Bereich Medien/Internet

  • Seit der Gründung des Startup für das Backend zuständiger Softwareentwickler und Systemarchitekt
  • Verantwortlich für Entwurf, Umsetzung und Inbetriebnahme der Hosting Umgebung
  • Konzeption und Umsetzung mehrerer Softwareprojekte in C++ 

 

07/2003 ? 03/2005                                        

Fraunhofer IDMT ? Forschungsinstitut im Bereich Audio/Video

  • Wissenschaftliche Untersuchungen auf dem Gebiet von Suchalgorithmen
  • An der Entwicklung und Implementierung von Algorithmen beteiligter Mitarbeiter

                                                               

01/2003 ? 06/2003                                      

ID Analytics Inc. ? Startup im Bereich Finanzdienstleistungen

  • Mitarbeit an einer Software zur Erkennung von Identitätsdiebstahl
  • Datenaufbereitung und Datenanalyse
  • Mitarbeit an der Entwicklung und Implementierung von Algorithmen

                                                             

08/2000 ? 12/2002                                        

Fraunhofer IDMT ? Forschungsinstitut im Bereich Audio/Video

  • Entwicklung von Testumgebungen zur Beurteilung von Algorithmen
  • Entwurf und Implementierung von GUIs zur Präsentation von Algorithmen auf Fachmessen

                                                             

06/1999 ? 07/1999                                        

JUMATECH ? Firma im Bereich Leiterplattenproduktion

  • Bereitstellung von IT Infrastruktur

Betriebssysteme

Linux
RedHat, Debian, CentOS, Fedora, Ubuntu, OpenSUSE
Unix
Mac OS X, FreeBSD, Solaris

Programmiersprachen

Python
sehr gute Kenntnisse, im Rahmen von Data Engineer Projekten oft verwendet
Java
gute Kenntnisse, in mehreren Projekten verwendet
SQL
Experte
Shell
Bash, Csh, Zsh
Ruby/Rails
Fortgeschritten
Matlab
Fortgeschritten
C++
sehr gute Kenntnisse (STL, Boost, MySQL C/C++ API, CLucene, QT)
Octave
Fortgeschritten
XML
XML Schema
Latex
Perl

Datenbanken

Big Data
sehr gute Kenntnisse
Cassandra
gute Kenntnisse, im Projekt verwendet
Hadoop
sehr gute Kenntnisse (schwerpunktmäßig), im Projekt verwendet
Hbase
sehr gute Kenntnisse (schwerpunktmäßig), im Projekt verwendet
Hive
sehr gute Kenntnisse (schwerpunktmäßig), im Projekt verwendet
Impala
Kafka
sehr gute Kenntnisse, im Projekt verwendet
MySQL
sehr gute Kenntnisse, in mehreren Projekten intensiv verwendet
Pig
sehr gute Kenntnisse, im Projekt verwendet
SQLite3
Kinesis
sehr gute Kenntnisse, im Projekt verwendet
PostgreSQL
sehr gute Kenntnisse, im Projekt verwendet

Datenkommunikation

CORBA
Ethernet
Internet, Intranet
gute Kenntnisse im Bereich Routing, NAT, BIND (DNS), DHCP, LDAP, NFS
REST
RPC
sehr gute Kenntnisse, (SOAP, XML-RPC) in mehreren Projekten verwendet
SOAP
TCP/IP
gute Kenntnisse synchrone/asynchrone Socketprogrammierung
Windows Netzwerk
XML-RPC

Hardware

Macintosh
PC
SUN
ULTRA 5

Branchen

Branchen

  • Medien
  • IT
  • Bank
  • Versicherung
  • Forschung

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
Ich stehe für meine Kunden weltweit zur Verfügung, bisherige Projekterfahrung im Ausland u.a. in Belgien, Schweiz, Canada, China, Singapore, USA.
möglich

Projekte

Projekte

9 Monate
2023-09 - heute

Unterstützungs- und Beratungsdienstleistungen im Rahmen einer Data Warehouse Implementierung

Consultant, Data Engineer
Consultant, Data Engineer
  • Beratung Datenmodell, ETL Strecken

  • Konzeption und Umsetzung mehrerer ETL Strecken

  • Wissenstransfer interner Mitarbeiter

AWS Cloud Java Spring GitLab Docker
2 Jahre 4 Monate
2021-07 - 2023-10

Unterstützung Migration eines Data Warehouse in die Cloud

Solution Architect
Solution Architect
  • Konzeption und Umsetzung eines Data Ware House mittels LakeFormation und Glue Catalog

  • Konzeption und Umsetzung mehrerer GitLab CI/CD Pipelines zum Testen und Ausrollen backend basierter Prozesse

  • Schulung und Wissenstransfer interner Mitarbeiter

AWS Cloud Docker Glue LakeFormation GitLab AWS Glue
2 Jahre 7 Monate
2020-06 - 2022-12

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Nutzerdaten

Solution Architect, Data Engineer
Solution Architect, Data Engineer

·       Konzeption und Umsetzung Cloud Infrastruktur zum Aufbau eines Data Warehouse

·       Integration von Airflow als Workflow Engine

·       Integration Google Spark K8s Operator als Laufzeitumgebung für ETL Prozesse

·       Aufbau eines Teams zur Umsetzung von ETL Prozesse

·       Beratung allg. Datenarchitektur

AWS Cloud Kubernetes Docker Spark Terraform Python Kustomize
1 Jahr 3 Monate
2019-01 - 2020-03

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Fahrzeugdaten, Aufbau Data Science Umgebung

Solution Architect , Data Engineer
Solution Architect , Data Engineer

·       Erweiterung und Produktivsetzung eines Prototypen zur Massendatenverarbeitung

·       Aufbau und Inbetriebnahme einer CI/CD Pipeline

·       Konzeption, Umsetzung & Deployment Backend API inkl. Helm Chart

·       Konzeption & Umsetzung Projektstruktur, Release Management

·       Aufbau ETL Strecke zur Datenvalidierung und ?vereinnahmung

AWS Cloud Lambda IAM Kubernetes Docker Terraform Python ElasticSearch LogStash Kibana Helm Charts
Volkswagen AG
5 Monate
2019-08 - 2019-12

Konzeption und Umsetzung Infrastruktur zur Sensordatenverarbeitung, Erweiterung einer bestehenden Data Sciene Umgebung

Solution Architect
Solution Architect

·       Beratung hinsichtlich Konzeption und Werkzeuge zum Aufbau einer Kubernetes basierten Infrastruktur zur Sensordatenverarbeitung

·       Konzeption und Aufbau Infrastruktur auf Kubernetes (Kafka Cluster, Spark Framework, Zookeeper, ZK Manager)

·       Konzeption und Aufbau ETL Strecke zur Datenvereinnahmung

·       Konzeption und Aufbau CI/CD Pipeline mit Bamboo & Kubernetes

AWS Cloud Kubernetes Kafka Spark Bamboo Java Docker Helm Charts InfluxDB
D. Swarovski KG
1 Jahr 8 Monate
2017-05 - 2018-12

Unterstützung Konzeption und Umsetzung einer Micro Service Architektur

System Architect
System Architect
  • Abstimmung und Koordination div. Teams bzgl. Technologieeinsatz
  • Unterstützung Konzeption zentraler Elemente (De/Serializer, Data Pipe Design, Error Handling, Message Handling, Datenbank Design)
  • Einführen von Kafka als zentralen Message Bus für Micro Services
  • Einführen von LiquiBase zum Datenbank Schema Management
  • Fachlich / technische Betreuung eines konkreten Micro Service
Micro Services Java Docker Kafka LiquiBase IT Architektur allg
aixigo AG
1 Jahr 2 Monate
2017-10 - 2018-11

Konzeption und Umsetzung eines cloud basierten Data Ware House / Data Science Umgebung

Solution Architect, Data Engineer
Solution Architect, Data Engineer

·       Konzeption eines dynamisch skalierbaren Data Ware House

·       Umsetzung Infrastruktur in Terraform (Infrastructure as Code)

·       Umsetzung Infrastruktur Komponenten in Kubernetes

·       Modellierung DWH & Datenablage

·       Aufbau ETL Strecken zur Datenvereinnahmung

AWS Cloud Kubernetes Spark R NiFi Terraform Docker Jupyter NB
D. Swarovski KG
8 Monate
2017-01 - 2017-08

Konzeption und Umsetzung Big Data Warehouse

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Technische Projektleitung
  • Konzeption AWS Cloud Infrastruktur
  • Implementierung Data Pipelines
  • Aufbau Data Warehouse / Workflow Management
  • Datenaufbereitung / Prozessmanagement
Spark SparkR Hadoop Hive Jupyter AWS Cloud R Bamboo Terraform
GfK SE
1 Monat
2017-03 - 2017-03

Unterstützung bei der Evaluierung von Anbietern im Bereich Big Data

Requirements Engineer, Solution Architect
Requirements Engineer, Solution Architect
  • Erfassung und Dokumentation der technischen und fachlichen Anforderungen zum Aufbau und Betrieb eines auf Apache Hadoop basierenden Data Warehouse
  • Einholen von Angeboten verschiedener Anbieter, Aufbereitung der Informationen zur Entscheidungsfindung
  • Implementierung eines Prototyps zur Datenvereinnahmung
Hortonworks Cloudera SAP Cloud Apache NiFi AWS Cloud MS Azure
Open Grid Europe GmbH
7 Monate
2016-06 - 2016-12

Architekturreview und Konzeption und Implementierung Streaming Layer

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Review und Bewertung vorhandene Architektur und Datenmodell
  • Durchführung Workshop Datenmanagement / Lambda Architektur
  • Konzeption und Implementierung Realtime Layer mit Spark RT
  • Erarbeitung Konzept und Umsetzung für die Integration von Realtime Layer und Batch Layer
Hadoop Spark AWS Cloud Scala MapReduce JCascalog RedShift
Helix Leisure Pte Ltd
1 Monat
2016-10 - 2016-10

Workshop Big Data Technologien ? Einführung und Funktionsweise

Data Engineer
Data Engineer
  • Durchführung eines 3-tägigen Workshops
  • Einführung in Big Data/Hadoop Ökosystem
  • Praktische Übung Big Data Einsatz in der AWS Cloud
Hadoop Spark AWS Cloud MapReduce Hive Pig R
Universitätsspital Basel
5 Jahre 7 Monate
2011-03 - 2016-09

Konzeption und Entwicklung einer Webapplikation

Founder, Solution Architect, Data & Software Engineer,
Founder, Solution Architect, Data & Software Engineer,

Konzeption und Entwicklung einer Webapplikation (LambdaNow)

  • Konzeption der Anwendung
  • Implementierung von Webseite und Backend
  • Einrichten Deployment Prozess + Hosting Umgebung
  • Einrichtung eines vollautomatisierten Apache Hadoop Deployment Prozesses in der Amazon Cloud
Apache Hadoop Python Puppet AWS Git RedHat Linux
[Firma auf Anfrage]
9 Monate
2015-12 - 2016-08

Konzeption und Aufbau Continuous Deployment / Delivery Pipeline für datengetriebene Anwendung in einer Cloud Umgebung

Solution Architect, DevOps Engineer
Solution Architect, DevOps Engineer
  • Planung und Umsetzung einer Big Data Infrastruktur in der AWS Cloud
  • Planung und Umsetzung einer Continuous Deployment Pipeline
  • Technische Leitung eines internen Teams
AWS Cloud Hadoop Spark Bamboo Git Terraform Vagrant InfluxDB
GfK SE
6 Monate
2016-02 - 2016-07

Unterstützung im Aufbau von ETL Strecken für ein Hadoop basiertes DWH

Data Engineer, Software Entwickler
Data Engineer, Software Entwickler
  • Planung und Umsetzung eines Hive Export Moduls
  • Implementierung Kafka & Redis Export Modul als Teil eines Open Source Projektes
  • Implementierung Analyse Algorithmus zur Auswertung von Click Streams
Hadoop Hive Spark Redis Kafka Avro Scala HCatalog Schedoscope
Otto GmbH & Co. KG
4 Monate
2015-07 - 2015-10

Konzeption und Umsetzung eines Data Ware House basierend auf Big Data Technologien ? OLAP workload

Solution Architect
Solution Architect
  • Planung und Realisierung der Cluster Infrastruktur
  • Evaluierung verschiedener Eingangsformate hinsichtlich der Performance
  • Vorbereitung und Durchführung von Lasttests
Hadoop Impala Hive ETL AWS Cloud
RadioOpt GmbH
2 Jahre 10 Monate
2012-11 - 2015-08

Konzeption und Umsetzung einer Big Data Architektur zur Auswertung Telekommunikationsdaten

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Planung und Realisierung des Netzwerkes (VPC)
  • Planung und Realisierung eines Hadoop Clusters (100TB Kapazität)
  • Einrichten Deployment Prozess, inkl. Monitoring
  • Implementierung eines Data Ingestion Frameworks zur Speicherung von ca. 300GB Daten pro Tag
Apache Hadoop Hive Flume Java Spring Puppet Ubuntu Linux AWS
GfK SE
1 Jahr
2014-07 - 2015-06

Konzeption und UmsetzKonzeption und Umsetzung eines Big Data Systems zur Batch und Realtime Datenverarbeitung

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Planung und Realisierung der Deploymentumgebung
  • Evaluierung verschiedener Technologien zur Datenerfassung / Datenverarbeitung
  • Technische Leitung eines Teams
  • Implementierung eines verteilten, ausfallsicheren High Throughput Messaging- und Analyse Systems für Maschinendaten
Hadoop Storm Kafka Java ETL Linux AWS Cloud
Technicolor SA
1 Jahr 7 Monate
2013-03 - 2014-09

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse

Solution Architect, Data Engineer
Solution Architect, Data Engineer

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse für Game Analytics

  • Planung und Realisierung eines Data Warehouse
  • Evaluierung verschiedener Ansätze zur Datenerfassung
  • Auswahl geeigneter Technologien
  • Technische Leitung / Koordination eines verteilten Teams (GER, CN, CAN)
  • Implementierung eines verteilten, ausfallsicheren High Troughput Messaging System
Hadoop Map/Reduce Kafka Hive ETL Java Linux
Ubisoft / BlueByte GmbH
1 Jahr 5 Monate
2013-02 - 2014-06

Konzeption und Umsetzung einer Big Data Infrastruktur in virtualisierten Umgebungen

System Architect, Solution Architect, Data & Software Engineer,
System Architect, Solution Architect, Data & Software Engineer,
  • Planung und Realisierung einer Big Data Deployment Infrastruktur
  • Implementierung Deployment Prozess für Hadop Cluster on Demand in einer virtualisierten Umgebung
  • Prototypische Implementierung verschiedener Algorithmen im Map/Reduce Framework
Hadoop OpenStack Opscode Chef Java Linux
Deutsche Telekom AG
8 Monate
2012-05 - 2012-12

Konzeption und Umsetzung eines Hadoop Clusters

System Architect, Data Engineer
System Architect, Data Engineer
  • Beratung und Konzeption eines Hadoop Clusters
  • Auswahl der geeigneten Hardware
  • Einrichten eines Deployment Prozesses und Ausrollen des Clusters
  • Portierung bestehender Statistikroutinen nach Map/Reduce
Apache Hadoop Hive Pig Python Java Maven Puppet Debian Linux
exactag GmbH
10 Monate
2011-06 - 2012-03

Neuimplementierung eines Analysetools als Map/Reduce Anwendung

Data & Software Engineer
Data & Software Engineer
  • Analyse und Integration einer bestehenden Implementierung in das Map/Reduce Framework mit der Hadoop Streaming API
  • Installation und Konfiguration eines Hadoop Clusters inkl. Monitoring
  • Einrichten eines Deployment Prozesses
Apache Hadoop/HBase Java Maven Ganglia Chef PHP Debian Linux
Etracker GmbH
6 Monate
2010-09 - 2011-02

Integration eines Payment Providers in bestehendes Backend

Software Engineer
Software Engineer

Integration eines Payment Providers in bestehendes Backend

(Ruby/Rails, OAuth, MySQL, Git, Debian Linux)

  • Datenaufbereitung, Konvertierung und Import in Datenbank
  • Mapping der Daten, Textmatching mit vorhandener Datenbasis
  • Integration eines Payment Providers
Aupeo GmbH
5 Monate
2010-05 - 2010-09

Integration einer Signaturkomponente in ein Email Programm

Software Engineer
Software Engineer

Integration einer Signaturkomponente in ein Email Programm (KMail) (C++, Qt, KDE, Ubuntu Linux)

  • Einrichten der Debug Umgebung
  • Integration Signaturkomponente in KMail
  • Testen der Implementierung
OpenLimit SignCubes GmbH
3 Monate
2010-03 - 2010-05

Implementierung und Refactoring eines Analysetools in C++

Software Engineer
Software Engineer

Implementierung und Refactoring eines Analysetools in C++

(C++, MySQL C/C++ API, Doxygen, Hudson, Ubuntu/Debian Linux)

  • Einrichten einer Build Umgebung für C++ Projekte
  • Refactoring des Prototypen
  • Anpassung und Erweiterung der Software an Produktionsumgebung (Logging, Fehlerbehandlung, Unit Testing)
  • Einrichten eines Deployment Prozesses
  • Aufsetzen einer Build Servers (Continous Integration)
etracker GmbH
4 Monate
2009-11 - 2010-02

Konzeption und Entwicklung eines Web Crawlers

Software Engineer
Software Engineer

Konzeption und Entwicklung eines Web Crawlers

(C++, Fedora/RedHat Linux, Cassandra)

  • Design der Applikation als hochperformanten multi-threaded Server
  • Implementierung als verteilte Anwendung unter Verwendung von asynchronen Sockets (non-blocking I/O)
IT-Cowboy

Aus- und Weiterbildung

Aus- und Weiterbildung

6 Jahre
1998-10 - 2004-09

Studium der Theoretischen Elektrotechnik

Diplom, Technische Universität Ilmenau
Diplom
Technische Universität Ilmenau
3 Jahre 11 Monate
1992-09 - 1996-07

Allgemeine Hochschulreife

Allgemeine Hochschulreife, Georg-Cantor-Gymnasium Halle(Saale)
Allgemeine Hochschulreife
Georg-Cantor-Gymnasium Halle(Saale)

Position

Position

Systemarchitekt/Berater/Softwareentwickler mit Schwerpunkt verteilte Systeme ? Data, Cloud & Container


Seit mehr als 15 Jahren und in über 20 Projekten unterstütze ich meine Kunden beim Entwurf und der Entwicklung von datengetriebenen Geschäftsprozessen unter Nutzung moderner Technologien.

Kompetenzen

Kompetenzen

Top-Skills

Cloud, Data, Container

Schwerpunkte

Aufbau ETL Prozesse und Cloud Infrastruktur
Experte
Anforderungsanalyse Datenprozesse
Übersetzen von Geschäftsanforderungen in technische Prozesse un Infrastrukturen
Technologieberatung
Die richtige Technologie für den konkreten Anwendungsfall
Mentoring
Wissenstransfer, Erfahrungsaustausch & Best Practices

Systemarchitekt / Data Engineer mit mehr als 15 Jahren Erfahrung im Aufbau und Betrieb von technischen Prozessen zur Datenverarbeitung auf cloudbasierten Infrastrukturen.

Ich unterstütze meine Kunden beim Entwurf und der Entwicklung von datengetriebenen Geschäftsprozessen unter Nutzung moderner Technologien.


Produkte / Standards / Erfahrungen / Methoden

Cloudtechnologien
Experte
Containertechnologien
Experte
ETL Prozesse
Experte
  • Planung und Umsetzung von ETL Prozessen in Cloud & Container Umgebungen
  • Planung, Aufbau und Automatisierung von Infrastrukturen in Cloud Umgebungen
  • Design von verteilten Systemen hinsichtlich Skalierbarkeit und Performance
  • sehr gute Kenntnisse in der Konzeption und Umsetzung von ETL Prozessen
  • systematische / analytische Heransgehensweise an neue Probleme
  • Design / Entwicklung / Implementierung von Algorithmen (wissenschaftlicher Hintergrund)
  • sehr gute Kenntnisse von Linux & Containertechnologien (Provisioning, Configuration Management, Deployment, Monitoring)
  • Objektorientierte Softwareentwicklung (OOA, OOD, OOP, Test, Dokumentation)
  • gute Kenntnisse Scriptsprachen (Perl / Python / Ruby) zur Automatisierung von Abläufen
  • Test Driven Development, Continuous Integration
  • Umgang mit gängigen Entwicklungswerkzeugen (IDEs, Debugger, SCM, CI/CD)

Cloud Technologien

  • AWS Managed Services (EC2, S3, EMR, DynamoDB, IAM, Kinesis, Lambda, Route53, CloudFormation, ElastiCache, RDS, RedShift, ECS, ECR, Athena, Glue, LakeFormation, etc.)
  • Azure Cloud Services
  • OpenStack
  • Terraform


Containertechnologien

  • Docker
  • Kubernetes
  • Helm
  • Kops
  • Kustomize


Softwareentwicklung

  • Emacs
  • Eclipse/CDT
  • Subversion
  • CVS
  • Makefiles (autoconf, automake)
  • Git
  • CMake
  • Scons
  • ant
  • maven
  • Hudson
  • Doxygen
  • Enterprise Architect

Netzwerktechnologien

  • Ethernet (TCP/IP, UDP, routing, iptables, multicast, sync/async Sockets)

Serversoftware

  • Apache (mod_rewrite, mod_jk, mod_ssl, mod_proxy)
  • Nginx
  • Tomcat
  • HAProxy
  • Mongrel
  • MySQL
  • MySQL Proxy
  • BIND
  • DHCP
  • NFS
  • Samba
  • OpenVPN
  • Squid
  • OpenLDAP
  • Postfix
  • RPM Package Manager
  • Zookeeper

Datacentersoftware

  • Provisioning/Configuration/Deployment (Saltstack, Puppet, Capistrano, Chef, Cobbler)
  • Monitoring/Logging (Ganglia, Nagios, Syslog)

Berufliche Stationen

01/2010 ? aktuell                                      

Freiberufler

 

05/2005 ? 10/2009                                        

MOG Inc. ? Startup im Bereich Medien/Internet

  • Seit der Gründung des Startup für das Backend zuständiger Softwareentwickler und Systemarchitekt
  • Verantwortlich für Entwurf, Umsetzung und Inbetriebnahme der Hosting Umgebung
  • Konzeption und Umsetzung mehrerer Softwareprojekte in C++ 

 

07/2003 ? 03/2005                                        

Fraunhofer IDMT ? Forschungsinstitut im Bereich Audio/Video

  • Wissenschaftliche Untersuchungen auf dem Gebiet von Suchalgorithmen
  • An der Entwicklung und Implementierung von Algorithmen beteiligter Mitarbeiter

                                                               

01/2003 ? 06/2003                                      

ID Analytics Inc. ? Startup im Bereich Finanzdienstleistungen

  • Mitarbeit an einer Software zur Erkennung von Identitätsdiebstahl
  • Datenaufbereitung und Datenanalyse
  • Mitarbeit an der Entwicklung und Implementierung von Algorithmen

                                                             

08/2000 ? 12/2002                                        

Fraunhofer IDMT ? Forschungsinstitut im Bereich Audio/Video

  • Entwicklung von Testumgebungen zur Beurteilung von Algorithmen
  • Entwurf und Implementierung von GUIs zur Präsentation von Algorithmen auf Fachmessen

                                                             

06/1999 ? 07/1999                                        

JUMATECH ? Firma im Bereich Leiterplattenproduktion

  • Bereitstellung von IT Infrastruktur

Betriebssysteme

Linux
RedHat, Debian, CentOS, Fedora, Ubuntu, OpenSUSE
Unix
Mac OS X, FreeBSD, Solaris

Programmiersprachen

Python
sehr gute Kenntnisse, im Rahmen von Data Engineer Projekten oft verwendet
Java
gute Kenntnisse, in mehreren Projekten verwendet
SQL
Experte
Shell
Bash, Csh, Zsh
Ruby/Rails
Fortgeschritten
Matlab
Fortgeschritten
C++
sehr gute Kenntnisse (STL, Boost, MySQL C/C++ API, CLucene, QT)
Octave
Fortgeschritten
XML
XML Schema
Latex
Perl

Datenbanken

Big Data
sehr gute Kenntnisse
Cassandra
gute Kenntnisse, im Projekt verwendet
Hadoop
sehr gute Kenntnisse (schwerpunktmäßig), im Projekt verwendet
Hbase
sehr gute Kenntnisse (schwerpunktmäßig), im Projekt verwendet
Hive
sehr gute Kenntnisse (schwerpunktmäßig), im Projekt verwendet
Impala
Kafka
sehr gute Kenntnisse, im Projekt verwendet
MySQL
sehr gute Kenntnisse, in mehreren Projekten intensiv verwendet
Pig
sehr gute Kenntnisse, im Projekt verwendet
SQLite3
Kinesis
sehr gute Kenntnisse, im Projekt verwendet
PostgreSQL
sehr gute Kenntnisse, im Projekt verwendet

Datenkommunikation

CORBA
Ethernet
Internet, Intranet
gute Kenntnisse im Bereich Routing, NAT, BIND (DNS), DHCP, LDAP, NFS
REST
RPC
sehr gute Kenntnisse, (SOAP, XML-RPC) in mehreren Projekten verwendet
SOAP
TCP/IP
gute Kenntnisse synchrone/asynchrone Socketprogrammierung
Windows Netzwerk
XML-RPC

Hardware

Macintosh
PC
SUN
ULTRA 5

Branchen

Branchen

  • Medien
  • IT
  • Bank
  • Versicherung
  • Forschung

Vertrauen Sie auf GULP

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das GULP Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.