Softwareentwickler/Systemarchitekt mit Schwerpunkt verteilte Systeme ? Data, Cloud & Container
Aktualisiert am 09.11.2024
Profil
Referenzen (1)
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 01.12.2024
Verfügbar zu: 100%
davon vor Ort: 25%
AWS
Data Engineer
Kubernetes
Kafka
GitLab
DevOps Engineer
Apache Spark
SQL
Deutsch
Muttersprache
Englisch
fließend, Arbeitsumgebung Englisch für 5 Jahre

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
Ich stehe für meine Kunden weltweit zur Verfügung, bisherige Projekterfahrung im Ausland u.a. in Belgien, Schweiz, Canada, China, Singapore, USA.
möglich

Projekte

Projekte

4 Monate
2024-10 - heute

Supply Chain Management Application

Data Engineer
Data Engineer
  • Unterstützung im Erstellen eines Master Data Sets für eine Supply Chain Management Anwendung
  • Design und Implementierung von ETL Strecken
  • Datenanalyse zur Optimierung der Datenqualität
  • Umsetzung Dashboard zum Monitoring der Datenqualität
  • Aufsetzen CI/CD Pipelines, Monitoring und Alerting für operative ETL Prozesse
SQL Kafka Google Cloud Kubernetes Dbt Kotlin GitHub Kafka Connect
1 Jahr 2 Monate
2023-09 - 2024-10

Unterstützungs- und Beratungsdienstleistungen im Rahmen einer Data Warehouse Implementierung

Data Engineer
Data Engineer
  • Beratung Datenmodell, ETL Strecken

  • Konzeption und Umsetzung mehrerer ETL Strecken

  • Anbindung SAP PLM System zur Datenextraktion und Aufbereitung
  • Anbindung MES System zur Datenextraktion und Aufbereitung
  • Wissenstransfer interner Mitarbeiter

AWS Cloud Java Spring GitLab Docker SQL OpenSearch
Covestro AG
2 Jahre 4 Monate
2021-07 - 2023-10

Unterstützung Migration eines Data Warehouse in die Cloud

Solution Architect
Solution Architect
  • Konzeption und Umsetzung eines Data Ware House mittels LakeFormation und Glue Catalog

  • Migration bestehender Spark Jobs nach AWS Glue, AWS EMR
  • Umsetzung Workflow Management mittels Airflow
  • Konzeption und Umsetzung mehrerer GitLab CI/CD Pipelines zum Testen und Ausrollen backend basierter Prozesse

  • Schulung und Wissenstransfer interner Mitarbeiter

AWS Cloud Docker Glue LakeFormation GitLab AWS Glue SQL
GfK SE
2 Jahre 7 Monate
2020-06 - 2022-12

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Nutzerdaten

Data Engineer
Data Engineer
  • Konzeption und Umsetzung Cloud Infrastruktur zum Aufbau eines Data Warehouse
  • Integration von Airflow als Workflow Engine
  • Integration Google Spark K8s Operator als Laufzeitumgebung für ETL Prozesse
  • Umsetzung ETL Strecken mit PySpark
  • Implementierung Event Streaming Pipeline mit Kafka und PySpark
  • Aufbau eines Teams zur Umsetzung von ETL Prozesse
  • Beratung allg. Datenarchitektur


AWS Cloud Kubernetes Docker Spark Terraform Python Kustomize SQL Kafka
RTL Group
1 Jahr 3 Monate
2019-01 - 2020-03

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Fahrzeugdaten, Aufbau Data Science Umgebung

Data Engineer
Data Engineer

·       Erweiterung und Produktivsetzung eines Prototypen zur Massendatenverarbeitung

·       Aufbau und Inbetriebnahme einer CI/CD Pipeline

·       Konzeption, Umsetzung & Deployment Backend API inkl. Helm Chart

·       Konzeption & Umsetzung Projektstruktur, Release Management

·       Aufbau ETL Strecke zur Datenvalidierung und ?vereinnahmung

AWS Cloud Lambda IAM Kubernetes Docker Terraform Python LogStash Kibana Helm Charts SQL OpenSearch
Volkswagen AG
5 Monate
2019-08 - 2019-12

Konzeption und Umsetzung Infrastruktur zur Sensordatenverarbeitung, Erweiterung einer bestehenden Data Sciene Umgebung

Solution Architect
Solution Architect

·       Beratung hinsichtlich Konzeption und Werkzeuge zum Aufbau einer Kubernetes basierten Infrastruktur zur Sensordatenverarbeitung

·       Konzeption und Aufbau Infrastruktur auf Kubernetes (Kafka Cluster, Spark Framework, Zookeeper, ZK Manager)

·       Konzeption und Aufbau ETL Strecke zur Datenvereinnahmung

·       Konzeption und Aufbau CI/CD Pipeline mit Bamboo & Kubernetes

AWS Cloud Kubernetes Kafka Spark Bamboo Java Docker Helm Charts InfluxDB
D. Swarovski KG
1 Jahr 8 Monate
2017-05 - 2018-12

Unterstützung Konzeption und Umsetzung einer Micro Service Architektur

System Architect
System Architect
  • Abstimmung und Koordination div. Teams bzgl. Technologieeinsatz
  • Unterstützung Konzeption zentraler Elemente (De/Serializer, Data Pipe Design, Error Handling, Message Handling, Datenbank Design)
  • Einführen von Kafka als zentralen Message Bus für Micro Services
  • Einführen von LiquiBase zum Datenbank Schema Management
  • Fachlich / technische Betreuung eines konkreten Micro Service
Micro Services Java Docker Kafka LiquiBase IT Architektur allg
aixigo AG
1 Jahr 2 Monate
2017-10 - 2018-11

Konzeption und Umsetzung eines cloud basierten Data Ware House / Data Science Umgebung

Data Engineer
Data Engineer

·       Konzeption eines dynamisch skalierbaren Data Ware House

·       Umsetzung Infrastruktur in Terraform (Infrastructure as Code)

·       Umsetzung Infrastruktur Komponenten in Kubernetes

·       Modellierung DWH & Datenablage

·       Aufbau ETL Strecken zur Datenvereinnahmung

AWS Cloud Kubernetes Spark R NiFi Terraform Docker Jupyter NB SQL
D. Swarovski KG
8 Monate
2017-01 - 2017-08

Konzeption und Umsetzung Big Data Warehouse

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Technische Projektleitung
  • Konzeption AWS Cloud Infrastruktur
  • Implementierung Data Pipelines
  • Aufbau Data Warehouse / Workflow Management
  • Datenaufbereitung / Prozessmanagement
Spark SparkR Hadoop Hive Jupyter AWS Cloud R Bamboo Terraform SQL
GfK SE
1 Monat
2017-03 - 2017-03

Unterstützung bei der Evaluierung von Anbietern im Bereich Big Data

Requirements Engineer
Requirements Engineer
  • Erfassung und Dokumentation der technischen und fachlichen Anforderungen zum Aufbau und Betrieb eines auf Apache Hadoop basierenden Data Warehouse
  • Einholen von Angeboten verschiedener Anbieter, Aufbereitung der Informationen zur Entscheidungsfindung
  • Implementierung eines Prototyps zur Datenvereinnahmung
Hortonworks Cloudera SAP Cloud Apache NiFi AWS Cloud MS Azure
Open Grid Europe GmbH
7 Monate
2016-06 - 2016-12

Architekturreview und Konzeption und Implementierung Streaming Layer

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Review und Bewertung vorhandene Architektur und Datenmodell
  • Durchführung Workshop Datenmanagement / Lambda Architektur
  • Konzeption und Implementierung Realtime Layer mit Spark RT
  • Erarbeitung Konzept und Umsetzung für die Integration von Realtime Layer und Batch Layer
Hadoop Spark AWS Cloud Scala MapReduce JCascalog RedShift
Helix Leisure Pte Ltd
1 Monat
2016-10 - 2016-10

Workshop Big Data Technologien ? Einführung und Funktionsweise

Data Engineer
Data Engineer
  • Durchführung eines 3-tägigen Workshops
  • Einführung in Big Data/Hadoop Ökosystem
  • Praktische Übung Big Data Einsatz in der AWS Cloud
Hadoop Spark AWS Cloud MapReduce Hive Pig R
Universitätsspital Basel
5 Jahre 7 Monate
2011-03 - 2016-09

Konzeption und Entwicklung einer Webapplikation

Founder, Data & Software Engineer
Founder, Data & Software Engineer

Konzeption und Entwicklung einer Webapplikation (LambdaNow)

  • Konzeption der Anwendung
  • Implementierung von Webseite und Backend
  • Einrichten Deployment Prozess + Hosting Umgebung
  • Einrichtung eines vollautomatisierten Apache Hadoop Deployment Prozesses in der Amazon Cloud
Apache Hadoop Python Puppet AWS Git RedHat Linux
[Firma auf Anfrage]
9 Monate
2015-12 - 2016-08

Konzeption und Aufbau Continuous Deployment / Delivery Pipeline für datengetriebene Anwendung in einer Cloud Umgebung

DevOps Engineer
DevOps Engineer
  • Planung und Umsetzung einer Big Data Infrastruktur in der AWS Cloud
  • Planung und Umsetzung einer Continuous Deployment Pipeline
  • Technische Leitung eines internen Teams
AWS Cloud Hadoop Spark Bamboo Git Terraform Vagrant InfluxDB
GfK SE
6 Monate
2016-02 - 2016-07

Unterstützung im Aufbau von ETL Strecken für ein Hadoop basiertes DWH

Software Entwickler
Software Entwickler
  • Planung und Umsetzung eines Hive Export Moduls
  • Implementierung Kafka & Redis Export Modul als Teil eines Open Source Projektes
  • Implementierung Analyse Algorithmus zur Auswertung von Click Streams
Hadoop Hive Spark Redis Kafka Avro Scala HCatalog Schedoscope
Otto GmbH & Co. KG
4 Monate
2015-07 - 2015-10

Konzeption und Umsetzung eines Data Ware House basierend auf Big Data Technologien ? OLAP workload

Solution Architect
Solution Architect
  • Planung und Realisierung der Cluster Infrastruktur
  • Evaluierung verschiedener Eingangsformate hinsichtlich der Performance
  • Vorbereitung und Durchführung von Lasttests
Hadoop Impala Hive ETL AWS Cloud
RadioOpt GmbH
2 Jahre 10 Monate
2012-11 - 2015-08

Konzeption und Umsetzung einer Big Data Architektur zur Auswertung Telekommunikationsdaten

Data & DevOps Engineer
Data & DevOps Engineer
  • Planung und Realisierung des Netzwerkes (VPC)
  • Planung und Realisierung eines Hadoop Clusters (100TB Kapazität)
  • Einrichten Deployment Prozess, inkl. Monitoring
  • Implementierung eines Data Ingestion Frameworks zur Speicherung von ca. 300GB Daten pro Tag
Apache Hadoop Hive Flume Java Spring Puppet Ubuntu Linux AWS
GfK SE
1 Jahr
2014-07 - 2015-06

Konzeption und UmsetzKonzeption und Umsetzung eines Big Data Systems zur Batch und Realtime Datenverarbeitung

Data & DevOps Engineer
Data & DevOps Engineer
  • Planung und Realisierung der Deploymentumgebung
  • Evaluierung verschiedener Technologien zur Datenerfassung / Datenverarbeitung
  • Technische Leitung eines Teams
  • Implementierung eines verteilten, ausfallsicheren High Throughput Messaging- und Analyse Systems für Maschinendaten
Hadoop Storm Kafka Java ETL Linux AWS Cloud
Technicolor SA
1 Jahr 7 Monate
2013-03 - 2014-09

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse

Data Engineer
Data Engineer

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse für Game Analytics

  • Planung und Realisierung eines Data Warehouse
  • Evaluierung verschiedener Ansätze zur Datenerfassung
  • Auswahl geeigneter Technologien
  • Technische Leitung / Koordination eines verteilten Teams (GER, CN, CAN)
  • Implementierung eines verteilten, ausfallsicheren High Troughput Messaging System
Hadoop Map/Reduce Kafka Hive ETL Java Linux
Ubisoft / BlueByte GmbH
1 Jahr 5 Monate
2013-02 - 2014-06

Konzeption und Umsetzung einer Big Data Infrastruktur in virtualisierten Umgebungen

System Architect, DevOps Engineer,
System Architect, DevOps Engineer,
  • Planung und Realisierung einer Big Data Deployment Infrastruktur
  • Implementierung Deployment Prozess für Hadop Cluster on Demand in einer virtualisierten Umgebung
  • Prototypische Implementierung verschiedener Algorithmen im Map/Reduce Framework
Hadoop OpenStack Opscode Chef Java Linux
Deutsche Telekom AG
8 Monate
2012-05 - 2012-12

Konzeption und Umsetzung eines Hadoop Clusters

DevOps Engineer
DevOps Engineer
  • Beratung und Konzeption eines Hadoop Clusters
  • Auswahl der geeigneten Hardware
  • Einrichten eines Deployment Prozesses und Ausrollen des Clusters
  • Portierung bestehender Statistikroutinen nach Map/Reduce
Apache Hadoop Hive Pig Python Java Maven Puppet Debian Linux
exactag GmbH
10 Monate
2011-06 - 2012-03

Neuimplementierung eines Analysetools als Map/Reduce Anwendung

Data & Software Engineer
Data & Software Engineer
  • Analyse und Integration einer bestehenden Implementierung in das Map/Reduce Framework mit der Hadoop Streaming API
  • Installation und Konfiguration eines Hadoop Clusters inkl. Monitoring
  • Einrichten eines Deployment Prozesses
Apache Hadoop/HBase Java Maven Ganglia Chef PHP Debian Linux
Etracker GmbH
6 Monate
2010-09 - 2011-02

Integration eines Payment Providers in bestehendes Backend

Software Engineer
Software Engineer

Integration eines Payment Providers in bestehendes Backend

(Ruby/Rails, OAuth, MySQL, Git, Debian Linux)

  • Datenaufbereitung, Konvertierung und Import in Datenbank
  • Mapping der Daten, Textmatching mit vorhandener Datenbasis
  • Integration eines Payment Providers
Aupeo GmbH
5 Monate
2010-05 - 2010-09

Integration einer Signaturkomponente in ein Email Programm

Software Engineer
Software Engineer

Integration einer Signaturkomponente in ein Email Programm (KMail) (C++, Qt, KDE, Ubuntu Linux)

  • Einrichten der Debug Umgebung
  • Integration Signaturkomponente in KMail
  • Testen der Implementierung
OpenLimit SignCubes GmbH
3 Monate
2010-03 - 2010-05

Implementierung und Refactoring eines Analysetools in C++

Software Engineer
Software Engineer

Implementierung und Refactoring eines Analysetools in C++

(C++, MySQL C/C++ API, Doxygen, Hudson, Ubuntu/Debian Linux)

  • Einrichten einer Build Umgebung für C++ Projekte
  • Refactoring des Prototypen
  • Anpassung und Erweiterung der Software an Produktionsumgebung (Logging, Fehlerbehandlung, Unit Testing)
  • Einrichten eines Deployment Prozesses
  • Aufsetzen einer Build Servers (Continous Integration)
etracker GmbH
4 Monate
2009-11 - 2010-02

Konzeption und Entwicklung eines Web Crawlers

Software Engineer
Software Engineer

Konzeption und Entwicklung eines Web Crawlers

(C++, Fedora/RedHat Linux, Cassandra)

  • Design der Applikation als hochperformanten multi-threaded Server
  • Implementierung als verteilte Anwendung unter Verwendung von asynchronen Sockets (non-blocking I/O)
IT-Cowboy

Aus- und Weiterbildung

Aus- und Weiterbildung

6 Jahre
1998-10 - 2004-09

Studium der Theoretischen Elektrotechnik

Diplom, Technische Universität Ilmenau
Diplom
Technische Universität Ilmenau
3 Jahre 11 Monate
1992-09 - 1996-07

Allgemeine Hochschulreife

Allgemeine Hochschulreife, Georg-Cantor-Gymnasium Halle(Saale)
Allgemeine Hochschulreife
Georg-Cantor-Gymnasium Halle(Saale)

Position

Position

Systemarchitekt/Berater/Softwareentwickler mit Schwerpunkt verteilte Systeme ? Data, Cloud & Container


Seit mehr als 15 Jahren und in über 20 Projekten unterstütze ich meine Kunden beim Entwurf und der Entwicklung von datengetriebenen Geschäftsprozessen unter Nutzung moderner Technologien.

Kompetenzen

Kompetenzen

Top-Skills

AWS Data Engineer Kubernetes Kafka GitLab DevOps Engineer Apache Spark SQL

Schwerpunkte

Aufbau ETL Prozesse und Cloud Infrastruktur
Experte
Anforderungsanalyse Datenprozesse
Übersetzen von Geschäftsanforderungen in technische Prozesse un Infrastrukturen
Technologieberatung
Die richtige Technologie für den konkreten Anwendungsfall
Mentoring
Wissenstransfer, Erfahrungsaustausch & Best Practices

Systemarchitekt / Data Engineer mit mehr als 15 Jahren Erfahrung im Aufbau und Betrieb von technischen Prozessen zur Datenverarbeitung auf mativen cloudbasierten Infrastrukturen.

Ich unterstütze meine Kunden beim Entwurf und der Entwicklung von datengetriebenen Geschäftsprozessen unter Nutzung moderner Technologien.


Produkte / Standards / Erfahrungen / Methoden

Cloudtechnologien
Experte
Containertechnologien
Experte
ETL Prozesse
Experte
  • Planung und Umsetzung von ETL Prozessen in Cloud & Container Umgebungen
  • Planung, Aufbau und Automatisierung von Infrastrukturen in Cloud Umgebungen
  • Design von verteilten Systemen hinsichtlich Skalierbarkeit und Performance
  • sehr gute Kenntnisse in der Konzeption und Umsetzung von ETL Prozessen
  • systematische / analytische Heransgehensweise an neue Probleme
  • Design / Entwicklung / Implementierung von Algorithmen (wissenschaftlicher Hintergrund)
  • sehr gute Kenntnisse von Linux & Containertechnologien (Provisioning, Configuration Management, Deployment, Monitoring)
  • Objektorientierte Softwareentwicklung (OOA, OOD, OOP, Test, Dokumentation)
  • gute Kenntnisse Scriptsprachen (Perl / Python / Ruby) zur Automatisierung von Abläufen
  • Test Driven Development, Continuous Integration
  • Umgang mit gängigen Entwicklungswerkzeugen (IDEs, Debugger, SCM, CI/CD)

Cloud Technologien

  • AWS Managed Services (EC2, S3, EMR, DynamoDB, IAM, Kinesis, Lambda, Route53, CloudFormation, ElastiCache, RDS, RedShift, ECS, ECR, Athena, Glue, LakeFormation, etc.)
  • Azure Cloud Services
  • OpenStack
  • Terraform


Containertechnologien

  • Docker
  • Kubernetes
  • Helm
  • Kops
  • Kustomize


Softwareentwicklung

  • Emacs
  • Eclipse/CDT
  • Subversion
  • CVS
  • Makefiles (autoconf, automake)
  • Git
  • CMake
  • Scons
  • ant
  • maven
  • Hudson
  • Doxygen
  • Enterprise Architect

Netzwerktechnologien

  • Ethernet (TCP/IP, UDP, routing, iptables, multicast, sync/async Sockets)

Serversoftware

  • Apache (mod_rewrite, mod_jk, mod_ssl, mod_proxy)
  • Nginx
  • Tomcat
  • HAProxy
  • Mongrel
  • MySQL
  • MySQL Proxy
  • BIND
  • DHCP
  • NFS
  • Samba
  • OpenVPN
  • Squid
  • OpenLDAP
  • Postfix
  • RPM Package Manager
  • Zookeeper

Datacentersoftware

  • Provisioning/Configuration/Deployment (Saltstack, Puppet, Capistrano, Chef, Cobbler)
  • Monitoring/Logging (Ganglia, Nagios, Syslog)


Betriebssysteme

Linux
Experte
Unix
Experte

Programmiersprachen

Python
Experte
Java
Experte
SQL
Experte
Kotlin
Fortgeschritten
Shell
Experte
Ruby/Rails
Fortgeschritten
JSON
Experte
JSON Schema
Experte
XML
Experte
XML Schema
Experte
Matlab
Fortgeschritten
C++
Fortgeschritten
Octave
Fortgeschritten

Datenbanken

PostgreSQL
Experte
Big Data
Experte
Kafka
Experte
Hadoop
Experte
MySQL
Experte
Kinesis
Experte
Hbase
Fortgeschritten
Hive
Fortgeschritten
Impala
Fortgeschritten
Cassandra
Fortgeschritten
Pig
Basics
SQLite3
Fortgeschritten

Datenkommunikation

CORBA
Ethernet
Internet, Intranet
gute Kenntnisse im Bereich Routing, NAT, BIND (DNS), DHCP, LDAP, NFS
REST
RPC
sehr gute Kenntnisse, (SOAP, XML-RPC) in mehreren Projekten verwendet
SOAP
TCP/IP
gute Kenntnisse synchrone/asynchrone Socketprogrammierung
Windows Netzwerk
XML-RPC

Hardware

PC
Macintosh

Branchen

Branchen

  • Medien
  • Logistik
  • Automotive
  • Versicherung
  • Finanzen

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
Ich stehe für meine Kunden weltweit zur Verfügung, bisherige Projekterfahrung im Ausland u.a. in Belgien, Schweiz, Canada, China, Singapore, USA.
möglich

Projekte

Projekte

4 Monate
2024-10 - heute

Supply Chain Management Application

Data Engineer
Data Engineer
  • Unterstützung im Erstellen eines Master Data Sets für eine Supply Chain Management Anwendung
  • Design und Implementierung von ETL Strecken
  • Datenanalyse zur Optimierung der Datenqualität
  • Umsetzung Dashboard zum Monitoring der Datenqualität
  • Aufsetzen CI/CD Pipelines, Monitoring und Alerting für operative ETL Prozesse
SQL Kafka Google Cloud Kubernetes Dbt Kotlin GitHub Kafka Connect
1 Jahr 2 Monate
2023-09 - 2024-10

Unterstützungs- und Beratungsdienstleistungen im Rahmen einer Data Warehouse Implementierung

Data Engineer
Data Engineer
  • Beratung Datenmodell, ETL Strecken

  • Konzeption und Umsetzung mehrerer ETL Strecken

  • Anbindung SAP PLM System zur Datenextraktion und Aufbereitung
  • Anbindung MES System zur Datenextraktion und Aufbereitung
  • Wissenstransfer interner Mitarbeiter

AWS Cloud Java Spring GitLab Docker SQL OpenSearch
Covestro AG
2 Jahre 4 Monate
2021-07 - 2023-10

Unterstützung Migration eines Data Warehouse in die Cloud

Solution Architect
Solution Architect
  • Konzeption und Umsetzung eines Data Ware House mittels LakeFormation und Glue Catalog

  • Migration bestehender Spark Jobs nach AWS Glue, AWS EMR
  • Umsetzung Workflow Management mittels Airflow
  • Konzeption und Umsetzung mehrerer GitLab CI/CD Pipelines zum Testen und Ausrollen backend basierter Prozesse

  • Schulung und Wissenstransfer interner Mitarbeiter

AWS Cloud Docker Glue LakeFormation GitLab AWS Glue SQL
GfK SE
2 Jahre 7 Monate
2020-06 - 2022-12

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Nutzerdaten

Data Engineer
Data Engineer
  • Konzeption und Umsetzung Cloud Infrastruktur zum Aufbau eines Data Warehouse
  • Integration von Airflow als Workflow Engine
  • Integration Google Spark K8s Operator als Laufzeitumgebung für ETL Prozesse
  • Umsetzung ETL Strecken mit PySpark
  • Implementierung Event Streaming Pipeline mit Kafka und PySpark
  • Aufbau eines Teams zur Umsetzung von ETL Prozesse
  • Beratung allg. Datenarchitektur


AWS Cloud Kubernetes Docker Spark Terraform Python Kustomize SQL Kafka
RTL Group
1 Jahr 3 Monate
2019-01 - 2020-03

Konzeption und Umsetzung eines cloud basierten Data Ware House zur Auswertung von Fahrzeugdaten, Aufbau Data Science Umgebung

Data Engineer
Data Engineer

·       Erweiterung und Produktivsetzung eines Prototypen zur Massendatenverarbeitung

·       Aufbau und Inbetriebnahme einer CI/CD Pipeline

·       Konzeption, Umsetzung & Deployment Backend API inkl. Helm Chart

·       Konzeption & Umsetzung Projektstruktur, Release Management

·       Aufbau ETL Strecke zur Datenvalidierung und ?vereinnahmung

AWS Cloud Lambda IAM Kubernetes Docker Terraform Python LogStash Kibana Helm Charts SQL OpenSearch
Volkswagen AG
5 Monate
2019-08 - 2019-12

Konzeption und Umsetzung Infrastruktur zur Sensordatenverarbeitung, Erweiterung einer bestehenden Data Sciene Umgebung

Solution Architect
Solution Architect

·       Beratung hinsichtlich Konzeption und Werkzeuge zum Aufbau einer Kubernetes basierten Infrastruktur zur Sensordatenverarbeitung

·       Konzeption und Aufbau Infrastruktur auf Kubernetes (Kafka Cluster, Spark Framework, Zookeeper, ZK Manager)

·       Konzeption und Aufbau ETL Strecke zur Datenvereinnahmung

·       Konzeption und Aufbau CI/CD Pipeline mit Bamboo & Kubernetes

AWS Cloud Kubernetes Kafka Spark Bamboo Java Docker Helm Charts InfluxDB
D. Swarovski KG
1 Jahr 8 Monate
2017-05 - 2018-12

Unterstützung Konzeption und Umsetzung einer Micro Service Architektur

System Architect
System Architect
  • Abstimmung und Koordination div. Teams bzgl. Technologieeinsatz
  • Unterstützung Konzeption zentraler Elemente (De/Serializer, Data Pipe Design, Error Handling, Message Handling, Datenbank Design)
  • Einführen von Kafka als zentralen Message Bus für Micro Services
  • Einführen von LiquiBase zum Datenbank Schema Management
  • Fachlich / technische Betreuung eines konkreten Micro Service
Micro Services Java Docker Kafka LiquiBase IT Architektur allg
aixigo AG
1 Jahr 2 Monate
2017-10 - 2018-11

Konzeption und Umsetzung eines cloud basierten Data Ware House / Data Science Umgebung

Data Engineer
Data Engineer

·       Konzeption eines dynamisch skalierbaren Data Ware House

·       Umsetzung Infrastruktur in Terraform (Infrastructure as Code)

·       Umsetzung Infrastruktur Komponenten in Kubernetes

·       Modellierung DWH & Datenablage

·       Aufbau ETL Strecken zur Datenvereinnahmung

AWS Cloud Kubernetes Spark R NiFi Terraform Docker Jupyter NB SQL
D. Swarovski KG
8 Monate
2017-01 - 2017-08

Konzeption und Umsetzung Big Data Warehouse

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Technische Projektleitung
  • Konzeption AWS Cloud Infrastruktur
  • Implementierung Data Pipelines
  • Aufbau Data Warehouse / Workflow Management
  • Datenaufbereitung / Prozessmanagement
Spark SparkR Hadoop Hive Jupyter AWS Cloud R Bamboo Terraform SQL
GfK SE
1 Monat
2017-03 - 2017-03

Unterstützung bei der Evaluierung von Anbietern im Bereich Big Data

Requirements Engineer
Requirements Engineer
  • Erfassung und Dokumentation der technischen und fachlichen Anforderungen zum Aufbau und Betrieb eines auf Apache Hadoop basierenden Data Warehouse
  • Einholen von Angeboten verschiedener Anbieter, Aufbereitung der Informationen zur Entscheidungsfindung
  • Implementierung eines Prototyps zur Datenvereinnahmung
Hortonworks Cloudera SAP Cloud Apache NiFi AWS Cloud MS Azure
Open Grid Europe GmbH
7 Monate
2016-06 - 2016-12

Architekturreview und Konzeption und Implementierung Streaming Layer

Solution Architect, Data Engineer
Solution Architect, Data Engineer
  • Review und Bewertung vorhandene Architektur und Datenmodell
  • Durchführung Workshop Datenmanagement / Lambda Architektur
  • Konzeption und Implementierung Realtime Layer mit Spark RT
  • Erarbeitung Konzept und Umsetzung für die Integration von Realtime Layer und Batch Layer
Hadoop Spark AWS Cloud Scala MapReduce JCascalog RedShift
Helix Leisure Pte Ltd
1 Monat
2016-10 - 2016-10

Workshop Big Data Technologien ? Einführung und Funktionsweise

Data Engineer
Data Engineer
  • Durchführung eines 3-tägigen Workshops
  • Einführung in Big Data/Hadoop Ökosystem
  • Praktische Übung Big Data Einsatz in der AWS Cloud
Hadoop Spark AWS Cloud MapReduce Hive Pig R
Universitätsspital Basel
5 Jahre 7 Monate
2011-03 - 2016-09

Konzeption und Entwicklung einer Webapplikation

Founder, Data & Software Engineer
Founder, Data & Software Engineer

Konzeption und Entwicklung einer Webapplikation (LambdaNow)

  • Konzeption der Anwendung
  • Implementierung von Webseite und Backend
  • Einrichten Deployment Prozess + Hosting Umgebung
  • Einrichtung eines vollautomatisierten Apache Hadoop Deployment Prozesses in der Amazon Cloud
Apache Hadoop Python Puppet AWS Git RedHat Linux
[Firma auf Anfrage]
9 Monate
2015-12 - 2016-08

Konzeption und Aufbau Continuous Deployment / Delivery Pipeline für datengetriebene Anwendung in einer Cloud Umgebung

DevOps Engineer
DevOps Engineer
  • Planung und Umsetzung einer Big Data Infrastruktur in der AWS Cloud
  • Planung und Umsetzung einer Continuous Deployment Pipeline
  • Technische Leitung eines internen Teams
AWS Cloud Hadoop Spark Bamboo Git Terraform Vagrant InfluxDB
GfK SE
6 Monate
2016-02 - 2016-07

Unterstützung im Aufbau von ETL Strecken für ein Hadoop basiertes DWH

Software Entwickler
Software Entwickler
  • Planung und Umsetzung eines Hive Export Moduls
  • Implementierung Kafka & Redis Export Modul als Teil eines Open Source Projektes
  • Implementierung Analyse Algorithmus zur Auswertung von Click Streams
Hadoop Hive Spark Redis Kafka Avro Scala HCatalog Schedoscope
Otto GmbH & Co. KG
4 Monate
2015-07 - 2015-10

Konzeption und Umsetzung eines Data Ware House basierend auf Big Data Technologien ? OLAP workload

Solution Architect
Solution Architect
  • Planung und Realisierung der Cluster Infrastruktur
  • Evaluierung verschiedener Eingangsformate hinsichtlich der Performance
  • Vorbereitung und Durchführung von Lasttests
Hadoop Impala Hive ETL AWS Cloud
RadioOpt GmbH
2 Jahre 10 Monate
2012-11 - 2015-08

Konzeption und Umsetzung einer Big Data Architektur zur Auswertung Telekommunikationsdaten

Data & DevOps Engineer
Data & DevOps Engineer
  • Planung und Realisierung des Netzwerkes (VPC)
  • Planung und Realisierung eines Hadoop Clusters (100TB Kapazität)
  • Einrichten Deployment Prozess, inkl. Monitoring
  • Implementierung eines Data Ingestion Frameworks zur Speicherung von ca. 300GB Daten pro Tag
Apache Hadoop Hive Flume Java Spring Puppet Ubuntu Linux AWS
GfK SE
1 Jahr
2014-07 - 2015-06

Konzeption und UmsetzKonzeption und Umsetzung eines Big Data Systems zur Batch und Realtime Datenverarbeitung

Data & DevOps Engineer
Data & DevOps Engineer
  • Planung und Realisierung der Deploymentumgebung
  • Evaluierung verschiedener Technologien zur Datenerfassung / Datenverarbeitung
  • Technische Leitung eines Teams
  • Implementierung eines verteilten, ausfallsicheren High Throughput Messaging- und Analyse Systems für Maschinendaten
Hadoop Storm Kafka Java ETL Linux AWS Cloud
Technicolor SA
1 Jahr 7 Monate
2013-03 - 2014-09

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse

Data Engineer
Data Engineer

Konzeption und Umsetzung eines Hadoop basierten Data Warehouse für Game Analytics

  • Planung und Realisierung eines Data Warehouse
  • Evaluierung verschiedener Ansätze zur Datenerfassung
  • Auswahl geeigneter Technologien
  • Technische Leitung / Koordination eines verteilten Teams (GER, CN, CAN)
  • Implementierung eines verteilten, ausfallsicheren High Troughput Messaging System
Hadoop Map/Reduce Kafka Hive ETL Java Linux
Ubisoft / BlueByte GmbH
1 Jahr 5 Monate
2013-02 - 2014-06

Konzeption und Umsetzung einer Big Data Infrastruktur in virtualisierten Umgebungen

System Architect, DevOps Engineer,
System Architect, DevOps Engineer,
  • Planung und Realisierung einer Big Data Deployment Infrastruktur
  • Implementierung Deployment Prozess für Hadop Cluster on Demand in einer virtualisierten Umgebung
  • Prototypische Implementierung verschiedener Algorithmen im Map/Reduce Framework
Hadoop OpenStack Opscode Chef Java Linux
Deutsche Telekom AG
8 Monate
2012-05 - 2012-12

Konzeption und Umsetzung eines Hadoop Clusters

DevOps Engineer
DevOps Engineer
  • Beratung und Konzeption eines Hadoop Clusters
  • Auswahl der geeigneten Hardware
  • Einrichten eines Deployment Prozesses und Ausrollen des Clusters
  • Portierung bestehender Statistikroutinen nach Map/Reduce
Apache Hadoop Hive Pig Python Java Maven Puppet Debian Linux
exactag GmbH
10 Monate
2011-06 - 2012-03

Neuimplementierung eines Analysetools als Map/Reduce Anwendung

Data & Software Engineer
Data & Software Engineer
  • Analyse und Integration einer bestehenden Implementierung in das Map/Reduce Framework mit der Hadoop Streaming API
  • Installation und Konfiguration eines Hadoop Clusters inkl. Monitoring
  • Einrichten eines Deployment Prozesses
Apache Hadoop/HBase Java Maven Ganglia Chef PHP Debian Linux
Etracker GmbH
6 Monate
2010-09 - 2011-02

Integration eines Payment Providers in bestehendes Backend

Software Engineer
Software Engineer

Integration eines Payment Providers in bestehendes Backend

(Ruby/Rails, OAuth, MySQL, Git, Debian Linux)

  • Datenaufbereitung, Konvertierung und Import in Datenbank
  • Mapping der Daten, Textmatching mit vorhandener Datenbasis
  • Integration eines Payment Providers
Aupeo GmbH
5 Monate
2010-05 - 2010-09

Integration einer Signaturkomponente in ein Email Programm

Software Engineer
Software Engineer

Integration einer Signaturkomponente in ein Email Programm (KMail) (C++, Qt, KDE, Ubuntu Linux)

  • Einrichten der Debug Umgebung
  • Integration Signaturkomponente in KMail
  • Testen der Implementierung
OpenLimit SignCubes GmbH
3 Monate
2010-03 - 2010-05

Implementierung und Refactoring eines Analysetools in C++

Software Engineer
Software Engineer

Implementierung und Refactoring eines Analysetools in C++

(C++, MySQL C/C++ API, Doxygen, Hudson, Ubuntu/Debian Linux)

  • Einrichten einer Build Umgebung für C++ Projekte
  • Refactoring des Prototypen
  • Anpassung und Erweiterung der Software an Produktionsumgebung (Logging, Fehlerbehandlung, Unit Testing)
  • Einrichten eines Deployment Prozesses
  • Aufsetzen einer Build Servers (Continous Integration)
etracker GmbH
4 Monate
2009-11 - 2010-02

Konzeption und Entwicklung eines Web Crawlers

Software Engineer
Software Engineer

Konzeption und Entwicklung eines Web Crawlers

(C++, Fedora/RedHat Linux, Cassandra)

  • Design der Applikation als hochperformanten multi-threaded Server
  • Implementierung als verteilte Anwendung unter Verwendung von asynchronen Sockets (non-blocking I/O)
IT-Cowboy

Aus- und Weiterbildung

Aus- und Weiterbildung

6 Jahre
1998-10 - 2004-09

Studium der Theoretischen Elektrotechnik

Diplom, Technische Universität Ilmenau
Diplom
Technische Universität Ilmenau
3 Jahre 11 Monate
1992-09 - 1996-07

Allgemeine Hochschulreife

Allgemeine Hochschulreife, Georg-Cantor-Gymnasium Halle(Saale)
Allgemeine Hochschulreife
Georg-Cantor-Gymnasium Halle(Saale)

Position

Position

Systemarchitekt/Berater/Softwareentwickler mit Schwerpunkt verteilte Systeme ? Data, Cloud & Container


Seit mehr als 15 Jahren und in über 20 Projekten unterstütze ich meine Kunden beim Entwurf und der Entwicklung von datengetriebenen Geschäftsprozessen unter Nutzung moderner Technologien.

Kompetenzen

Kompetenzen

Top-Skills

AWS Data Engineer Kubernetes Kafka GitLab DevOps Engineer Apache Spark SQL

Schwerpunkte

Aufbau ETL Prozesse und Cloud Infrastruktur
Experte
Anforderungsanalyse Datenprozesse
Übersetzen von Geschäftsanforderungen in technische Prozesse un Infrastrukturen
Technologieberatung
Die richtige Technologie für den konkreten Anwendungsfall
Mentoring
Wissenstransfer, Erfahrungsaustausch & Best Practices

Systemarchitekt / Data Engineer mit mehr als 15 Jahren Erfahrung im Aufbau und Betrieb von technischen Prozessen zur Datenverarbeitung auf mativen cloudbasierten Infrastrukturen.

Ich unterstütze meine Kunden beim Entwurf und der Entwicklung von datengetriebenen Geschäftsprozessen unter Nutzung moderner Technologien.


Produkte / Standards / Erfahrungen / Methoden

Cloudtechnologien
Experte
Containertechnologien
Experte
ETL Prozesse
Experte
  • Planung und Umsetzung von ETL Prozessen in Cloud & Container Umgebungen
  • Planung, Aufbau und Automatisierung von Infrastrukturen in Cloud Umgebungen
  • Design von verteilten Systemen hinsichtlich Skalierbarkeit und Performance
  • sehr gute Kenntnisse in der Konzeption und Umsetzung von ETL Prozessen
  • systematische / analytische Heransgehensweise an neue Probleme
  • Design / Entwicklung / Implementierung von Algorithmen (wissenschaftlicher Hintergrund)
  • sehr gute Kenntnisse von Linux & Containertechnologien (Provisioning, Configuration Management, Deployment, Monitoring)
  • Objektorientierte Softwareentwicklung (OOA, OOD, OOP, Test, Dokumentation)
  • gute Kenntnisse Scriptsprachen (Perl / Python / Ruby) zur Automatisierung von Abläufen
  • Test Driven Development, Continuous Integration
  • Umgang mit gängigen Entwicklungswerkzeugen (IDEs, Debugger, SCM, CI/CD)

Cloud Technologien

  • AWS Managed Services (EC2, S3, EMR, DynamoDB, IAM, Kinesis, Lambda, Route53, CloudFormation, ElastiCache, RDS, RedShift, ECS, ECR, Athena, Glue, LakeFormation, etc.)
  • Azure Cloud Services
  • OpenStack
  • Terraform


Containertechnologien

  • Docker
  • Kubernetes
  • Helm
  • Kops
  • Kustomize


Softwareentwicklung

  • Emacs
  • Eclipse/CDT
  • Subversion
  • CVS
  • Makefiles (autoconf, automake)
  • Git
  • CMake
  • Scons
  • ant
  • maven
  • Hudson
  • Doxygen
  • Enterprise Architect

Netzwerktechnologien

  • Ethernet (TCP/IP, UDP, routing, iptables, multicast, sync/async Sockets)

Serversoftware

  • Apache (mod_rewrite, mod_jk, mod_ssl, mod_proxy)
  • Nginx
  • Tomcat
  • HAProxy
  • Mongrel
  • MySQL
  • MySQL Proxy
  • BIND
  • DHCP
  • NFS
  • Samba
  • OpenVPN
  • Squid
  • OpenLDAP
  • Postfix
  • RPM Package Manager
  • Zookeeper

Datacentersoftware

  • Provisioning/Configuration/Deployment (Saltstack, Puppet, Capistrano, Chef, Cobbler)
  • Monitoring/Logging (Ganglia, Nagios, Syslog)


Betriebssysteme

Linux
Experte
Unix
Experte

Programmiersprachen

Python
Experte
Java
Experte
SQL
Experte
Kotlin
Fortgeschritten
Shell
Experte
Ruby/Rails
Fortgeschritten
JSON
Experte
JSON Schema
Experte
XML
Experte
XML Schema
Experte
Matlab
Fortgeschritten
C++
Fortgeschritten
Octave
Fortgeschritten

Datenbanken

PostgreSQL
Experte
Big Data
Experte
Kafka
Experte
Hadoop
Experte
MySQL
Experte
Kinesis
Experte
Hbase
Fortgeschritten
Hive
Fortgeschritten
Impala
Fortgeschritten
Cassandra
Fortgeschritten
Pig
Basics
SQLite3
Fortgeschritten

Datenkommunikation

CORBA
Ethernet
Internet, Intranet
gute Kenntnisse im Bereich Routing, NAT, BIND (DNS), DHCP, LDAP, NFS
REST
RPC
sehr gute Kenntnisse, (SOAP, XML-RPC) in mehreren Projekten verwendet
SOAP
TCP/IP
gute Kenntnisse synchrone/asynchrone Socketprogrammierung
Windows Netzwerk
XML-RPC

Hardware

PC
Macintosh

Branchen

Branchen

  • Medien
  • Logistik
  • Automotive
  • Versicherung
  • Finanzen

Vertrauen Sie auf Randstad

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.