Data Engineering, Cloud, Spark, Databricks, Kafka
Aktualisiert am 30.04.2024
Profil
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 01.05.2024
Verfügbar zu: 20%
davon vor Ort: 50%
ETL
Apache Spark
Big Data
AWS
Azure
Data Engineering
Datenarchitektur
GCP
Kafka
Databricks
Deutsch
Muttersprache
Englisch
Verhandlungssicher

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
möglich

Projekte

Projekte

1 Jahr 6 Monate
2022-10 - 2024-03

Customer Retention ? Streaming Architektur

Data Engineer Apache Kafka Apache Spark Kubernetes ...
Data Engineer
  • Konzeption, Entwicklung und Betrieb einer nachhaltigen, echtzeitfähigen Dateninfrastruktur zur Verarbeitung von Events einer Video- und Musikstreaming Plattform
  • Weiterentwicklung und Optimierung von Spark Streaming Anwendungen
Apache Kafka Apache Spark Kubernetes Kafka Streams Apache Airflow Terraform S3 Google BigQuery Python Kotlin AWS AWS (Kinesis; DynamoDB; S3; Athena)
Medienunternehmen
Köln
3 Monate
2022-08 - 2022-10

Real-Time Reporting

Data Engineer Java Kafka Streams Kafka Connect ...
Data Engineer
  • Entwicklung einer Datenstrecke zur Aufbereitung von Medikamentendaten für ein angeschlossenes Reporting System
Java Kafka Streams Kafka Connect Docker
Gesundheit
Remote
10 Monate
2022-01 - 2022-10

Data Driven Retailer

Data Platform Architect Databricks Terraform Google Cloud (DataProc; BigQuery; GCS; DataPlex)
Data Platform Architect
  • Konzeption und Proof of Concept Entwicklung einer konzernweiten Daten- Plattform, unter Berücksichtigung der Unternehmensziele: Data-Driven Company, Cloud-First und Data Mesh
Databricks Terraform Google Cloud (DataProc; BigQuery; GCS; DataPlex)
Handel
Karlsruhe (Baden)
2 Jahre 1 Monat
2020-09 - 2022-09

Apache NiFi Workshop

Data Engineer, Trainer
Data Engineer, Trainer

  • Vorbereitung und Moderation eines Workshops/Trainings zu Apache NiFi
  • Vermittlung von Best Practices

Apache NiFi
Telekommunikation
2 Jahre 1 Monat
2020-01 - 2022-01

Data Integration Platform

Senior Data Engineer, Solution Architect Azure Databricks Apache Spark ...
Senior Data Engineer, Solution Architect
  • Aufbau und Weiterentwicklung einer hybriden Daten-Plattform zur skalierbaren Analyse und Aufbereitung von Maschinen-, IoT-, und Stammdaten
  • Konzeption der Datenstrecken, Implementierung der Datenprozesse mit Azure Functions, Apache Spark und Apache NiFi
  • Performance- und Qualitätsoptimierung der Aufbereitungsprozesse
Azure Databricks Apache Spark Cloudera CDH Apache NiFi Apache HBase Docker Python Terraform Ansible
Maschinenbau
Ditzingen
2 Jahre 1 Monat
2020-01 - 2022-01

Media Analytics Platform

Data Engineer
Data Engineer
  • Entwicklung von ETL-Strecken, Datenanalyse und -verarbeitung
  • Anbindung und Integration neuer Datenquellen in das bestehende System
Apache Hive Apache Spark Pentaho Data Integration Java Scala
Medien und Unterhaltung
2 Jahre
2018-01 - 2019-12

Customer Experience Analytics

Data Engineer Apache Spark Apache Hive Apache Airflow ...
Data Engineer
  • Aufbau und die Weiterentwicklung und Betrieb einer Daten-Plattform zur skalierbaren DSGVO-konformen Analyse und Aufbereitung von Kundendaten
  • Performance- und Qualitäts-Optimierung der Aufbereitungsprozesse; Architektur und Implementierung DSGVO-Prozesse
Apache Spark Apache Hive Apache Airflow Apache NiFi Apache Zeppelin Python SAS Visual Analytics SQL
Handel
Karlsruhe
4 Monate
2017-09 - 2017-12

Data Analytics und Business Intelligence

Data Engineer, BI Engineer
Data Engineer, BI Engineer
  • Modellierung und Implementierung von ETL-Strecken, Reports, Cubes und Dashboards
  • Weiterentwicklung eines Recommender-Systems sowie dessen Bereitstellung als hochverfügbaren Microservice. Konzeption und Umsetzung von Maßnahmen zur Qualitätssicherung
Pentaho BI Stack Apache Spark Python Java SQL AWS
Handel

Aus- und Weiterbildung

Aus- und Weiterbildung

2 Jahre
2015-03 - 2017-02

Informatik

M.Sc., Hochschule Offenburg
M.Sc.
Hochschule Offenburg
2 Jahre 5 Monate
2012-10 - 2015-02

Wirtschaftsinformatik

B.Sc., Hochschule Offenburg
B.Sc.
Hochschule Offenburg

Kompetenzen

Kompetenzen

Top-Skills

ETL Apache Spark Big Data AWS Azure Data Engineering Datenarchitektur GCP Kafka Databricks

Schwerpunkte

  • Entwurf, Entwicklung und Betrieb von skalierbaren und verteilten Datenstrecken (Batch, Event Driven und Streaming) mit modernen (open-source) Frameworks und Methoden des Software Engineerings
  • Evaluierung, Planung und Weiterentwicklung von Datenplattformen sowohl in der Cloud, on-premise als auch hybrid
  • Unterstüzung bei der Auswahl und Einführung geeigneter Daten Architekturen (Data Warehouses, Data Lakes, Data Lakehouses und Data Mesh)

Produkte / Standards / Erfahrungen / Methoden

Berufserfahrung:

04/2024 - heute

Rolle: Senior Data Engineer / Data Architect 

Kunde: Freelance, Karlsruhe


2017 ? 2024

Rolle: Senior Data Engineer / Data Architect 

Kunde: inovex GmbH, Karlsruhe


2016 ? 2016

Rolle: Data Scientist, Masterand 

Kunde: Mercedes-Benz AG, Sindelfingen


2014 ? 2016

Rolle: Software Engineer 

Kunde: Essential Bytes GmbH & Co. KG, Offenburg


Methodische Kompetenzen:

  • Zielorientiertes und analytisches Denkvermögen und kreative fachübergreifende Lösungskompetenz
  • Hohes Verantwortungsbewusstsein, Teamfähigkeit und Kundenorientierung
  • Agile Arbeitsweisen (Scrum, SAFe, Kanban)


ETL:

  • Spark (Batch, Streaming) 
  • Kafka (Kafka Streams, Kafka Connect) 
  • Airflow


AWS:

  • S3 
  • Athena
  • Glue 
  • RDS/Aurora 
  • Kinesis


GCP:

  • GCS 
  • DataProc 
  • Cloud Composer 
  • BigQuery


Azure:

  • ADLS 
  • Functions 
  • CosmosDB 
  • Synapse 
  • DevOps


Hadoop:

  • HDFS 
  • Hive 
  • Impala 
  • NiFi 
  • Zeppelin 
  • HBase


Infrastruktur:

  • Terraform 
  • Ansible 
  • Kubernetes 
  • Gitlab CI 
  • Grafana 
  • Prometheus 
  • ELK Stack

Programmiersprachen

Python
Java
Kotlin
SQL

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
möglich

Projekte

Projekte

1 Jahr 6 Monate
2022-10 - 2024-03

Customer Retention ? Streaming Architektur

Data Engineer Apache Kafka Apache Spark Kubernetes ...
Data Engineer
  • Konzeption, Entwicklung und Betrieb einer nachhaltigen, echtzeitfähigen Dateninfrastruktur zur Verarbeitung von Events einer Video- und Musikstreaming Plattform
  • Weiterentwicklung und Optimierung von Spark Streaming Anwendungen
Apache Kafka Apache Spark Kubernetes Kafka Streams Apache Airflow Terraform S3 Google BigQuery Python Kotlin AWS AWS (Kinesis; DynamoDB; S3; Athena)
Medienunternehmen
Köln
3 Monate
2022-08 - 2022-10

Real-Time Reporting

Data Engineer Java Kafka Streams Kafka Connect ...
Data Engineer
  • Entwicklung einer Datenstrecke zur Aufbereitung von Medikamentendaten für ein angeschlossenes Reporting System
Java Kafka Streams Kafka Connect Docker
Gesundheit
Remote
10 Monate
2022-01 - 2022-10

Data Driven Retailer

Data Platform Architect Databricks Terraform Google Cloud (DataProc; BigQuery; GCS; DataPlex)
Data Platform Architect
  • Konzeption und Proof of Concept Entwicklung einer konzernweiten Daten- Plattform, unter Berücksichtigung der Unternehmensziele: Data-Driven Company, Cloud-First und Data Mesh
Databricks Terraform Google Cloud (DataProc; BigQuery; GCS; DataPlex)
Handel
Karlsruhe (Baden)
2 Jahre 1 Monat
2020-09 - 2022-09

Apache NiFi Workshop

Data Engineer, Trainer
Data Engineer, Trainer

  • Vorbereitung und Moderation eines Workshops/Trainings zu Apache NiFi
  • Vermittlung von Best Practices

Apache NiFi
Telekommunikation
2 Jahre 1 Monat
2020-01 - 2022-01

Data Integration Platform

Senior Data Engineer, Solution Architect Azure Databricks Apache Spark ...
Senior Data Engineer, Solution Architect
  • Aufbau und Weiterentwicklung einer hybriden Daten-Plattform zur skalierbaren Analyse und Aufbereitung von Maschinen-, IoT-, und Stammdaten
  • Konzeption der Datenstrecken, Implementierung der Datenprozesse mit Azure Functions, Apache Spark und Apache NiFi
  • Performance- und Qualitätsoptimierung der Aufbereitungsprozesse
Azure Databricks Apache Spark Cloudera CDH Apache NiFi Apache HBase Docker Python Terraform Ansible
Maschinenbau
Ditzingen
2 Jahre 1 Monat
2020-01 - 2022-01

Media Analytics Platform

Data Engineer
Data Engineer
  • Entwicklung von ETL-Strecken, Datenanalyse und -verarbeitung
  • Anbindung und Integration neuer Datenquellen in das bestehende System
Apache Hive Apache Spark Pentaho Data Integration Java Scala
Medien und Unterhaltung
2 Jahre
2018-01 - 2019-12

Customer Experience Analytics

Data Engineer Apache Spark Apache Hive Apache Airflow ...
Data Engineer
  • Aufbau und die Weiterentwicklung und Betrieb einer Daten-Plattform zur skalierbaren DSGVO-konformen Analyse und Aufbereitung von Kundendaten
  • Performance- und Qualitäts-Optimierung der Aufbereitungsprozesse; Architektur und Implementierung DSGVO-Prozesse
Apache Spark Apache Hive Apache Airflow Apache NiFi Apache Zeppelin Python SAS Visual Analytics SQL
Handel
Karlsruhe
4 Monate
2017-09 - 2017-12

Data Analytics und Business Intelligence

Data Engineer, BI Engineer
Data Engineer, BI Engineer
  • Modellierung und Implementierung von ETL-Strecken, Reports, Cubes und Dashboards
  • Weiterentwicklung eines Recommender-Systems sowie dessen Bereitstellung als hochverfügbaren Microservice. Konzeption und Umsetzung von Maßnahmen zur Qualitätssicherung
Pentaho BI Stack Apache Spark Python Java SQL AWS
Handel

Aus- und Weiterbildung

Aus- und Weiterbildung

2 Jahre
2015-03 - 2017-02

Informatik

M.Sc., Hochschule Offenburg
M.Sc.
Hochschule Offenburg
2 Jahre 5 Monate
2012-10 - 2015-02

Wirtschaftsinformatik

B.Sc., Hochschule Offenburg
B.Sc.
Hochschule Offenburg

Kompetenzen

Kompetenzen

Top-Skills

ETL Apache Spark Big Data AWS Azure Data Engineering Datenarchitektur GCP Kafka Databricks

Schwerpunkte

  • Entwurf, Entwicklung und Betrieb von skalierbaren und verteilten Datenstrecken (Batch, Event Driven und Streaming) mit modernen (open-source) Frameworks und Methoden des Software Engineerings
  • Evaluierung, Planung und Weiterentwicklung von Datenplattformen sowohl in der Cloud, on-premise als auch hybrid
  • Unterstüzung bei der Auswahl und Einführung geeigneter Daten Architekturen (Data Warehouses, Data Lakes, Data Lakehouses und Data Mesh)

Produkte / Standards / Erfahrungen / Methoden

Berufserfahrung:

04/2024 - heute

Rolle: Senior Data Engineer / Data Architect 

Kunde: Freelance, Karlsruhe


2017 ? 2024

Rolle: Senior Data Engineer / Data Architect 

Kunde: inovex GmbH, Karlsruhe


2016 ? 2016

Rolle: Data Scientist, Masterand 

Kunde: Mercedes-Benz AG, Sindelfingen


2014 ? 2016

Rolle: Software Engineer 

Kunde: Essential Bytes GmbH & Co. KG, Offenburg


Methodische Kompetenzen:

  • Zielorientiertes und analytisches Denkvermögen und kreative fachübergreifende Lösungskompetenz
  • Hohes Verantwortungsbewusstsein, Teamfähigkeit und Kundenorientierung
  • Agile Arbeitsweisen (Scrum, SAFe, Kanban)


ETL:

  • Spark (Batch, Streaming) 
  • Kafka (Kafka Streams, Kafka Connect) 
  • Airflow


AWS:

  • S3 
  • Athena
  • Glue 
  • RDS/Aurora 
  • Kinesis


GCP:

  • GCS 
  • DataProc 
  • Cloud Composer 
  • BigQuery


Azure:

  • ADLS 
  • Functions 
  • CosmosDB 
  • Synapse 
  • DevOps


Hadoop:

  • HDFS 
  • Hive 
  • Impala 
  • NiFi 
  • Zeppelin 
  • HBase


Infrastruktur:

  • Terraform 
  • Ansible 
  • Kubernetes 
  • Gitlab CI 
  • Grafana 
  • Prometheus 
  • ELK Stack

Programmiersprachen

Python
Java
Kotlin
SQL

Vertrauen Sie auf Randstad

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.