(Senior) Data Engineer mit Schwerpunkt auf data-intensive Pipelines in Azure, Python, PySpark und Databricks
Aktualisiert am 06.05.2024
Profil
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 06.05.2024
Verfügbar zu: 100%
davon vor Ort: 100%
Python
PySpark
Azure
SQL
Shell
Databricks
Scrum
CICD
Git
Clean Code
ELK Stack
Airflow
PyTest
NoSQL
flask
pandas
numpy
scikit-learn
cloud architectures
Deutsch
Muttersprache
Englisch
fließend in Wort und Schrift (C2)

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
möglich

Projekte

Projekte

1 Jahr
2022-11 - 2023-10

Data-Analytic-Plattform: Redesign und Use-Cases

Senior Data Engineer Python Airflow PySpark ...
Senior Data Engineer

Redesign der bestehenden Data-Analytics Plattform. Entwicklung neuer Datenprodukte und Auswertungen für Fachbereiche.

  • Teil zweier agiler Teams von 18 zur Bereitstellung einer Data-Analytics-Plattform.
  • Redesign der Datenpipelines und Entwicklung von ~60 Datenprodukten aus güter- und personenbezogenen Daten. 
  • Optimierung der Prozessierungszeit um Faktor 100. Technische Leitung in Austausch mit Architekten. 
  • Review aller Pull-Requests von zwölf Entwicklern. 
  • Enablement von Junior Entwicklern.

Python Airflow PySpark Iceberg SQL NiFi AWS S3 Kafka SAFe Clean Code
Bundesamt für Zoll und Grenzsicherheit
Schweiz
9 Monate
2022-01 - 2022-09

Cloud-Datenplattform: Entwicklung neuer Use-Cases

Senior Data Engineer Python Azure Databricks ...
Senior Data Engineer

Unterstützung der Fachbereiche zur Umsetzung von Machine-Learning-basierten Use-Cases zur Predictive Maintenance und Visualisierung für Endkunden.

  • Teil eines agilen Teams von ~30 zur Bereitstellung einer Cloud-Datenplattform für Fachbereiche des Weltmarktführers.
  • Design und Umsetzung mehrerer Architekturen für ~30 ETL-Anwendungen und APIs, zur Verarbeitung globaler IoT-Daten im Terabyte Bereich.
  • Deployment von gemanagten Services in hybriden Cloud Setup.
  • Optimierung des Projektdesigns für Ersparnis von ~4000? im Monat. 
  • Präsentationen vor bis zu 60.

Python Azure Databricks PySpark SQL NiFi Shell CI/CD Terraform CosmosDB sparklyr
Hersteller von industriellen Werkzeugmaschinen
1 Jahr 4 Monate
2020-09 - 2021-12

Entwicklung mehrerer ETL-Strecken von IoT- und Versuchsdaten

Data Engineer, Architekt Python Bash Elasticsearch ...
Data Engineer, Architekt

Mehrere ETL-Strecken fu?r IoT- und Versuchsdaten mit automatisierter Dashboard Visualisierung. Normalisierung verschiedener Datenformate.

  • Design und Umsetzung von Architektur für ETL- und Dashboarding-Anwendung auf IoT-Daten. 
  • Fokus auf Security für sensitive Labordaten in Azure. 
  • Aufsetzen und Implementierung von Clean Code- und Architekturprinzipien für Wartbarkeit von 11 Python Modulen. 
  • Verringerung der Laufzeit um Faktor ~50.
  • Requirements Engineering als erster Ansprechpartner für Stakeholder.

Python Bash Elasticsearch Kibana Docker Azure DevOps Pipelines Git Dash Azure Logic Apps Azure Container Instances Azure App Services Azure Data Lake Storage Gen2 Clean Code
Hersteller von Groß- und Industrieku?chengera?ten
8 Monate
2021-02 - 2021-09

Datenanbindung und Analysecluster

Data Engineer Python PySpark DataBricks ...
Data Engineer

Anbindung mehrerer externer Datenquellen an die Cloud-Datenplattform. Aufbau einer Analyse-Plattform zur Umsetzung skalierbarer Data Analytics Use-Cases mit Schwerpunkt Predictive Maintenance

  • Teil eines agilen Teams von 8 für datengetriebene Lösungen für Endkunden des Weltmarktführers. 
  • Design und Umsetzung einer Plattform für ETL- und ML-Anwendungen zur Verarbeitung globaler IoT-Daten im Terabyte Bereich. 
  • End-to-end Architektur von Anfragen der Rohdaten, über Data Lake zu ML- und Visualisierungsanwendungen. 
  • Deployment von gemanagten Services im privaten Netzwerk. 
  • Enablement von Entwicklern des Kunden.

Python PySpark DataBricks Bash Docker Azure DevOps Pipelines Git PostgreSQL Azure Container Instances Azure App Services Azure Data Lake Storage Gen2
Hersteller von Groß- und Industrieku?chengera?ten
4 Monate
2020-11 - 2021-02

Migration mehrer ETL-Strecken und Anwendungen zu Microsoft Azure

Cloud Engineer Python Bash Docker ...
Cloud Engineer

Mehrere ETL-Strecken fu?r IoT-Daten von weltweit verteilten Gera?ten und die dazugeho?rigen Anwendungen wurden samt Data Lake und Datenbank zu Microsoft Azure migriert.

  • Migration der ETL-Strecken zu Azure Container Instances
  • Migration der Anwendungen zu Azure App Services
  • Dokumentation
  • Containerized Deployment
  • Aufsetzen von Azure DevOps CI/CD Pipelines

Python Bash Docker Azure DevOps Pipelines Git Azure Logic Apps Azure Container Instances Azure App Services Azure Data Lake Storage Gen2 Terraform ARM Templates
Hersteller von Groß- und Industrieku?chengera?ten
4 Monate
2020-06 - 2020-09

Weiterentwicklung eines Alarmierungs- und Vorhersagetools

Machine Learning Engineer Python Bash Elasticsearch ...
Machine Learning Engineer

Mehrere ETL-Strecken fu?r IoT-Daten mit Visualisierung in Web-Interface und mit Email Alerting. Normalisierung verschiedener Datenformate.

  • Konzeptionierung, Implementierung und Deployment mehrerer ETL-Strecken und einer Machine-Learning-Web-Anwendung in Python. 
  • Prozessieren von Rohdaten von AWS S3 zu Elasticsearch-Cluster und Kibana Dashboards. 
  • Azure Logic Apps. 
  • Azure Container Instances. Dokumentation.

Python Bash Elasticsearch Kibana Docker Gitlab-CI flask JavaScript HTML Clean Code scikit-learn
Hersteller von Groß- und Industrieku?chengera?ten
1 Jahr 4 Monate
2019-02 - 2020-05

Tabular Data: DNN vs. Conventional ML

Werkstudent - Data Analytics Python scikit-learn fastai ...
Werkstudent - Data Analytics

Design, Implementierung und Ausfu?hrung von Vergleichstests. Pra?sentieren und Dokumentieren der Ergebnisse.

  • Das Ziel war es, die DNN-Methoden von fastai und Self-Normalizing Neural Networks mit ?herko?mmlichen? ML-Methoden zum Prototyping auf kleinen tubula?ren Datensa?tzen zu vergleichen. 
  • Das Ergebnis, das prima?r das interne Know-How der Firma erweitert, sprach stark fu?r die ?konventionellen? ML-Methoden.

Python scikit-learn fastai TensorFlow PyTorch
inovex GmbH
1 Monat
2020-04 - 2020-04

COVID-19 Challenge HospiHelper

Machine Learning Engineer Python AWS flask ...
Machine Learning Engineer

Das Ziel war es, einen Prototyp zur regionalen Vorhersage von COVID-19 Fa?llen mit folgender Last auf die Krankenha?user. Zusa?tzliches Schaffen einer Plattform zur Ressourcenallokation.

  • Design und Implementierung des Prototyps in dynamischen, fully-remote Team

Python AWS flask JavaScript Prototyping
Massachusetts Institute of Technology
7 Monate
2019-04 - 2019-10

A Preprocessing Pipeline for Thermal Comfort Data in Smart Buildings

Student - Data Engineer Grafana influxDB openHAB ...
Student - Data Engineer

Das Ziel war es, Open-Source Technologien zum Sammeln von thermisch-relevanten Daten zu vergleichen.

  • Design und Implementierung und Vergleich der Technologien als Daten-Pipeline.
  • Dokumentation und Pra?sentation der Ergebnisse

Grafana influxDB openHAB SQLite
Lehrstuhl fu?r Angewandte Softwareentwicklung
4 Monate
2018-10 - 2019-01

Bewertung von Apache Kudu

Werkstudent - Data Engineering Apache Kudu Apache HBase
Werkstudent - Data Engineering

Das Ziel war es, die Apache Kudu im Hadoop Ökosystem zu betrachten und zu beurteilen.

  • Design, Implementierung und Ausfu?hrung von Vergleichstests
  • Pra?sentieren und Dokumentieren der Ergebnisse

Apache Kudu Apache HBase
inovex GmbH
4 Monate
2018-04 - 2018-07

Analyse von Messgro?ßen der Teigherstellung

Student - Data Scientist Python scikit-learn AWS ...
Student - Data Scientist

Das Ziel war es, mittels einer machine-learning-basierten iOS App, den Knetvorgang zur industriellen Teigherstellung zu verbessern.

  • Analyse von Messgro?ßen der Teigherstellung
  • Design, Implementierung und Deployment von verschiedenen Machine Learning Methoden auf vorhandenen Daten
  • Dokumentation und Pra?sentation der Ergebnisse

Python scikit-learn AWS Swift
DIOSNA iMixIt
1 Jahr 8 Monate
2013-12 - 2015-07

Entwicklung von Anwendung zur modularen Getriebezusammenstellung

Werkstudent - Software-Entwickler C# SQL
Werkstudent - Software-Entwickler

Entwicklung von Anwendung zur modularen Getriebezusammenstellung mittel User-Interface

  • Das Ziel war es, eine C#-Applikation zu schaffen, mit der Kunden Getriebe per Drag-and-Drop zusammenstellen und darauf Berechnungen durchfu?hren
  • Eigenständiges Arbeiten mit Feedback von Senior Software Engineer

C# SQL
red-ant GmbH

Aus- und Weiterbildung

Aus- und Weiterbildung

7 Monate
2020-07 - 2021-01

Data Engineering Nanodegree

  • Lernen von zentralen Aspekten des Data Engineering anhand praxisnaher Projekte in AWS Cloud-Umgebung
  • Ablegen von gewerteten Projekten


Kenntnisse:

AWS, Python, Shell, Airflow, SQL, PySpark, NoSQL, Data Modeling

8 Monate
2019-09 - 2020-04

Masterthesis

  • Thema und Masterarbeit auf Anfrage

5 Monate
2016-06 - 2016-10

Bachelorthesis

Technische Universita?t Mu?nchen
Technische Universita?t Mu?nchen
Theman und Bachelorarbeit auf Anfrage

Position

Position

Senior Data Engineer

Kompetenzen

Kompetenzen

Top-Skills

Python PySpark Azure SQL Shell Databricks Scrum CICD Git Clean Code ELK Stack Airflow PyTest NoSQL flask pandas numpy scikit-learn cloud architectures

Schwerpunkte

  • Data Engineering in Cloud-Infrastruktur
  • End-to-End Integration von Daten
  • Lo?sungsorientierte Softwareentwicklung von Grobkonzept bis zur Implementierung
  • Explorative Datenanalyse mit Python

Produkte / Standards / Erfahrungen / Methoden

Methodische Kenntnisse
  • Mehrfache Projekterfahrung im Konzipieren und Umsetzen von Data Engineering Use-Cases mittels Cloud-Technologien
  • Mehrfache Projekterfahrung im End-to-End Machine Learning
  • Schnelles Einlernen in neue technische und fachliche Felder
  • Langja?hrige Erfahrung mit agilen Arbeitsweisen (Scrum, Kanban, SAFe)


Soziale Kompetenzen

  • Teamfa?higkeit und kommunikative Sta?rke
  • Zielorientiertes und analytisches Denkvermo?gen
  • Kreative fachu?bergreifende Lo?sungskompetenz


Standards

  • SQL 
  • JSON, YAML 
  • CI/CD 
  • Scrum 
  • SAFe 
  • Data Mesh 
  • REST 
  • XML, XML Schema 
  • UML 
  • Clean Code 


Datenspeicher

  • Azure Blob Storage 
  • Azure ADLS 
  • Azure CosmosDB 
  • Azure SQL Database 
  • PostgreSQL 
  • Delta Tables 
  • Apache Iceberg 
  • Apache Kafka 
  • MongoDB 
  • Apache Cassandra 
  • SQLite 
  • Amazon Redshift 
  • influxDB 
  • Cassandra 


Azure

  • Azure Databricks 
  • Azure Data Factory 
  • Azure Functions 
  • Azure Resource Manager (ARM) 
  • Azure Storage Account 
  • Azure Blob Storage 
  • Data Lake Storage Gen2 (ADLS)
  • Azure Storage Queue 
  • Azure Fileshare 
  • Azure Synapse 
  • Azure DevOps 
  • Azure SQL DB 
  • Azure Cosmos DB 
  • Azure App Services 
  • Azure Container Instances 
  • Azure Key Vault 
  • Azure Event Grid 
  • Azure Virtual Networks 
  • Azure Logic Apps 
  • Azure Active Directory 
  • Azure Event Hub 
  • Azure Stream Analytics 
  • Azure Table Storage 
  • Microsoft Purview 


AWS

  • S3 
  • EC2 
  • Redshift 
  • Elastic Map Reduce (EMR) 


Software / Tools

  • Databricks 
  • PySpark 
  • Spark Streaming 
  • Apache Airflow 
  • Apache Iceberg 
  • Delta 
  • Git 
  • NiFi 
  • Apache Kafka 
  • NumPy 
  • pandas
  • Bash 
  • Docker 
  • Elasticsearch 
  • Kibana 
  • Terraform 
  • Flask 
  • Grafana 
  • scikit-learn 
  • matplotlib 
  • pre-commit 
  • GitLab 
  • GitHub 
  • Atlassian Stack 
  • LaTex 
  • Jupyter Notebook/Lab 
  • PyCharm 
  • Visual Studio Code 
  • Apache Hadoop File System 
  • TensorFlow 
  • PyTorch 
  • XGBoost 

Programmiersprachen

Python
SQL
Shell
JavaScript
Java
C#
Scala
R
C++
Swift

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
möglich

Projekte

Projekte

1 Jahr
2022-11 - 2023-10

Data-Analytic-Plattform: Redesign und Use-Cases

Senior Data Engineer Python Airflow PySpark ...
Senior Data Engineer

Redesign der bestehenden Data-Analytics Plattform. Entwicklung neuer Datenprodukte und Auswertungen für Fachbereiche.

  • Teil zweier agiler Teams von 18 zur Bereitstellung einer Data-Analytics-Plattform.
  • Redesign der Datenpipelines und Entwicklung von ~60 Datenprodukten aus güter- und personenbezogenen Daten. 
  • Optimierung der Prozessierungszeit um Faktor 100. Technische Leitung in Austausch mit Architekten. 
  • Review aller Pull-Requests von zwölf Entwicklern. 
  • Enablement von Junior Entwicklern.

Python Airflow PySpark Iceberg SQL NiFi AWS S3 Kafka SAFe Clean Code
Bundesamt für Zoll und Grenzsicherheit
Schweiz
9 Monate
2022-01 - 2022-09

Cloud-Datenplattform: Entwicklung neuer Use-Cases

Senior Data Engineer Python Azure Databricks ...
Senior Data Engineer

Unterstützung der Fachbereiche zur Umsetzung von Machine-Learning-basierten Use-Cases zur Predictive Maintenance und Visualisierung für Endkunden.

  • Teil eines agilen Teams von ~30 zur Bereitstellung einer Cloud-Datenplattform für Fachbereiche des Weltmarktführers.
  • Design und Umsetzung mehrerer Architekturen für ~30 ETL-Anwendungen und APIs, zur Verarbeitung globaler IoT-Daten im Terabyte Bereich.
  • Deployment von gemanagten Services in hybriden Cloud Setup.
  • Optimierung des Projektdesigns für Ersparnis von ~4000? im Monat. 
  • Präsentationen vor bis zu 60.

Python Azure Databricks PySpark SQL NiFi Shell CI/CD Terraform CosmosDB sparklyr
Hersteller von industriellen Werkzeugmaschinen
1 Jahr 4 Monate
2020-09 - 2021-12

Entwicklung mehrerer ETL-Strecken von IoT- und Versuchsdaten

Data Engineer, Architekt Python Bash Elasticsearch ...
Data Engineer, Architekt

Mehrere ETL-Strecken fu?r IoT- und Versuchsdaten mit automatisierter Dashboard Visualisierung. Normalisierung verschiedener Datenformate.

  • Design und Umsetzung von Architektur für ETL- und Dashboarding-Anwendung auf IoT-Daten. 
  • Fokus auf Security für sensitive Labordaten in Azure. 
  • Aufsetzen und Implementierung von Clean Code- und Architekturprinzipien für Wartbarkeit von 11 Python Modulen. 
  • Verringerung der Laufzeit um Faktor ~50.
  • Requirements Engineering als erster Ansprechpartner für Stakeholder.

Python Bash Elasticsearch Kibana Docker Azure DevOps Pipelines Git Dash Azure Logic Apps Azure Container Instances Azure App Services Azure Data Lake Storage Gen2 Clean Code
Hersteller von Groß- und Industrieku?chengera?ten
8 Monate
2021-02 - 2021-09

Datenanbindung und Analysecluster

Data Engineer Python PySpark DataBricks ...
Data Engineer

Anbindung mehrerer externer Datenquellen an die Cloud-Datenplattform. Aufbau einer Analyse-Plattform zur Umsetzung skalierbarer Data Analytics Use-Cases mit Schwerpunkt Predictive Maintenance

  • Teil eines agilen Teams von 8 für datengetriebene Lösungen für Endkunden des Weltmarktführers. 
  • Design und Umsetzung einer Plattform für ETL- und ML-Anwendungen zur Verarbeitung globaler IoT-Daten im Terabyte Bereich. 
  • End-to-end Architektur von Anfragen der Rohdaten, über Data Lake zu ML- und Visualisierungsanwendungen. 
  • Deployment von gemanagten Services im privaten Netzwerk. 
  • Enablement von Entwicklern des Kunden.

Python PySpark DataBricks Bash Docker Azure DevOps Pipelines Git PostgreSQL Azure Container Instances Azure App Services Azure Data Lake Storage Gen2
Hersteller von Groß- und Industrieku?chengera?ten
4 Monate
2020-11 - 2021-02

Migration mehrer ETL-Strecken und Anwendungen zu Microsoft Azure

Cloud Engineer Python Bash Docker ...
Cloud Engineer

Mehrere ETL-Strecken fu?r IoT-Daten von weltweit verteilten Gera?ten und die dazugeho?rigen Anwendungen wurden samt Data Lake und Datenbank zu Microsoft Azure migriert.

  • Migration der ETL-Strecken zu Azure Container Instances
  • Migration der Anwendungen zu Azure App Services
  • Dokumentation
  • Containerized Deployment
  • Aufsetzen von Azure DevOps CI/CD Pipelines

Python Bash Docker Azure DevOps Pipelines Git Azure Logic Apps Azure Container Instances Azure App Services Azure Data Lake Storage Gen2 Terraform ARM Templates
Hersteller von Groß- und Industrieku?chengera?ten
4 Monate
2020-06 - 2020-09

Weiterentwicklung eines Alarmierungs- und Vorhersagetools

Machine Learning Engineer Python Bash Elasticsearch ...
Machine Learning Engineer

Mehrere ETL-Strecken fu?r IoT-Daten mit Visualisierung in Web-Interface und mit Email Alerting. Normalisierung verschiedener Datenformate.

  • Konzeptionierung, Implementierung und Deployment mehrerer ETL-Strecken und einer Machine-Learning-Web-Anwendung in Python. 
  • Prozessieren von Rohdaten von AWS S3 zu Elasticsearch-Cluster und Kibana Dashboards. 
  • Azure Logic Apps. 
  • Azure Container Instances. Dokumentation.

Python Bash Elasticsearch Kibana Docker Gitlab-CI flask JavaScript HTML Clean Code scikit-learn
Hersteller von Groß- und Industrieku?chengera?ten
1 Jahr 4 Monate
2019-02 - 2020-05

Tabular Data: DNN vs. Conventional ML

Werkstudent - Data Analytics Python scikit-learn fastai ...
Werkstudent - Data Analytics

Design, Implementierung und Ausfu?hrung von Vergleichstests. Pra?sentieren und Dokumentieren der Ergebnisse.

  • Das Ziel war es, die DNN-Methoden von fastai und Self-Normalizing Neural Networks mit ?herko?mmlichen? ML-Methoden zum Prototyping auf kleinen tubula?ren Datensa?tzen zu vergleichen. 
  • Das Ergebnis, das prima?r das interne Know-How der Firma erweitert, sprach stark fu?r die ?konventionellen? ML-Methoden.

Python scikit-learn fastai TensorFlow PyTorch
inovex GmbH
1 Monat
2020-04 - 2020-04

COVID-19 Challenge HospiHelper

Machine Learning Engineer Python AWS flask ...
Machine Learning Engineer

Das Ziel war es, einen Prototyp zur regionalen Vorhersage von COVID-19 Fa?llen mit folgender Last auf die Krankenha?user. Zusa?tzliches Schaffen einer Plattform zur Ressourcenallokation.

  • Design und Implementierung des Prototyps in dynamischen, fully-remote Team

Python AWS flask JavaScript Prototyping
Massachusetts Institute of Technology
7 Monate
2019-04 - 2019-10

A Preprocessing Pipeline for Thermal Comfort Data in Smart Buildings

Student - Data Engineer Grafana influxDB openHAB ...
Student - Data Engineer

Das Ziel war es, Open-Source Technologien zum Sammeln von thermisch-relevanten Daten zu vergleichen.

  • Design und Implementierung und Vergleich der Technologien als Daten-Pipeline.
  • Dokumentation und Pra?sentation der Ergebnisse

Grafana influxDB openHAB SQLite
Lehrstuhl fu?r Angewandte Softwareentwicklung
4 Monate
2018-10 - 2019-01

Bewertung von Apache Kudu

Werkstudent - Data Engineering Apache Kudu Apache HBase
Werkstudent - Data Engineering

Das Ziel war es, die Apache Kudu im Hadoop Ökosystem zu betrachten und zu beurteilen.

  • Design, Implementierung und Ausfu?hrung von Vergleichstests
  • Pra?sentieren und Dokumentieren der Ergebnisse

Apache Kudu Apache HBase
inovex GmbH
4 Monate
2018-04 - 2018-07

Analyse von Messgro?ßen der Teigherstellung

Student - Data Scientist Python scikit-learn AWS ...
Student - Data Scientist

Das Ziel war es, mittels einer machine-learning-basierten iOS App, den Knetvorgang zur industriellen Teigherstellung zu verbessern.

  • Analyse von Messgro?ßen der Teigherstellung
  • Design, Implementierung und Deployment von verschiedenen Machine Learning Methoden auf vorhandenen Daten
  • Dokumentation und Pra?sentation der Ergebnisse

Python scikit-learn AWS Swift
DIOSNA iMixIt
1 Jahr 8 Monate
2013-12 - 2015-07

Entwicklung von Anwendung zur modularen Getriebezusammenstellung

Werkstudent - Software-Entwickler C# SQL
Werkstudent - Software-Entwickler

Entwicklung von Anwendung zur modularen Getriebezusammenstellung mittel User-Interface

  • Das Ziel war es, eine C#-Applikation zu schaffen, mit der Kunden Getriebe per Drag-and-Drop zusammenstellen und darauf Berechnungen durchfu?hren
  • Eigenständiges Arbeiten mit Feedback von Senior Software Engineer

C# SQL
red-ant GmbH

Aus- und Weiterbildung

Aus- und Weiterbildung

7 Monate
2020-07 - 2021-01

Data Engineering Nanodegree

  • Lernen von zentralen Aspekten des Data Engineering anhand praxisnaher Projekte in AWS Cloud-Umgebung
  • Ablegen von gewerteten Projekten


Kenntnisse:

AWS, Python, Shell, Airflow, SQL, PySpark, NoSQL, Data Modeling

8 Monate
2019-09 - 2020-04

Masterthesis

  • Thema und Masterarbeit auf Anfrage

5 Monate
2016-06 - 2016-10

Bachelorthesis

Technische Universita?t Mu?nchen
Technische Universita?t Mu?nchen
Theman und Bachelorarbeit auf Anfrage

Position

Position

Senior Data Engineer

Kompetenzen

Kompetenzen

Top-Skills

Python PySpark Azure SQL Shell Databricks Scrum CICD Git Clean Code ELK Stack Airflow PyTest NoSQL flask pandas numpy scikit-learn cloud architectures

Schwerpunkte

  • Data Engineering in Cloud-Infrastruktur
  • End-to-End Integration von Daten
  • Lo?sungsorientierte Softwareentwicklung von Grobkonzept bis zur Implementierung
  • Explorative Datenanalyse mit Python

Produkte / Standards / Erfahrungen / Methoden

Methodische Kenntnisse
  • Mehrfache Projekterfahrung im Konzipieren und Umsetzen von Data Engineering Use-Cases mittels Cloud-Technologien
  • Mehrfache Projekterfahrung im End-to-End Machine Learning
  • Schnelles Einlernen in neue technische und fachliche Felder
  • Langja?hrige Erfahrung mit agilen Arbeitsweisen (Scrum, Kanban, SAFe)


Soziale Kompetenzen

  • Teamfa?higkeit und kommunikative Sta?rke
  • Zielorientiertes und analytisches Denkvermo?gen
  • Kreative fachu?bergreifende Lo?sungskompetenz


Standards

  • SQL 
  • JSON, YAML 
  • CI/CD 
  • Scrum 
  • SAFe 
  • Data Mesh 
  • REST 
  • XML, XML Schema 
  • UML 
  • Clean Code 


Datenspeicher

  • Azure Blob Storage 
  • Azure ADLS 
  • Azure CosmosDB 
  • Azure SQL Database 
  • PostgreSQL 
  • Delta Tables 
  • Apache Iceberg 
  • Apache Kafka 
  • MongoDB 
  • Apache Cassandra 
  • SQLite 
  • Amazon Redshift 
  • influxDB 
  • Cassandra 


Azure

  • Azure Databricks 
  • Azure Data Factory 
  • Azure Functions 
  • Azure Resource Manager (ARM) 
  • Azure Storage Account 
  • Azure Blob Storage 
  • Data Lake Storage Gen2 (ADLS)
  • Azure Storage Queue 
  • Azure Fileshare 
  • Azure Synapse 
  • Azure DevOps 
  • Azure SQL DB 
  • Azure Cosmos DB 
  • Azure App Services 
  • Azure Container Instances 
  • Azure Key Vault 
  • Azure Event Grid 
  • Azure Virtual Networks 
  • Azure Logic Apps 
  • Azure Active Directory 
  • Azure Event Hub 
  • Azure Stream Analytics 
  • Azure Table Storage 
  • Microsoft Purview 


AWS

  • S3 
  • EC2 
  • Redshift 
  • Elastic Map Reduce (EMR) 


Software / Tools

  • Databricks 
  • PySpark 
  • Spark Streaming 
  • Apache Airflow 
  • Apache Iceberg 
  • Delta 
  • Git 
  • NiFi 
  • Apache Kafka 
  • NumPy 
  • pandas
  • Bash 
  • Docker 
  • Elasticsearch 
  • Kibana 
  • Terraform 
  • Flask 
  • Grafana 
  • scikit-learn 
  • matplotlib 
  • pre-commit 
  • GitLab 
  • GitHub 
  • Atlassian Stack 
  • LaTex 
  • Jupyter Notebook/Lab 
  • PyCharm 
  • Visual Studio Code 
  • Apache Hadoop File System 
  • TensorFlow 
  • PyTorch 
  • XGBoost 

Programmiersprachen

Python
SQL
Shell
JavaScript
Java
C#
Scala
R
C++
Swift

Vertrauen Sie auf Randstad

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.