Softwareentwickler | Data Engineering (Python, SQL, AWS)
Aktualisiert am 25.05.2024
Profil
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 15.06.2024
Verfügbar zu: 20%
davon vor Ort: 30%
Python
SQL
AWS
PostgreSQL
Apache Spark
Apache Kafka
Apache Airflow
Docker
Amazon Redshift
ETL
ELT
OLAP
OLTP
Requirements Engineering
SDLC
Clickhouse
Apache Superset
Kubernetes
Azure
Deutsch
Muttersprache
Englisch
Verhandlungssicher
Russisch
Fortgeschritten

Einsatzorte

Einsatzorte

Deutschland
möglich

Projekte

Projekte

6 Monate
2024-01 - heute

Trading API Migration und Energiehandelssystem Refactoring

Softwareentwickler Python PostgreSQL SQL ...
Softwareentwickler
  • Migration einer obsoleten API für Marktdaten und Ordereingabe des Energiehandelssystems zu einem neuen Anbieter, um einen nahtlosen und zukunftssicheren Betrieb zu gewährleisten
  • Umgestaltung des Energiehandelssystems während der Migration zur Verbesserung der Wartbarkeit durch Einführung von Best-Practices aus der Softwareentwicklung
  • Optimierung einer unternehmenskritischen Datenbank durch Analyse langsamer Abfragen und Anpassung von Indizes und Einstellungen auf der Grundlage der Analyse, was zu Leistungsverbesserungen von bis zu 1000x und zur Vermeidung von Ausfällen führte
Python PostgreSQL SQL Git pytest pandas Websockets REST
Sunnic Lighthouse GmbH
3 Monate
2023-11 - 2024-01

Entwicklung eines cloud-native Prototypen

Softwareentwickler Python PySpark Parquet ...
Softwareentwickler
  • Konzeption und Umsetzung eines cloud-native Prototype-Services zur Unterstützung anderer Services in der Zuordnung und Bereitstellung korrekter Fahrzeugdaten
Python PySpark Parquet SQL Kubernetes Helm FastAPI Polars pytest AWS
CARFAX Europe GmbH
Remote
7 Monate
2023-05 - 2023-11

Automatisierung und Professionalisierung eines Analysten Teams

Data Engineer Python AWS PySpark ...
Data Engineer
  • Reduzierung der manuellen Aufwände im Team durch Automatisierung wiederkehrender Prozesschritte im ETL Prozess
  • Konzeption und Umsetzung eines Tools im Cloud-Umfeld zur Automatisierung der Bewertung von neuen Datenquellen
  • Einführung von Software und Data Engineering best practices, u.a. automatisierte Unit Tests und Code Deployment, um eine bessere Wartbarkeit der Software sicherzustellen
Python AWS PySpark SQL MongoDB Parquet pytest
CARFAX Europe GmbH
Remote
7 Monate
2022-10 - 2023-04

Service Insights (Transport, Modellierung und Bereitstellung von Statistikdaten für Endkunden)

Data Engineer Python SQL Azure ...
Data Engineer
  • Konzeption und Umsetzung eines Data Warehouses in einer Cloud Umgebung zur Bereitstellung von near-time und historischen Statistikdaten für Endkunden
  • Konzeption und Umsetzung von Pipelines zur Extraktion, Modellierung, Aggregation und Zusammenführung von Daten aus verschiedenen Arten von Quellen für die Bereitstellung der Daten für eine responsive Visualisierung für Endkunden
  • Einführung eines Orchestrators zur Automatisierung der Planung, Ausführung und dem Monitoring der Datenpipelines, um die rechtzeitige Bereitstellung der Daten für die Statistiken der Endkunden zu garantieren
Python SQL Azure Kubernetes Apache Kafka Clickhouse Apache Airflow
DE-CIX
4 Monate
2022-06 - 2022-09

Bereitstellung von Daten zum Monitoring

Software Engineering Consultant Kafka Postgres REST ...
Software Engineering Consultant
  • Entwicklung (Refinement der Requirements, technische Umsetzung, Begleiten von User Tests, Dokumentation) von Feature Requests und Produktionsproblemen im Rahmen der Neuentwicklung der Monitoring Solution ?Sight? und den dazugehörigen verteilten Systemen zur Abfrage, Transformation und Bereitstellung von Rohdaten
  • Fachliches Onboarding von Entwicklern in die Monitoring Solution ?Sight?
  • Genereller Knowhowtransfer der entwickelten Systeme und verwendeten Tools/Frameworks
Jira Confluence
Kafka Postgres REST AWS
SSW-Trading GmbH
Oststeinbek

Aus- und Weiterbildung

Aus- und Weiterbildung

9 Monate
2022-03 - 2022-11

Data Engineer Nanodegree

Udacity
Udacity
4 Jahre 10 Monate
2017-04 - 2022-01

Praktische Informatik Studium

Master of Science, FernUniversität Hagen
Master of Science
FernUniversität Hagen
Softwareentwicklung, Funktionale Programmierung


4 Jahre 6 Monate
2012-10 - 2017-03

Wirtschaftsinformatik Studium

Bachelor of Science, Fachhochschule Wedel
Bachelor of Science
Fachhochschule Wedel
Softwareentwicklung, Algorithmen und Datenstrukturen

Kompetenzen

Kompetenzen

Top-Skills

Python SQL AWS PostgreSQL Apache Spark Apache Kafka Apache Airflow Docker Amazon Redshift ETL ELT OLAP OLTP Requirements Engineering SDLC Clickhouse Apache Superset Kubernetes Azure

Aufgabenbereiche

Softwareentwicklung
Experte
Requirements Engineering
Experte

Programmiersprachen

Python
Experte
Bash
Fortgeschritten
SQL
Experte

Datenbanken

Postgres
Fortgeschritten
Apache Kafka
Fortgeschritten
Apache Cassandra
Fortgeschritten
Amazon Redshift
Fortgeschritten

Einsatzorte

Einsatzorte

Deutschland
möglich

Projekte

Projekte

6 Monate
2024-01 - heute

Trading API Migration und Energiehandelssystem Refactoring

Softwareentwickler Python PostgreSQL SQL ...
Softwareentwickler
  • Migration einer obsoleten API für Marktdaten und Ordereingabe des Energiehandelssystems zu einem neuen Anbieter, um einen nahtlosen und zukunftssicheren Betrieb zu gewährleisten
  • Umgestaltung des Energiehandelssystems während der Migration zur Verbesserung der Wartbarkeit durch Einführung von Best-Practices aus der Softwareentwicklung
  • Optimierung einer unternehmenskritischen Datenbank durch Analyse langsamer Abfragen und Anpassung von Indizes und Einstellungen auf der Grundlage der Analyse, was zu Leistungsverbesserungen von bis zu 1000x und zur Vermeidung von Ausfällen führte
Python PostgreSQL SQL Git pytest pandas Websockets REST
Sunnic Lighthouse GmbH
3 Monate
2023-11 - 2024-01

Entwicklung eines cloud-native Prototypen

Softwareentwickler Python PySpark Parquet ...
Softwareentwickler
  • Konzeption und Umsetzung eines cloud-native Prototype-Services zur Unterstützung anderer Services in der Zuordnung und Bereitstellung korrekter Fahrzeugdaten
Python PySpark Parquet SQL Kubernetes Helm FastAPI Polars pytest AWS
CARFAX Europe GmbH
Remote
7 Monate
2023-05 - 2023-11

Automatisierung und Professionalisierung eines Analysten Teams

Data Engineer Python AWS PySpark ...
Data Engineer
  • Reduzierung der manuellen Aufwände im Team durch Automatisierung wiederkehrender Prozesschritte im ETL Prozess
  • Konzeption und Umsetzung eines Tools im Cloud-Umfeld zur Automatisierung der Bewertung von neuen Datenquellen
  • Einführung von Software und Data Engineering best practices, u.a. automatisierte Unit Tests und Code Deployment, um eine bessere Wartbarkeit der Software sicherzustellen
Python AWS PySpark SQL MongoDB Parquet pytest
CARFAX Europe GmbH
Remote
7 Monate
2022-10 - 2023-04

Service Insights (Transport, Modellierung und Bereitstellung von Statistikdaten für Endkunden)

Data Engineer Python SQL Azure ...
Data Engineer
  • Konzeption und Umsetzung eines Data Warehouses in einer Cloud Umgebung zur Bereitstellung von near-time und historischen Statistikdaten für Endkunden
  • Konzeption und Umsetzung von Pipelines zur Extraktion, Modellierung, Aggregation und Zusammenführung von Daten aus verschiedenen Arten von Quellen für die Bereitstellung der Daten für eine responsive Visualisierung für Endkunden
  • Einführung eines Orchestrators zur Automatisierung der Planung, Ausführung und dem Monitoring der Datenpipelines, um die rechtzeitige Bereitstellung der Daten für die Statistiken der Endkunden zu garantieren
Python SQL Azure Kubernetes Apache Kafka Clickhouse Apache Airflow
DE-CIX
4 Monate
2022-06 - 2022-09

Bereitstellung von Daten zum Monitoring

Software Engineering Consultant Kafka Postgres REST ...
Software Engineering Consultant
  • Entwicklung (Refinement der Requirements, technische Umsetzung, Begleiten von User Tests, Dokumentation) von Feature Requests und Produktionsproblemen im Rahmen der Neuentwicklung der Monitoring Solution ?Sight? und den dazugehörigen verteilten Systemen zur Abfrage, Transformation und Bereitstellung von Rohdaten
  • Fachliches Onboarding von Entwicklern in die Monitoring Solution ?Sight?
  • Genereller Knowhowtransfer der entwickelten Systeme und verwendeten Tools/Frameworks
Jira Confluence
Kafka Postgres REST AWS
SSW-Trading GmbH
Oststeinbek

Aus- und Weiterbildung

Aus- und Weiterbildung

9 Monate
2022-03 - 2022-11

Data Engineer Nanodegree

Udacity
Udacity
4 Jahre 10 Monate
2017-04 - 2022-01

Praktische Informatik Studium

Master of Science, FernUniversität Hagen
Master of Science
FernUniversität Hagen
Softwareentwicklung, Funktionale Programmierung


4 Jahre 6 Monate
2012-10 - 2017-03

Wirtschaftsinformatik Studium

Bachelor of Science, Fachhochschule Wedel
Bachelor of Science
Fachhochschule Wedel
Softwareentwicklung, Algorithmen und Datenstrukturen

Kompetenzen

Kompetenzen

Top-Skills

Python SQL AWS PostgreSQL Apache Spark Apache Kafka Apache Airflow Docker Amazon Redshift ETL ELT OLAP OLTP Requirements Engineering SDLC Clickhouse Apache Superset Kubernetes Azure

Aufgabenbereiche

Softwareentwicklung
Experte
Requirements Engineering
Experte

Programmiersprachen

Python
Experte
Bash
Fortgeschritten
SQL
Experte

Datenbanken

Postgres
Fortgeschritten
Apache Kafka
Fortgeschritten
Apache Cassandra
Fortgeschritten
Amazon Redshift
Fortgeschritten

Vertrauen Sie auf Randstad

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.