a Randstad company

Entwicklung Big Data Plattformen für Batch und Real Time Streaming für Analytik und Betrieb mit Kosten- und Zeitoptimierung

Profil
Top-Skills
Kafka Kubernetes Apache Spark Docker Openshift Hadoop CI/CD Gradle Scala Java Databricks AWS Azure Prometheus Grafana RESTful NoSQL R DataOps Python Elastic Search
Verfügbar ab
01.12.2022
Aktuell verfügbar - Der Experte steht für neue Projektangebote zur Verfügung.
Verfügbar zu
100%
davon vor Ort
0%
Einsatzorte

PLZ-Gebiete
Länder
Ganz Deutschland, Österreich, Schweiz

Ausschließlich für 100% Remote verfügbar.

Remote-Arbeit
möglich
Art des Profiles
Freiberufler / Selbstständiger
Der Experte ist als Einzelperson freiberuflich oder selbstständig tätig.

2 Jahre 10 Monate

2020-01

2022-10

Deutsche Börse - EUREX Securities and Clearings Service

Big Data Engineer Apache Spark Scala Hadoop ...
Rolle
Big Data Engineer
Projektinhalte

Die neue Wertpapier Clearingplattform C7 SCS (?C7 Securities Clearing Service?) wurde am 30 September 2021 gelaunched und ist als neues Quellsystem für Datenströme an die bestehende Big Data Plattform angebunden worden. Das Projekt beinhaltet die Entwicklung einer Reporting und Analyse Lösung für diese neue Plattform auf Basis eines Big Data Technologie Stacks. Ein wesentlicher Bestandteil der Lösung ist es, auf Basis von mehreren Millionen Transaktionen pro Tag Vorberechnungen und Datenaufbereitungen durchzuführen und über eine Schnittstelle in XML Format an über 200 Banken weltweit bereitzustellen.

  • Entwicklung eines Clients für die Integration von Realtime Handelsdaten in Swift und Google Protobuf Format nach Apache Kafka und Hadoop.

  • Entwicklung einer Streaming- und Batch Anwendung für Real- und Neartime sowie End- of-Day Reporting mit Scala und Apache Spark.

  • Aufbau des Big Data Pipelines mit dem Orchestration-Tool Control-M.

  • Migration von On-premise Spark Jobs mit HDFS/Yarn Cluster nach AWS EC2 Instanzen mit S3 als Speichersystem.

  • Kommunikation und Vorstellung des Entwicklungsstandes im Team und beim Kunden & Abstimmung der Zielarchitektur.

  • Coaching und Einarbeitung.

Links:

  • https://www.eurex.com/ec-en/support/initiatives/c7-scs-releases

  • https://www.clearstream.com/clearstream-en/

Produkte
Big Data Clearstream Eurex Securities Settlement Deutsche Börse Mitarbeiterführung Releasemanagement Schnittstellenabstimmungen
Kenntnisse
Apache Spark Scala Hadoop Python Kafka Java 8 Hive Hueu Gradle Maven HBase Jenkins Groovie Oracle BMC Control-M Orchestrierung Atlassian JIRA Agile XML Kafka Connect Avro YARN ActiveMQ JMS MS Excel Continuous Integration
Kunde
Deutsche Börse
Einsatzort
Frankfurt am Main
2 Jahre 3 Monate

2017-10

2019-12

BMW - Infotainment - Audio & Video Services für vernetztes Auto

DevOps Engineer Java 8 Openshift Docker ...
Rolle
DevOps Engineer
Projektinhalte

Das Auto nimmt durch die Webapplikation in seiner Head-Unit die Anfrage des Kunden entgegen. Leitet sie weiter an die Backendsysteme, die dementsprechend validieren sie und leiten sie weiter an die jeweiligen Musikanbieter. Wenn die verschlüsselte Response ankommt, die mit dem AES Algorithmus verschlüsselt ist, das Backend stellt eine Anfrage an den Verschlüsselungsdienst zwecks die Metadaten und den digitalen Inhalt zu entschlüsseln, bereitet die Information auf und leitet sie an die Webanwendung, damit das Audio und Video abgespielt werden kann. Zudem sind Kundeabonnements, Test- und Showrooms Kontos und Gutscheine verwaltet. Agile(Scrum) Arbeitsweise mit 2-Wochen Sprints, Schätzung auf Basis von SP/US.

Gebaut in Java 7/8, mit Einbindung zu Postgres-Datenbanken und Redis Severs, der Hauptzweck der Microservices Architektur ist das Einbinden von einer komplexen und diversen Nachbarschaft von Partnersysteme von BMW sowie Musikanbietern und weitere Dienstleisten via REST Schnittstellen, um einen vollständigen Infotainment-Dienst zu leisten.

Eine CI/CD Pipeline wurde mit Jenkins umgesetzt. Die Java Code wird aus Git auscheckt, JUnit Testing wird ausgeführt sowie Codequalität Analyse auf einem SonarQube Server. Ein Openshift/Kubernetes Deployment wird danach gemacht, und dazu, die Verwendung von Flyway Skripte für Datenbank Version Kontrolle, Integration-, Smoke- und Load Testing mit REST Assured und Gatling. Das Monitoring wird mit ELK, Prometheus und Grafana durchgeführt.

  • Hauptentwickler des Back-Ends vom Produkt ?BMW Music?.

  • Dokumentation IT-Konzept, Schnittstelle Verträge und Betriebshandbücher.

  • Coaching der Operation- und Development Kollegen.

  • Deployment Management in 4 Umgebungen

Umgebungen:

  • DEVELOPMENT - für Entwicklung innerhalb isolierter Umgebung.

  • INTEGRATION ? Für Integrationstest mit BMW Partner Systeme und Musik- und Audioanbieter.

  • END-2-END - Kundentest und Integration mit dem Auto.

  • PRODUKTION - Verbindung mit rund 27K Autos

Links:

https://www.bmw.de/de/shop/ls/dp/Base_BMW_Music_de

Produkte
Connected Drive Infotainment BMW DevOps Requirements Engineering Schnittstellenabstimmungen
Kenntnisse
Java 8 Openshift Docker Kubernetes PostgreSQL Elastic Search Microservices REST Swagger Gattling Flyway Glassfish Atlassian JIRA Atlassian Confluence Oracle Git IntelliJ DevOps Continuous Integration Testautomatisierung
Kunde
BMW
Einsatzort
München
1 Jahr 1 Monat

2016-09

2017-09

BMW - Zentrales Händlerzuweisung vernetztes Auto

Software Engineer Java Microservices REST ...
Rolle
Software Engineer
Projektinhalte
  • Entwicklung von Backend Systeme mit Micro-Services Architektur in Java 7/8 mit Payara Server, mit dem Ziel, remote Dienstleistungen für Vernetztes Autos anzubieten. ZHS ist ein Backendsystem die nimmt entgegen Anfragen von vernetztes Autos die dazu gezielt sind, ein alternatives Service Partner zu finden durch unterschiedliche Business Units und nach Einhaltung von strengen Übereinstimmungsregeln.

  • Hauptzweck der Architektur ist das Einbinden von Partnersysteme in einer komplexen und diversen Nachbarschaft von Applikationen via REST und Soap Schnittstellen, sowie Message Queues und Kafka. Diese Partnersysteme werden angefragt nach Information die für die Service Partner Zuweisung notwendig ist. Jedes System stellt zur Verfügung eine Vielfalt von REST Schnittstellen mit Swagger.

Kenntnisse
Java Microservices REST PostgreSQL Git Eclipse Angular JavaScript Ajax Glassfish
Kunde
BMW
Einsatzort
München
1 Jahr 9 Monate

2012-04

2013-12

Senvion ?Datenanalyse im Bereich der "Leistungsauswertung der Windkraftanlagen'' ? Praktikum - IT Analyst und Entwickler

Software Engineer - Student Statistik Analysefähigkeit R
Rolle
Software Engineer - Student
Projektinhalte

Abschlussarbeit: [Titel auf Anfrage]. Schlägt eine alternative Methode vor, um die Leistung einer Windturbine einzuschätzen. Dabei wurde anhand Daten aus der SCADA System wie Windgeschwindigkeit ?und Richtung, Feuchtigkeit, Temperatur, Atmosphärendruck, sowie Signalen aus der Turbine, verschiedene Regressionsanalyse verwendet, mit dem Zweck, die Beziehung zwischen den klimatischen Faktoren und die Leistung der Turbine. Anhand dieser Information wird es möglich, Defekte in der Turbine zu identifizieren.

Aufgaben:

  • Daten Plausibilisierung und Aufbereitung in CSV Dateien und SQL Server.

  • Umsetzung mathematischen Algorithmen in R

  • Datenanalyse von Wind und Wetterdaten aus SCADA und Erstellung von Grafiken

anhand Visualisierungstools in R

Produkte
Windenergie Windkraftanlage SCADA Statistik
Kenntnisse
Statistik Analysefähigkeit R
Kunde
Senvion
Einsatzort
Hamburg

3 Jahre 7 Monate

2010-10

2014-04

Information & Media Technologies - Master of Science

"Leistungsauswertung der Windkraftanlagen, ein statistischer Ansatz'', Technische Universität Hamburg-Harburg
Abschluss
"Leistungsauswertung der Windkraftanlagen, ein statistischer Ansatz''
Institution, Ort
Technische Universität Hamburg-Harburg
Schwerpunkt

Softwareentwicklung verteilter Backendsysteme, Softwaresicherheit, maschinelles Lernen und Data-Mining.

DAAD Stipendiaat

4 Jahre 5 Monate

2003-03

2007-07

Computerwisenschaft - Bachelors of Science

Bachelors of Science, Universität Guadalajara, Mexiko
Abschluss
Bachelors of Science
Institution, Ort
Universität Guadalajara, Mexiko
Schwerpunkt

Datenbanken, Kommunikationsnetzwerke, Computerarchitektur, verteilte Systeme und eine starke Mathematikbasis.

Lead Data Engineer -

  • Entwicklung Big Data Plattformen für Batch und Real Time Streaming.

  • Datenintegration. Vorwärts und Rückwärtskompatibilität.

  • Testautomatisierung; Schnittstellenintegration, Last- und einheitliche Tests.

  • Deploymentmanagement, CI/CD.

  • Kundenberatung durch technische und fachliche Anforderungsanalyse.

  • Code Owner.

  • Personalbetreuung und Team-Koordinierung.

Deutsch Verhandlungssicher
Spanisch Muttersprache
English Verhandlungssicher

Top Skills
Kafka Kubernetes Apache Spark Docker Openshift Hadoop CI/CD Gradle Scala Java Databricks AWS Azure Prometheus Grafana RESTful NoSQL R DataOps Python Elastic Search
Schwerpunkte
Kafka
Experte
Spark
Experte
Scala
Fortgeschritten
Kubernetes
Experte
Java
Experte
Hadoop
Fortgeschritten
Openshift
Fortgeschritten
Docker
Fortgeschritten
Databriks
Fortgeschritten
Azure Data Factory
Basics
Azure Synapsis
Basics
AWS Developer
Fortgeschritten
Python
Basics

Automotive, Finance (Trading), Windenergie, e-Commerce, Logistics

Ihr Kontakt zu Gulp

Fragen? Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Jetzt bei GULP Direkt registrieren und Freelancer kontaktieren