a Randstad company

envelope

+49 89 500316-300

Jetzt registrieren

Data Architect, Big Data Engineer & Cloud Engineer

Profil
Top-Skills
Big Data Business Intelligence ETL Prozesse Scala ETL Amazon Web Service AWS Apache Spark Apache Kafka HBase Hive Oracle PL/SQL Java Microstrategy MS SQL Datenbanken Postgre SQL DynamoDB SAP Business Objects Sybase IQ KStreams Snowflake
Verfügbar ab
09.01.2023
Aktuell verfügbar - Der Experte steht für neue Projektangebote zur Verfügung.
Verfügbar zu
100%
davon vor Ort
100%
Einsatzorte
Städte
Düsseldorf (+200km) Wuppertal (+200km)
PLZ-Gebiete
Länder
Ganz Deutschland
Remote-Arbeit
möglich
Art des Profiles
Freiberufler / Selbstständiger
Der Experte ist als Einzelperson freiberuflich oder selbstständig tätig.

1 Jahr 7 Monate

2021-04

2022-10

Kennzahlen LidlPlus im DWH realisieren

Data Architekt & Requirements Engineer Snowflake MicroStrategy
Rolle
Data Architekt & Requirements Engineer
Projektinhalte

  • Analyse und Konzeption der Einbindung von LidlPlus Daten in das DWH
  • Design von Kennzahlen zur Erfolgsmessung von Preisaktionen
  • Dimensionsabgleich zweier DWHs

Kenntnisse
Snowflake MicroStrategy
Einsatzort
Remote
4 Monate

2020-07

2020-10

Prozessoptimierung Zahlungseingang

IT Berater: Data Architekt & Cloud Engineer Python Lambda StepFunctions
Rolle
IT Berater: Data Architekt & Cloud Engineer
Projektinhalte
  • Matching von Buchungsvorgängen in Python
  • Analyse und Redesign des Matchingprozesses
  • Architekturentwurf zur Automatisierung des Prozesses in AWS
Kenntnisse
Python Lambda StepFunctions
Kunde
HRS GmbH
Einsatzort
Köln / Remote
4 Monate

2020-01

2020-04

Design und Implementierung SEPA EventStreams

IT Berater: Data Architect & Cloud Engineer AWS IAM & Glue terraform Kafka & KafkaConnect
Rolle
IT Berater: Data Architect & Cloud Engineer
Projektinhalte
  • Design und Implementierung SEPA EventStreams auf Basis von Kafka & Akka Streams in C#
  • Konfiguration via terraform: AWS IAM & Glue, KafkaConnect
  • Schulung der Mitarbeiter in den Bereichen Kafka, AWS Cloud, Docker, Moderne Entwicklungsmethoden, Infrastructure as Code
  • Propagierung und Schulung von AWS Cloud, Infrastructure as Code & docker
  • Befüllung eines Data Lakes mit SEPA Events
Kenntnisse
AWS IAM & Glue terraform Kafka & KafkaConnect
Kunde
PAYONE GmbH
Einsatzort
Ratingen
3 Monate

2019-11

2020-01

Redesign

IT Berater: Cloud Engineer Amazon AWS (DynamoDB; Lambda; SNS; SQS; S3) Google Chrome Node.js ...
Rolle
IT Berater: Cloud Engineer
Projektinhalte
  • Redesign einer Candidate Relationship Management Anwendung mit lokalem Client
  • Google-Chrome-Plugin und Amazon DynamoDB
Kenntnisse
Amazon AWS (DynamoDB; Lambda; SNS; SQS; S3) Google Chrome Node.js NW.js
Kunde
Vivicon GmbH
Einsatzort
Erkrath
10 Monate

2019-01

2019-10

Business Partner BI Integration

IT Berater: Data Architect Java KStreams Spark Streaming ...
Rolle
IT Berater: Data Architect
Projektinhalte
  • Design einer Überwachungslogik für Kafka Datenströme auf Vollständigkeit
  • Implementierung einer Komponente der Überwachungslogik
  • Analyse der Transaktionssemantik von Oracle CDC Daten
Kenntnisse
Java KStreams Spark Streaming Avro HBase Oracle GoldenGate
Kunde
Mercedes-Benz Bank AG
Einsatzort
Stuttgart
1 Jahr 6 Monate

2017-07

2018-12

i-IMEX: High Throughput DDEX Meldungen

IT Berater: Data Architect & Cloud Engineer Scala Spark Java ...
Rolle
IT Berater: Data Architect & Cloud Engineer
Projektinhalte
  • Generalisierung von 10 Threshold Regeln auf 2 Parameter
  • Neudesign der Verabeitungskette erlaubt AdHoc exakte Berechnung der Ausgabedatenmenge (statt 20 Tage Berechnung abzuwarten)
  • ETL von XML & csv Files
  • Entwicklung eines Custom Spark-Reader für DDEX Flat Files
  • Optimierung von Spark Lese- & Schreibvorgängen in S3, Evaluierung vom Hadoop Filesystem
  • Automatisierung von Start/Stop/Beladung von AWS EMR Clustern
  • Administration des AWS Accounts (DEV)
Kenntnisse
Scala Spark Java AWS (EMR; Lambda; StepFunctions; RDS; CodePipeline; IAM)
Kunde
ICE International Copyright Enterprise Germany GmbH
Einsatzort
Düsseldorf
1 Jahr

2016-04

2017-03

Enterprise Data Warehouse

IT-Berater: Senior Business Intelligence Designer Sybase IQ Watcom-SQL Microstrategy
Rolle
IT-Berater: Senior Business Intelligence Designer
Projektinhalte
  • Entwicklung von ETL-Flows als Prozeduren in Watcom-SQL (Sybase IQ)
  • Erstellen von MicroStrategy Strukturen (Attribute, Fakten, Metriken, Templates, Drill-Maps, …) und Reports
  • Refactoring von Datenmodellen
  • Troubleshooting von Microstrategy Architekturproblemen
  • Code Review & Schulung von ETL Entwicklern
Kenntnisse
Sybase IQ Watcom-SQL Microstrategy
Kunde
1&1
Einsatzort
Montabaur
3 Jahre 5 Monate

2012-08

2015-12

Customer Care Datawarehouse

IT-Berater: Data Architect Sybase IQ Watcom-SQL Microstrategy
Rolle
IT-Berater: Data Architect
Projektinhalte
  • Anbindung von 5 Quellsystemen, von der Anforderungsermittlung über Definition der Schnittstelle zum Quellsystem, ETL bis zum MicroStrategy Report
  • Entwicklung von ETL-Flows als Prozeduren in Watcom-SQL (Sybase IQ)
  • Erstellen von MicroStrategy Strukturen (Attribute, Fakten, Metriken, Templates, Drill-Maps, …) und Reports
  • Beratung zur Definition neuer Kennzahlen unter technischen und wirtschaftlichen Aspekten
  • Ermittlung, Abstraktion und Abstimmung des Domänenmodells im Call Forecasting
  • Erstellung von Datenmodell & Verarbeitungslogik für Kundenzufriedenheitsbefragungen
  • Prüfung der technischen Fähigkeiten von Bewerbern
  • Code Review & Schulung von 6 ETL Entwicklern
  • Review der DWH & MicroStrategy Guidelines
Kenntnisse
Sybase IQ Watcom-SQL Microstrategy
Kunde
1&1, ContactCenter BI
Einsatzort
Montabaur
4 Jahre 9 Monate

2007-07

2012-03

Business Intelligence im Technischen Servicecenter

Business Intelligence Designer Oracle SAP Business Objects SAP Business Objects Data Integrator
Rolle
Business Intelligence Designer
Projektinhalte
  • Planung, Detailspezifikation und Abnahme eines Data Marts im Kontext eines EDWH
  • Implementierungsplanung mit CapGemini
  • Entwurf eines generischen Datenmodells für Kontaktdaten aus 4 Quellsystemen
  • Verantwortung für Mapping von 6 Quellsystemen an das DWH, davon eines per Reverse Engineering
  • Review der EDWH Guidelines und Koordinierung von Shared Dimensions mit dem BICC
  • Review und Beurteilung der vorhandenen ETL-Flows
  • Review, Erweiterung und Erstellung eigener BO Universen
  • Analyse und Entwicklung von Richtlinien zur Nutzung des BO LifeCycle Management Systems
Kenntnisse
Oracle SAP Business Objects SAP Business Objects Data Integrator
Kunde
Kabel Deutschland
Einsatzort
Berlin
4 Jahre 9 Monate

2007-07

2012-03

Teilprojektleitung

IT-Berater: Software Engineer, Business Intelligence Designer Oracle PL/SQL PHP Access
Rolle
IT-Berater: Software Engineer, Business Intelligence Designer
Projektinhalte
  • Entwurf und Implementierung eines Identity Management Systems
  • Entwurf und Implementierung eines KVP-Tools
Kenntnisse
Oracle PL/SQL PHP Access
Kunde
Kabel Deutschland
Einsatzort
Berlin

2005 ? 2007: Projektleitung

Kunde: Axt 

Rolle: Software Designer

 

Aufgaben: 

  • Planung und Entwicklung eines autonomen Handelssystems
  • Implementierung einer Trainingsumgebung für den genetischen Algorithmus
  • Definition der Zielvariablen für Intradayhandel
  • Anbindung an die API des Brokers
  • Technologien: Instrumentierung der Java VM, Streaming
  • Privatprojekt, 4 Personen

2004 ? 2007: Planung und Entwicklung einer Alertservers

Kunde: tick TS AG, Wuppertal

Rolle: Software Designer & Business Analyst

 

Aufgaben: 

  • Planung und Entwicklung einer Alertservers zur Überwachung von Börsenkursen und Volumina
  • Erstellen der Berechnungsregeln für die Indikatoren unter der Beachtung der unterschiedlichen Marktmodelle der beteiligten Börsen.
  • Erstellen von automatisierten GUI Tests für einen Handelsclient
  • Scripten von Tests für Ordertypen, für eine börsenunabhängige Emulation des Handelsserver

Tools:

Java, QF-Test, Jython (Java Impl. von Python)

2002 ? 2004: Teilprojektverantwortung

Kunde: Lang & Schwarz Gate GmbH, Düsseldorf

Rolle: Software Designer & Business Analyst 

 

Aufgaben:

  • Standardisierung der Daten verschiedener deutscher Handelsplattformen (XETRA, EUREX, XONTRO; TRADIX)
  • Entwicklung einer Transaktionsdatenbank
  • Anforderungsanalyse und Planung des Gesamtsystems
  • Programmierung der Schnittstelle zur Middelware
  • Definition der Schnittstellen, Semantik und GUI von 3 zugreifenden Anwendungen

Tools:

Oracle PL/SQL, Visual Basic, Streaming mit Tibco Rendezvous

2001 ? 2002: Erstellung des Pflichtenhefts und Datenmodellierung

Kunde: ADP Dealer Services Deutschland GmbH, Wülfrath

Rolle: Software Designer & Business Analyst

 

Aufgaben: 

  • Erstellung des Pflichtenhefts und Datenmodellierung einer Austauschplattform zwischen 5 europäischen CRM Anwendungen
  • Vorbereitung auf ein Data Warehouse
  • Anbindung eines elektronischen Bestellsystems
  • Planung und Programmierung eines Java Adapters
  • Plattformunabhängige Transformation von Daten per XSLT

Tools:

XML & XSLT, SOAP, Java, MS SQL Server

2000 ? 2001: Web-Reporting Anwendung

Kunde: 3C GmbH, Mannheim

Rolle: Programmierer

 

Aufgaben:

Erstellen einer Web-Reporting Anwendung

Tools:

ASP und Crystal Report

1997 ? 2000: a. Redesign einer AutoCAD Anwendung

Kunde: BASF AG, Ludwigshafen

Rolle: Ingenieur für Akustische Anlagenplanung

 

Aufgaben: 

  • a. Redesign einer AutoCAD Anwendung (LISP)EDV, Tool Kenntnisse, Erfahrungen
  • ab 03/1999 in Teilzeit zwecks Aufbaustudium

3 Jahre 5 Monate

2017-04

2020-08

Fernstudium Big Data, Online Studium

Big Data, Hadoop, Spark, IBM
Abschluss
Big Data, Hadoop, Spark
Institution, Ort
IBM
Schwerpunkt
  • Big Data Foundations – Level 2
  • Hadoop Foundations - Level 2
  • Hadoop Data Access - Level 2
  • Scala Programming for Data Science - Level 2
1 Jahr 11 Monate

1999-04

2001-02

Aufbaustudium Wirtschaftsingenieurwesen (FH)

Diplom-Wirtschaftsingenieur (FH), Fachhochschule Ludwigshafen
Abschluss
Diplom-Wirtschaftsingenieur (FH)
Institution, Ort
Fachhochschule Ludwigshafen
3 Jahre 5 Monate

1993-09

1997-01

Studium Verfahrenstechnik (FH)

Diplom-Ingenieur der Verfahrenstechnik (FH), Fachhochschule Düsseldorf
Abschluss
Diplom-Ingenieur der Verfahrenstechnik (FH)
Institution, Ort
Fachhochschule Düsseldorf
Schwerpunkt

Studienarbeit: Gerne auf Anfrage

2000 ? 2001:

Institution: 3C GmbH, Mannheim

Diplomarbeit: Gerne auf Anfrage

 
Nicht zum Studium gehörende Vorlesungen / Prüfungsvorbereitungen:

2010:

Informationsmarkt (HH Uni Düsseldorf, Fachbereich Informationswissenschaft)

2007:

Software Engineering I (Fernuni Hagen, Fachbereich Informatik)

2002:

Deskriptive Statistik (Uni Wuppertal, Fachbereich Wirtschaftwissenschaften)

2001:

Vortragsreihe ?Business Intelligence und Knowledge Management? (MIS AG, Cognos GmbH, Microsoft, TÜV Rheinland)

2000:
SAP- Vorlesungen zu den Modulen FI & CO sowie SD & WM an der FH Ludwigshafen
 
Weiterbildungen:
Schulungen der BigData University (2017 & 2020)
  • Accessing Hadoop Data Using Hive
  • Big Data 101
  • Data Privacy Fundamentals
  • Data Science 101
  • Data Science with Scala
  • Hadoop 101
  • MapReduce and YARN
  • Moving Data into Hadoop
  • Scala 101
  • Spark Fundamentals I
  • Spark Fundamentals II
  • Spark Overview for Scala Analytics
  • SQL Access for Hadoop
  • Using HBase for Real-time Access to your Big Data
  • Lightbend Reactive Architecture
  • Machine Learning with Python
  • Python for Data Science
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

  • Business Intelligence Consultant
  • Big Data Developer

  • Data Architect

  • Big Data Engineer

  • Cloud Engineer

Deutsch
Englisch
Französisch Grundkenntnisse

Top Skills
Big Data Business Intelligence ETL Prozesse Scala ETL Amazon Web Service AWS Apache Spark Apache Kafka HBase Hive Oracle PL/SQL Java Microstrategy MS SQL Datenbanken Postgre SQL DynamoDB SAP Business Objects Sybase IQ KStreams Snowflake
Schwerpunkte
  • Daten Architektur
    • Architekt in MicroStrategy und SAP Business Objects
    • Datenqualitätsanalyse, Data Profiling, Reverse Engineering von Datenmodellen
    • Datenmodellierung (ER & Multidimensional)
    • Erstellung generischer Datenmodelle & Schnittstellen
    • ETL & ELT, Data Warehouse & Data Lake Architekturen (on Premise & Cloud)
  • Big Data
    • Streaming mit Kafka
    • Scala mit Apache Spark
    • Hadoop, Hive, HBase, Map & Reduce, DynamoDB
  • Software Engineering (Anforderungsanalyse, Planung, Implementierung, Test)
    • Softwareentwicklung: Java, Javascript & Python Entwicklung, VBA unter Excel
    • PL/SQL unter Oracle, Watcom/T-SQL unter Sybase IQ
    • AWS: EMR, Lambda, StepFunctions, Batch – incl. Administration (DEV)
Produkte / Standards / Erfahrungen / Methoden
Amazon Dynamo
privates Projekt
 Amazon EC2 Amazon Elastic Compute Cloud Amazon EMR
1 jahr Projekterfahrung
 Amazon Web Service Apache Hadoop
www.bigdatauniversity.com
 Apache Kafka
Erfahrung in 2 Projekten
 Apache Spark
1,5 Jahre Projekterfahrung
 Atlassian JIRA Agile AWS AWS Control Tower AWS IAM AWS Lake Formation AWS Lambda
Projekterfahrung
 AWS StepFunctions
Projekterfahrung
 Big Data Analytics
www.bigdatauniversity.com
 Business Intelligence
Senior Consultant
 CVS ETL
Mit Tool (BODI) und mit selbstgeschriebenen Prozeduren
 GitHub Infrastructure as Code
Projekterfahrung
 iptables JetBrains IntelliJ IDEA KafkaConnect
Projekterfahrung
 Kanban
Projekterfahrung
 KStreams Microstrategy
jahrelange Projekterfahrung: Schemabau und Reportbau
 S3 SAP BusinessObjects
Universumbau, Reportbau
 SAP BusinessObjects DataIntegrator
Flow Validierung und Debugging
 Scrum
Projekterfahrung
 Subversion Sybase IQ
jahrelange Projekterfahrung
 Terraform
Projekterfahrung
 TOAD VLAN XML
Callcenteranwendungen: 

Cisco IPCC,CosmoCom Universe, Mailminder (Attensity), Rogator

BI Anwendungen:
MicroStrategy, Business Objects Enterprise XI, BO WebIntelligence, BO Universe Designer, D3.js, Crossfilter.js

 

Börsenanwendungen:
Xetra, Eurex, Xontro (BOSS - CUBE/BÖGA), Gate (Values API), Tradix (teilweise), Tradelink,
Quotrix, Bloomberg, RTD, Tenfore QuoteSpeed

IDE:
IntelliJ, Eclipse, JBuilder, Visual Studio, TOAD, Oracle SQL Developer
 
Testing:

JUnit, qfTest (Java GUI Tests), automatisierte ETL Tests

 
Webanwendungen:
PHP inkl Smarty, Node.js, NW.js, J2EE (Web Services, Servlets, JSP, JMS, JDBC ), ASP
 

Durchgeführte Lehrveranstaltungen:

  • Mathematik-Tutorium an der FH Düsseldorf
  • SQL und Datenmodellierung (Vortragsreihe)
  
Workshops (ab 2018):
11/2020:

Big Data World Online

 

11/2019:

Big Data World, Frankfurt

 

05/2019:

Practical Container Orchestration on IBM Cloud

Konzepte:

IaC, IaaS, PaaS, SaaS, FaaS, Serverless, Microservices, Event Sourcing, CQRS, Reactive Architecture, Eventual Consistency, Sharding

Big Data:

Kafka inkl. KStreams & KafkaConnect, Spark, HBase, Hadoop, Hive, Jupyter, Akka

Versionskontrolle/ Bugtracking,CI/CD:

cvs, Subversion, git, GitHub, Jira, Bugzilla, Redmine, Visual Studio, Jenkins, AWS CodeBuild & CodePipeline

Börsen- / Bankanwendungen:

SAP Bank Analyzer, Xetra, Eurex, Xontro (BOSS - CUBE/BÖGA), Tradelink, Quotrix, Bloomberg, RTD

Datenaustausch:

JSON, XML, Avro, XSLT, XSD, DOM, SOAP, WSDL, BO Data Integrator / Data Designer

ETL:

Business Objects Data Integrator, handgeschriebene Prozeduren in kundeneigenen Framework

 

AWS Cloud:

EMR(Spark mit Scala, Jupyter) als ETL, S3, IAM, Lambda, StepFunctions, , DynamoDB, RDS(PostGres) , Terraform, Cloudwatch, EC2, VPC, SNS, Batch, CloudTrail, Glue, Lake Formation, Control Tower, ECS

 

Agile Methoden:

Scrum, Kanban, Pair Programming

Betriebssysteme
Docker
Projekterfahrung
 Linux-Debian Ubuntu Windows
Programmiersprachen
AutoLISP inkl. DCL Bash Scripte incl. RegExp Bash Shell Basic C# C++ DCL
unter AutoCAD
 Fortran HCL Java
jahrelange Projekterfahrung, J2EE(ohne EJB)
 JavaScript incl TypeScript
inkl. node.js, d3
 Lisp
unter AutoCAD
 Modula-2 Pascal PHP PL/SQL
jahrelange Projekterfahrung
 Python
Projekterfahrung
 Scala
mit Apache Spark
 T/SQL Visual Basic
VB6, VBA unter Excel
 Watcom SQL
jahrelange Projekterfahrung
Datenbanken
Apache HBase
www.bigdatauniversity.com
 Apache Hive
www.bigdatauniversity.com
 JDBC Microsoft Access MS SQL Server MySQL ODBC Oracle
jahrelange Projekterfahrung, incl. PL/SQL und Java in Oracle
 PL/SQL
Oracle
 PostgreSQL SQL
jahrelange Projekterfahrung
 Sybase
jahrelange Projekterfahrung auf Sybase IQ
 Sybase IQ
spaltenorientiert
 Watcom-SQL
Sybase IQ, ähnlich T-SQL
  • Reverse Engineering von Datenmodellen
  • Erstellung von Datenmodellen
Datenkommunikation
Internet, Intranet
HTTP Requests via Servlets verarbeitet
 IPv4 IPv6 Message Queuing
Tibco Rendevous, Oracle Advanced Queuing, JMS
 SMTP SOAP via JAX-RPC Streaming TCP/IP
Analyse via Sniffer, TCP+UPD+IP

Vorträge gerne auf Anfrage.

Konferenzen gerne auf Anfrage.

  • Telekommunikation
  • Call Center
  • Börse
  • Softwarehersteller; im Börsenumfeld
Ihr Kontakt zu Gulp

Fragen? Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Jetzt bei GULP Direkt registrieren und Freelancer kontaktieren