Big Data Integration Engineer, Azure Cloud, Databricks, Spark, Python, Oracle, DBA, Entwicklung, Tuning, BI, Data Warehouse (DWH), ETL
Aktualisiert am 23.08.2024
Profil
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 15.09.2024
Verfügbar zu: 25%
davon vor Ort: 20%
Oracle
Python
Databricks
Entwickeln von Schnittstellen
DWH
PLSQL
OpenShift
Azure
Azure Devops
Deutsch
Verhandlungssicher
Englisch
Verhandlungssicher
Russisch
Muttersprache
Spanisch
Grundkenntnisse

Einsatzorte

Einsatzorte

Nürnberg (+200km)
Deutschland, Österreich, Schweiz

Ganz Deutschland: bevorzugt Bereich D9 (Raum Nürnberg)

möglich

Projekte

Projekte

2 Jahre 3 Monate
2022-07 - heute

Aufbau der Big Data Plattform

Big Data Engineer / ML Ops / Applikation Manager Azure Cloud Databricks ...
Big Data Engineer / ML Ops / Applikation Manager

Gestaltung und Umsetzung der Architektur für effiziente KI-Modelle-WebServices mit Python.  Betreuung  Design, Entwicklung, Migration, Optimierung und Deployment von Data Lake Spark-Jobs auf Azure Databricks. Aufbau von DevOps-Pipelines mit Jenkins, Helm Charts und Azure DevOps. Technischer Betrieb, Deployment, Monitoring und Fehler Analyse von Labeling Tool.

Python Open Shift Oracle 19.x Azure Azure Databricks Azure DevOps
Azure Cloud Databricks DevOps Datenmigration Big Data
Genossenschaftsbank
Nürnberg
1 Jahr
2021-07 - 2022-06

Collibra Data Governance Center goes Cloud

Data Engineer Projektleitung Schnittstellenabstimmungen Administration
Data Engineer

Technischer Ansprechpartner für die Migration von Collibra Data Governance Center in die Cloud. Abstimmung und Umsetzung der Anforderungen mit Cloud Architekten. Konfiguration und Test der Schnittstellen.

Collibra Data Governance Center SAML Azure Active Directory Collibra DGC 5.x Collibra Cloud Platform
Projektleitung Schnittstellenabstimmungen Administration
Genossenschaftsbank
Nürnberg
1 Jahr
2020-07 - 2021-06

Aufbau der Datenintegration Plattform

Data Engineer Datenarchitektur ETL Linux
Data Engineer
Abstimmung der Anforderungen und Lösungen mit dem Fachbereich. Technische Umsetzung der Datenintegration Plattform mittels Ab-initio, Oracle und Python. Design, Entwicklung, Test und Deployment der ETL Jobs. Leitung der Data Engineers.
Ab-Initio Oracle SQL Python
Datenarchitektur ETL Linux
Genossenschaftsbank
Nürnberg
9 Monate
2019-10 - 2020-06

Vorstudie "Aufbau der Datenintegration Plattform"

Projektleiter Scrum Master Projektierung
Projektleiter

Leitung der Vorstudie "Aufbau der Datenintegration Plattform", Ausarbeitung der Solution Design, Daten Architektur und technischer Lösung. Anbindung des Systems an Azure Cloud.

Ab-Initio Talend SQL Oracle Exasol Kafka
Scrum Master Projektierung
Genossenschaftsbank
Nürnberg
7 Monate
2019-03 - 2019-09

Modernisierung des zentralen DWHs

Data Engineer Datenarchitektur Betriebserfahrung
Data Engineer
Erweiterung des zentralen DWHs, Einschließen der neuen Datenquellen, Performance Optimierung, Modellierung für DWH-Kern und DataMart-Schicht, Definition und Entwicklung der ETL-Strecken inkl. Daten Historisierung, Fehleranalyse und Fehlerkorrekturen im täglichen Bankbetrieb
Exasol 6.x Oracle 18.x Talend Data Vault Oracle SQL Developer Oracle SQL Modeller Lua JavaScript
Datenarchitektur Betriebserfahrung
Genossenschaftsbank
Nürnberg
2 Jahre 5 Monate
2016-10 - 2019-02

Betrieb und Weiterentwicklung von DWH und BigData Plattform

Big Data Spezialist, Business Intelligence (BI) Spezialist
Big Data Spezialist, Business Intelligence (BI) Spezialist

Betrieb, Administration, Konzeption und Modellierung für den DWH-Kern und die DataMart-Schicht, Definition und Entwicklung der ETL-Strecken inklusive Datenhistorisierung, Performanceoptimierung, Migration von OWB zu DataStage, Reporting, DB/SQL-Tuning, Regressionstests, Fehleranalyse und Fehlerkorrekturen im täglichen Bankbetrieb. Betrieb von Horton-Hadoop- und Kafka-Clustern.


RedHat 6.x 7.x TOAD DataStage 11.x OWB Apex 5.x Oracle Exadata 11.x 12.x PL/SQL Python 2.x 3.x Bash Shell Automic (UC4) 10.x Confluent Kafka Hadoop Horton
Direktbank-Tochter einer europäischen Großbank
Nürnberg
9 Jahre 6 Monate
2007-04 - 2016-09

Konsolidierung, Migration und Administration der Datenbanken

DBA und System Architekt Datenbankadministration Projektleitung Datenmigration ...
DBA und System Architekt
Administration und Konzeptionierung der Oracle Datenbanken (DB/SQL-Tuning, Datenmigration, Backup/Recovery, Data Guard, Data Warehousing, Data Mining, Reporting, Statistik), Administration und Konzeptionierung der MySQL Datenbanken (Datenmigration, DB/SQL-Tuning, Backup/Recovery) und der MS SQL Server Datenbanken (Backup/Recovery, DB/SQL-Tuning), Test der Software, Schnittstellenprogrammierung, Auswertung der Daten, Analyse der Log-Dateien, BigData und MapReduce Technologie
Windows XP Windows Server HP Unix Linux TOAD SQL Developer Oracle 9.x 10.x 11.x 12.x SQL Loader PL/SQL RMAN MySQL 5.x MS SQL Server 2008 und 2014 MS SQL BI Development Studio Nagios R-Studio Eclipse PHP Python
Datenbankadministration Projektleitung Datenmigration Schnittstellen-Entwicklung
Industrie-Konzern-Tochter eines europäischen Industrie-Konzernes
Erlangen (D-91056, D-91058, D-91052, D-91054)
5 Jahre 3 Monate
2002-01 - 2007-03

Aufbau von Benutzer Orientiertes Schadenmanagment System

Softwareentwickler, Organisationsprogrammierer Object Engineering Process Datenanalyse Datenbankadministration
Softwareentwickler, Organisationsprogrammierer
Design, Analyse und Entwicklung der Anwendung (J2EE Client/Server EJB's-Technologie),  DB/SQL-Tuning, Datenmigration
Windows NT 4.0 Windows XP IBM WAS JBoss XML jRF Java JBuilder Erwin TOAD Oracle 9.x PL/SQL
Object Engineering Process Datenanalyse Datenbankadministration
Versicherung
Nürnberg

Aus- und Weiterbildung

Aus- und Weiterbildung

- Diplom Hochschule, Schwerpunkt matematische Modellierung

- Oracle OCP 12c, 10g, Oracle DBA Linux Expert

- Hortonworks Certified Associate (HCA)

- Microsoft MTA Database Administration Fundamentals

- Certificate of John Hopking University, Course Computing for Data Analysis

- Certificate of Massachusetts Institute of Technology (MIT), Course Introduction to Computational Thinking and Data Science

- Exasol Certified Expert for Advanced Analytics / Performance and Scripting / Database Developer

- Azure Data Engineer Associate

- Databricks Lakehose Platform Associate / Databricks Certified Data Engineer Associate

Position

Position

Solution Architekt

Kompetenzen

Kompetenzen

Top-Skills

Oracle Python Databricks Entwickeln von Schnittstellen DWH PLSQL OpenShift Azure Azure Devops

Produkte / Standards / Erfahrungen / Methoden

Erfahrungen im Bereich:

  o technisch-wirtschaftliche Programmierung

  o Anwendungsprogrammierung

  o Systemprogrammierung

  o DWH- und ETL-Programmierung (OWB, DataStage)

  o Datenbankdesign / Datenbankprogrammierung / webbasierte Datenbankanwendungen

  o Programmierung und Test

  o Reporting (Crystal Report), SQL Server BI Development Studio, BigData und

     MapReduce Technologie

 o Data Mining (R Studio und Rattle) 

 o Entwicklung der Web Services in Python

 


Methoden:

  o Objektorientierte Analyse, Design, Programmierung, UML

  o Ereignisgesteuerte, visuelle und strukturierte Programmierung

  o Datenbank Design (verwendete Tools: Oracle Designer, Oracle SQL Developer

     Data Modeler, Erwin)


Spezialkenntnisse:

  o Oracle DB, MySQL DB, MS SQL Server, Installation, Aufbau, Design,

     Programmierung, Migration, Wartung, Performance Tuning

  o Entwicklung von Intranet-/Internetanwendungen:

Oracle Portal (WebDB) Anwendungen, Java, J2EE Client/Server Technologie,

Microsoft WebClass-Anwendungen, ASP, Schnittstelleprogramierung

Betriebssysteme

MS-DOS
Unix
Linux SUSE 8.x, Open SUSE 10.x, 11.x Red Hat / Oracle Linux 4.x, 5.x, 6.x, 7.x
Windows
3.x, 95, 98, NT 4.0, 2000, XP, 2003, 2008, 2012

Programmiersprachen

DataStage
ETL-Tool
Java
Oracle JBuilder, Borland JBuilder, Eclipse
JavaScript
Oracle JBuilder, Borland JBuilder
Pascal
Turbo Pascal, Borland Pascal
Perl
NAGIOS-Plugin Programmierung
PL/SQL
iSQL, SQL Developer, TOAD, Schnittstellenprogrammierung
Python
Web Service Entwicklung / Auswertung der Log-Dateien / MapReduce Programmierung
R
Data Mining in R Sprache (R Studio und Rattle)
Shell
Batch-Programmierung für die Datenbankadministration
gute Kenntnisse in der Batch- und ETL-Programmierung

Datenbanken

Access
97 und 2000
BDE
DAO
JDBC
MS SQL Server
2008, 2014
MySQL
5.x
ODBC
Oracle
7.x, 8.x, 9.x, 10.x, 11.x, 12.x
SQL
2008, 2012, 2014

Datenkommunikation

Internet, Intranet
Anwendungsdesign und -entwicklung
TCP/IP
Kentnisse von HTTP, FTP u.s.w.

Branchen

Branchen

- Banken
- Forschung
- Entwicklung
- Softwarehersteller
- Versicherungen
- Finanzdienstleistung
- Industrie
- Versorgungsunternehmen

Einsatzorte

Einsatzorte

Nürnberg (+200km)
Deutschland, Österreich, Schweiz

Ganz Deutschland: bevorzugt Bereich D9 (Raum Nürnberg)

möglich

Projekte

Projekte

2 Jahre 3 Monate
2022-07 - heute

Aufbau der Big Data Plattform

Big Data Engineer / ML Ops / Applikation Manager Azure Cloud Databricks ...
Big Data Engineer / ML Ops / Applikation Manager

Gestaltung und Umsetzung der Architektur für effiziente KI-Modelle-WebServices mit Python.  Betreuung  Design, Entwicklung, Migration, Optimierung und Deployment von Data Lake Spark-Jobs auf Azure Databricks. Aufbau von DevOps-Pipelines mit Jenkins, Helm Charts und Azure DevOps. Technischer Betrieb, Deployment, Monitoring und Fehler Analyse von Labeling Tool.

Python Open Shift Oracle 19.x Azure Azure Databricks Azure DevOps
Azure Cloud Databricks DevOps Datenmigration Big Data
Genossenschaftsbank
Nürnberg
1 Jahr
2021-07 - 2022-06

Collibra Data Governance Center goes Cloud

Data Engineer Projektleitung Schnittstellenabstimmungen Administration
Data Engineer

Technischer Ansprechpartner für die Migration von Collibra Data Governance Center in die Cloud. Abstimmung und Umsetzung der Anforderungen mit Cloud Architekten. Konfiguration und Test der Schnittstellen.

Collibra Data Governance Center SAML Azure Active Directory Collibra DGC 5.x Collibra Cloud Platform
Projektleitung Schnittstellenabstimmungen Administration
Genossenschaftsbank
Nürnberg
1 Jahr
2020-07 - 2021-06

Aufbau der Datenintegration Plattform

Data Engineer Datenarchitektur ETL Linux
Data Engineer
Abstimmung der Anforderungen und Lösungen mit dem Fachbereich. Technische Umsetzung der Datenintegration Plattform mittels Ab-initio, Oracle und Python. Design, Entwicklung, Test und Deployment der ETL Jobs. Leitung der Data Engineers.
Ab-Initio Oracle SQL Python
Datenarchitektur ETL Linux
Genossenschaftsbank
Nürnberg
9 Monate
2019-10 - 2020-06

Vorstudie "Aufbau der Datenintegration Plattform"

Projektleiter Scrum Master Projektierung
Projektleiter

Leitung der Vorstudie "Aufbau der Datenintegration Plattform", Ausarbeitung der Solution Design, Daten Architektur und technischer Lösung. Anbindung des Systems an Azure Cloud.

Ab-Initio Talend SQL Oracle Exasol Kafka
Scrum Master Projektierung
Genossenschaftsbank
Nürnberg
7 Monate
2019-03 - 2019-09

Modernisierung des zentralen DWHs

Data Engineer Datenarchitektur Betriebserfahrung
Data Engineer
Erweiterung des zentralen DWHs, Einschließen der neuen Datenquellen, Performance Optimierung, Modellierung für DWH-Kern und DataMart-Schicht, Definition und Entwicklung der ETL-Strecken inkl. Daten Historisierung, Fehleranalyse und Fehlerkorrekturen im täglichen Bankbetrieb
Exasol 6.x Oracle 18.x Talend Data Vault Oracle SQL Developer Oracle SQL Modeller Lua JavaScript
Datenarchitektur Betriebserfahrung
Genossenschaftsbank
Nürnberg
2 Jahre 5 Monate
2016-10 - 2019-02

Betrieb und Weiterentwicklung von DWH und BigData Plattform

Big Data Spezialist, Business Intelligence (BI) Spezialist
Big Data Spezialist, Business Intelligence (BI) Spezialist

Betrieb, Administration, Konzeption und Modellierung für den DWH-Kern und die DataMart-Schicht, Definition und Entwicklung der ETL-Strecken inklusive Datenhistorisierung, Performanceoptimierung, Migration von OWB zu DataStage, Reporting, DB/SQL-Tuning, Regressionstests, Fehleranalyse und Fehlerkorrekturen im täglichen Bankbetrieb. Betrieb von Horton-Hadoop- und Kafka-Clustern.


RedHat 6.x 7.x TOAD DataStage 11.x OWB Apex 5.x Oracle Exadata 11.x 12.x PL/SQL Python 2.x 3.x Bash Shell Automic (UC4) 10.x Confluent Kafka Hadoop Horton
Direktbank-Tochter einer europäischen Großbank
Nürnberg
9 Jahre 6 Monate
2007-04 - 2016-09

Konsolidierung, Migration und Administration der Datenbanken

DBA und System Architekt Datenbankadministration Projektleitung Datenmigration ...
DBA und System Architekt
Administration und Konzeptionierung der Oracle Datenbanken (DB/SQL-Tuning, Datenmigration, Backup/Recovery, Data Guard, Data Warehousing, Data Mining, Reporting, Statistik), Administration und Konzeptionierung der MySQL Datenbanken (Datenmigration, DB/SQL-Tuning, Backup/Recovery) und der MS SQL Server Datenbanken (Backup/Recovery, DB/SQL-Tuning), Test der Software, Schnittstellenprogrammierung, Auswertung der Daten, Analyse der Log-Dateien, BigData und MapReduce Technologie
Windows XP Windows Server HP Unix Linux TOAD SQL Developer Oracle 9.x 10.x 11.x 12.x SQL Loader PL/SQL RMAN MySQL 5.x MS SQL Server 2008 und 2014 MS SQL BI Development Studio Nagios R-Studio Eclipse PHP Python
Datenbankadministration Projektleitung Datenmigration Schnittstellen-Entwicklung
Industrie-Konzern-Tochter eines europäischen Industrie-Konzernes
Erlangen (D-91056, D-91058, D-91052, D-91054)
5 Jahre 3 Monate
2002-01 - 2007-03

Aufbau von Benutzer Orientiertes Schadenmanagment System

Softwareentwickler, Organisationsprogrammierer Object Engineering Process Datenanalyse Datenbankadministration
Softwareentwickler, Organisationsprogrammierer
Design, Analyse und Entwicklung der Anwendung (J2EE Client/Server EJB's-Technologie),  DB/SQL-Tuning, Datenmigration
Windows NT 4.0 Windows XP IBM WAS JBoss XML jRF Java JBuilder Erwin TOAD Oracle 9.x PL/SQL
Object Engineering Process Datenanalyse Datenbankadministration
Versicherung
Nürnberg

Aus- und Weiterbildung

Aus- und Weiterbildung

- Diplom Hochschule, Schwerpunkt matematische Modellierung

- Oracle OCP 12c, 10g, Oracle DBA Linux Expert

- Hortonworks Certified Associate (HCA)

- Microsoft MTA Database Administration Fundamentals

- Certificate of John Hopking University, Course Computing for Data Analysis

- Certificate of Massachusetts Institute of Technology (MIT), Course Introduction to Computational Thinking and Data Science

- Exasol Certified Expert for Advanced Analytics / Performance and Scripting / Database Developer

- Azure Data Engineer Associate

- Databricks Lakehose Platform Associate / Databricks Certified Data Engineer Associate

Position

Position

Solution Architekt

Kompetenzen

Kompetenzen

Top-Skills

Oracle Python Databricks Entwickeln von Schnittstellen DWH PLSQL OpenShift Azure Azure Devops

Produkte / Standards / Erfahrungen / Methoden

Erfahrungen im Bereich:

  o technisch-wirtschaftliche Programmierung

  o Anwendungsprogrammierung

  o Systemprogrammierung

  o DWH- und ETL-Programmierung (OWB, DataStage)

  o Datenbankdesign / Datenbankprogrammierung / webbasierte Datenbankanwendungen

  o Programmierung und Test

  o Reporting (Crystal Report), SQL Server BI Development Studio, BigData und

     MapReduce Technologie

 o Data Mining (R Studio und Rattle) 

 o Entwicklung der Web Services in Python

 


Methoden:

  o Objektorientierte Analyse, Design, Programmierung, UML

  o Ereignisgesteuerte, visuelle und strukturierte Programmierung

  o Datenbank Design (verwendete Tools: Oracle Designer, Oracle SQL Developer

     Data Modeler, Erwin)


Spezialkenntnisse:

  o Oracle DB, MySQL DB, MS SQL Server, Installation, Aufbau, Design,

     Programmierung, Migration, Wartung, Performance Tuning

  o Entwicklung von Intranet-/Internetanwendungen:

Oracle Portal (WebDB) Anwendungen, Java, J2EE Client/Server Technologie,

Microsoft WebClass-Anwendungen, ASP, Schnittstelleprogramierung

Betriebssysteme

MS-DOS
Unix
Linux SUSE 8.x, Open SUSE 10.x, 11.x Red Hat / Oracle Linux 4.x, 5.x, 6.x, 7.x
Windows
3.x, 95, 98, NT 4.0, 2000, XP, 2003, 2008, 2012

Programmiersprachen

DataStage
ETL-Tool
Java
Oracle JBuilder, Borland JBuilder, Eclipse
JavaScript
Oracle JBuilder, Borland JBuilder
Pascal
Turbo Pascal, Borland Pascal
Perl
NAGIOS-Plugin Programmierung
PL/SQL
iSQL, SQL Developer, TOAD, Schnittstellenprogrammierung
Python
Web Service Entwicklung / Auswertung der Log-Dateien / MapReduce Programmierung
R
Data Mining in R Sprache (R Studio und Rattle)
Shell
Batch-Programmierung für die Datenbankadministration
gute Kenntnisse in der Batch- und ETL-Programmierung

Datenbanken

Access
97 und 2000
BDE
DAO
JDBC
MS SQL Server
2008, 2014
MySQL
5.x
ODBC
Oracle
7.x, 8.x, 9.x, 10.x, 11.x, 12.x
SQL
2008, 2012, 2014

Datenkommunikation

Internet, Intranet
Anwendungsdesign und -entwicklung
TCP/IP
Kentnisse von HTTP, FTP u.s.w.

Branchen

Branchen

- Banken
- Forschung
- Entwicklung
- Softwarehersteller
- Versicherungen
- Finanzdienstleistung
- Industrie
- Versorgungsunternehmen

Vertrauen Sie auf Randstad

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.