Rolle:
Datenmodellierer und Datawarehouse-Entwickler
Hintergrund:
Wegen des Austauschs einer Vielzahl von operativen Systemen wird das
Datawarehouse der Krankenversicherung in weiten Teilen neu entwickelt.
Datawarehouse-Architektur
und -Konzeption entsprechend vorgegebener Guidelines und Konventionen
Konzeption
und Entwicklung von ETL-Strecken
Realisierung
von Test-Cases nach vorgegebenen Kriterien (fachlicher Gesamttest zur
technischen Abnahme)
Durchführung des Entwicklertests und Gesamttests
Analyse und Optimierung von Performanceproblemen in
Oracle ExadataPL/SQLSQLShell Scripting
Versicherung
8 Monate
2016-05 - 2016-12
?ETL-Strecken für SPOT?
ETL-EntwicklerTalend Open Studios for Data IntegrationJavaDB/2
ETL-Entwickler
Hintergrund:
Im Zusammenhang mit der regulatorischen Vorschrift BCBS 239 wird eine neues
Data-Warehouse entwickelt, das als Kern den SPOT (Single Point of Truth)
abbildet. Die Inhouse-EDV Lösung für das Risiko reporting wird damit abgelöst.
Für die Anreicherung der Daten wird das ETL-Tool angewendet
Technische
Umsetzung von ETL-Strecken in Talend
Beratung
und Entwicklung des neuen Data-Warehouse
Dokumentation
Talend Open Studios for Data IntegrationJavaDB/2
Bank
2 Monate
2016-05 - 2016-06
Vorbereitung Reporting
BI AnalystTalend Data IntegrationMS SQL Server 2016MS SQL Server Management Studio...
BI Analyst
Hintergrund:
Der Kunde möchte verschiedene Datenquellen vereinen und diese in einem BI-Tool
Tableau visualisieren, um daraus Reports für verschiedene Fachbereiche zu
erstellen. Die Vereinigung der verschiedenen Systeme in der Datenbank dient
dann als Basis fürs Reporting.
Analysieren
der Quellsysteme (Adobe SiteCatalyst, Cleverbridge, Navision)
Vereinen
der Quellesysteme und Abbildung in der Datenbank, dabei enge Zusammenarbeit mit
den Fachbereichen
Entwicklung
von Prozessen (ETL) in Talend zum Importieren der Daten in die Datenbank
Erstellen
erster Fact-Tabellen zur Visualisierung im BI-Tool Tableau
Interface
für weitere Quellensysteme zum Importieren der Daten in die Datenbank
Talend Data IntegrationMS SQL Server 2016MS SQL Server Management StudioFtpWindows 10
Avira Operations GmbH
2 Jahre 8 Monate
2013-08 - 2016-03
Projekt III ?AnaCredit?
Business Analyst Oracle 11g
Business Analyst
Beschreibung:
AnaCredit: Statistische Verordnung zur mehrstufigen Einführung eines
harmonisierten granularen Kreditmeldewesens auf ESZB-Ebene.
Analyse
der Anforderungen für AnaCredit "Analytical Credit Datasets". Prüfung
der Umsetzbarkeit auf der vorhandenen Datenbank-Struktur und Entwicklung von
Prototypen in SQL in diesem Zusammenhang.
Analyse
der regulatorischen Anforderung der EZB und BuBa
Ist-Analyse:
Verfügbarkeit der Daten auf verschiedenen Systemen
Beschreibung
der funktionalen Umsetzung
Datenqualitäts-Analyse
Datenbank
Prototypen
Oracle 11g
Deutsche Bank
1 Jahr 3 Monate
2014-04 - 2015-06
Projekt II ?Reporting IFRS12?
Business Analyst Oracle 11gMicroStrategy 9.4.1.Bank interne Tools (ETL Prozess Management...
Business Analyst
Beschreibung:
Erstellung von Reports nach dem IFRS12 Standard. Periodische Offenlegung der
Bank Struktur und deren Beteiligungen und Berichten dieser in MicroStrategy.
Analysieren
der Unternehmensbereiche anhand des Hypercubs (Oracle Datenbank), dabei enge
Zusammenarbeit mit Business. Entwicklung von verschiedenen MicroStrategy
Reports zur Auflistung der Unternehmensbereiche und deren Umstrukturierung zu
einem bestimmten Zeitpunkt. Erweitern des Hypercubs (Fakt- und
Dimensionstabellen) um weitere Quelldaten.
Weiterentwicklung eines bankinternen Tools für Data
Uploads, um noch nicht berücksichtige Daten in den Cube zu laden oder zu
korrigieren. Die finalen Reports sind über MicroStrategy Web abrufbar, Support
von MicroStrategy Usern und Datenanalyse nach Anfrage.
Weiterentwicklung
des Hypercubs (Oracle)
Entwicklung
Delta Reports in MicroStrategy
Testen
und Qualitätssicherung der entwickelten Reports
Beschreibung:
Um gegenüber der amerikanischen Steuerbehörde auf gehandelte Produkte Steuerrückerstattungen
geltend zu machen, da diese nach dem Bundesstaat New York geltendem Steuersatz
versteuert wurden, werden verschiedene Reporte entwickelt.
Analyse
der verschiedenen Handelsplattformen um die relevanten Daten für den
?Counterparty-Prozess? zu bestimmen. Anforderung und Analyse der Upload-Files
und Prozess zum Laden dieser in die Oracle-Datenbank. Weiterentwicklung des
bestehenden Datenmodels, um die Integration der neuen Business Anforderungen zu
gewährleiten. Harmonisierung der Daten aus verschiedenen Handelsplattformen.
Bestimmung des Datenflusses in der Datenbank mit dem Ziel, einen Report in
MicroStrategy zu erstellen.
Analyse
der Handelsplattformen und Bestimmung der relevanten Daten
Weiterentwicklung
des bestehenden Datenmodels
Bestimmung
des Datenflusses im Datenmodel
Enge
Zusammenarbeit mit Datenbank- und MicroStrategy Entwicklern
Analyse
der Finalen-Reports
Entwicklung
ETL-Prozess Quellsystem bis Reporting-Layer (MicroStrategy)
Validierungsprüfungen,
um bei Unstimmigkeit den ETL-Prozess zu stoppen
Beschreibung:
Ein Webshop Betreiber möchte für seine Reportings ein komplett neues
DataWarehouse. Die Datenquellen sind Microsoft Navision und Hybris. Die
Implementierung des DWH erfolgt auf einem MS SQL-Server Datenbank.
Umsetzung
des DWH-Datenmodells auf einer SQL-Server Datenbankumgebung. Entwicklung der
ETL-Jobs in Talend zum befüllen der Staging- und Dimensions- und Facttabellen.
Bei der Berechnung Fakten wird SQL und Java verwendet. Die berechneten Fakten
werden nach Kennzahlen gekennzeichnet und in der Final-Facttabelle gespeichert.
Veränderungen auf den Dimensionstabellen werden nach SCD (Slowly Changing
Dimensions) Methoden historisiert. Aufbau eines Gesamtsteuerungsprozesses, der
von Quelle bis zur Final Facttabelle die Datensätze befüllt mit Delta-Abzug.
Konzeption
Datenmodell (Sternschema) für das DataWarehouse
Aufbau
von Staging-, Dimensions- und Facttabellen
Entwicklung
der ETL-Prozesse zum befüllen von Tabellen
Kennzahlenberechnung
nach Vorgabe des Kunden
Gesamtsteuerungsjob
mit Delta-Abzug
Historisierung
der Daten nach SCD Methoden
MS-SQL ServerMicrosoft NavisionHybrisTalend Data Integration (Enterprise Edition)Java
simple fact AG
5 Monate
2013-02 - 2013-06
Talend MDM / DWH Consultant
MS-SQL ServerTalend Data Integration und Talend Master Data ManagementJava...
Beschreibung:
Die ABB hat verschiedene Projekte im Bereich Talend gestartet, hier unterstütze
ich daher verschiedene Projekte zu unterschiedlichen Phasen.
Projekt II:
Dimensionstabellen
auf einem SQL-Server sollen neue aufgebaut und von nicht mehr relevanten Daten
bereinigt werden. Dabei werden die vorhandenen Dimensionstabellen normalisiert
und die daraus entstandenen Entitäten auf einem TOS Master Management Server abgelegt.
Diese werden anschließend wieder ins DataWarehouse in der denormalisierten Form
geladen. Erstellen von Views die Browserseitig aufgerufen werden. Der gesamte
Prozess ist mit Talend Data Integration und Talend Master Data Management
implementiert. Erzeugen von BusinessKeys für das bilden von Fact-Tabellen und
für das Reporting.
Normal-
und Denormalisieren von Tabellen
Bereinigung
von nicht mehr relevanten Daten
Aufbau
eines neuen Datenmodells auf einem TOS MDM Server
Neue
Dimensionstabellen im DataWarehouse zur Verfügung stellen
Erzeugen
von BusinessKeys für das Reporting
Views
für die einfache Pflege von Master Daten
Projekt I:
Text-Dateien
sollen für das Reporting ausgewertet werden. Mit TOS Data Integration wird der
Inhalt der Textdateien auf einen SQL-Server geladen, um diese anschließend
weiterzubearbeiten. Die nun in der Datenbank abgelegten Datensätze werden mit
Lookup-Tabellen verglichen, um das endgültige Reporting zu erhalten. Dazu
werden SQL-Server Prozeduren aus TOS heraus aufgerufen und die Daten weiter
verdichtet, sowie Performance steigerde Maßnahmen durchgeführt. Anschließend
werden die bearbeiteten Text-Dateien archiviert. Der gesamte Prozess ist mit
TOS Data Integration implementiert.
Aufbau
einer Reporting Tabelle
Speichern
der Textdateien auf einen SQL-Server
Kontrolle
nicht auswertbarer Textdateien und Datensätze in den Textdateien
Aufruf
von Prozeduren auf SQL-Server und in C# (für das holen der txt-Daten aus
LotusNotes)
Archivieren
der Textdateien
Monitoring
des Prozesses und ablegen der Informationen in einer Tabelle (SQL-Server)
MS-SQL ServerTalend Data Integration und Talend Master Data ManagementJavaXML
ABB AG
7 Monate
2012-07 - 2013-01
HDS? Historical Data Separation
DWH ConsultantOracleMySQLMS-SQL Server...
DWH Consultant
Beschreibung:
In 4 Teams werden die Daten entsprechend bearbeitet. Insgesamt bestehen die
Teams aus 20 Personen.
Hintergrund:
Die SEB AG betreut mit ihren 1200 Mitarbeitern als Tochtergesellschaft eines
führenden nordeuropäischen Finanzkonzerns eine Vielzahl von Kunden in
Deutschland. In diesem Projekt wurden das Privat- und Firmenkundengeschäft
hinsichtlich ihrer Datenverwaltung und der eingesetzten IT-Systeme voneinander
getrennt. Dies betrifft rückwirkend die Daten der vergangenen 10 Jahre und über
100 IT-Systeme.
Die
Auftrennung der Daten erfolgt unter Einsatz von ETL-Prinzipien und weiteren
Ansätzen. Zum Einsatz kommt dabei die Software Talend mit ihrem ETL- und
weiteren Modulen.
Die
Daten kommen aus unterschiedlichen Quellen (Oracle-DB, MySQL, MS-SQL Server,
XML, DB2, Excel Sheets oder als FlatFiles
Die
Daten werden 1:1 in die Stating Area übernommen
Zuvor
Tabellen analysiert und entsprechende Separationskriterien festgelegt
Folgenden
vier Fälle können eintreten:
E: Empty (Die Tabelle ist leer und wird in beiden
Töpfen ?SEB, SAN? kopiert
B: Copy on both sides (Die Tabelle wird in beide Töpfe
kopiert)
SEB: Die Tabelle wird im Topf SEB mit Daten und im
Topf SAN ohne Daten kopiert
S: Separate (Die Tabelle wird nach den Kriterien
separiert)
Diese
Vorgänge finden in unterschiedlichen Schemen statt
Mittels
Talend (ETL-Tool) werden die Jobs dafür gebaut, durchgeführt und analysiert
Im
Anschluss werden Orchestration, QA, Previews und Generic durchgeführt
Rolle:
Datenmodellierer und Datawarehouse-Entwickler
Hintergrund:
Wegen des Austauschs einer Vielzahl von operativen Systemen wird das
Datawarehouse der Krankenversicherung in weiten Teilen neu entwickelt.
Datawarehouse-Architektur
und -Konzeption entsprechend vorgegebener Guidelines und Konventionen
Konzeption
und Entwicklung von ETL-Strecken
Realisierung
von Test-Cases nach vorgegebenen Kriterien (fachlicher Gesamttest zur
technischen Abnahme)
Durchführung des Entwicklertests und Gesamttests
Analyse und Optimierung von Performanceproblemen in
Oracle ExadataPL/SQLSQLShell Scripting
Versicherung
8 Monate
2016-05 - 2016-12
?ETL-Strecken für SPOT?
ETL-EntwicklerTalend Open Studios for Data IntegrationJavaDB/2
ETL-Entwickler
Hintergrund:
Im Zusammenhang mit der regulatorischen Vorschrift BCBS 239 wird eine neues
Data-Warehouse entwickelt, das als Kern den SPOT (Single Point of Truth)
abbildet. Die Inhouse-EDV Lösung für das Risiko reporting wird damit abgelöst.
Für die Anreicherung der Daten wird das ETL-Tool angewendet
Technische
Umsetzung von ETL-Strecken in Talend
Beratung
und Entwicklung des neuen Data-Warehouse
Dokumentation
Talend Open Studios for Data IntegrationJavaDB/2
Bank
2 Monate
2016-05 - 2016-06
Vorbereitung Reporting
BI AnalystTalend Data IntegrationMS SQL Server 2016MS SQL Server Management Studio...
BI Analyst
Hintergrund:
Der Kunde möchte verschiedene Datenquellen vereinen und diese in einem BI-Tool
Tableau visualisieren, um daraus Reports für verschiedene Fachbereiche zu
erstellen. Die Vereinigung der verschiedenen Systeme in der Datenbank dient
dann als Basis fürs Reporting.
Analysieren
der Quellsysteme (Adobe SiteCatalyst, Cleverbridge, Navision)
Vereinen
der Quellesysteme und Abbildung in der Datenbank, dabei enge Zusammenarbeit mit
den Fachbereichen
Entwicklung
von Prozessen (ETL) in Talend zum Importieren der Daten in die Datenbank
Erstellen
erster Fact-Tabellen zur Visualisierung im BI-Tool Tableau
Interface
für weitere Quellensysteme zum Importieren der Daten in die Datenbank
Talend Data IntegrationMS SQL Server 2016MS SQL Server Management StudioFtpWindows 10
Avira Operations GmbH
2 Jahre 8 Monate
2013-08 - 2016-03
Projekt III ?AnaCredit?
Business Analyst Oracle 11g
Business Analyst
Beschreibung:
AnaCredit: Statistische Verordnung zur mehrstufigen Einführung eines
harmonisierten granularen Kreditmeldewesens auf ESZB-Ebene.
Analyse
der Anforderungen für AnaCredit "Analytical Credit Datasets". Prüfung
der Umsetzbarkeit auf der vorhandenen Datenbank-Struktur und Entwicklung von
Prototypen in SQL in diesem Zusammenhang.
Analyse
der regulatorischen Anforderung der EZB und BuBa
Ist-Analyse:
Verfügbarkeit der Daten auf verschiedenen Systemen
Beschreibung
der funktionalen Umsetzung
Datenqualitäts-Analyse
Datenbank
Prototypen
Oracle 11g
Deutsche Bank
1 Jahr 3 Monate
2014-04 - 2015-06
Projekt II ?Reporting IFRS12?
Business Analyst Oracle 11gMicroStrategy 9.4.1.Bank interne Tools (ETL Prozess Management...
Business Analyst
Beschreibung:
Erstellung von Reports nach dem IFRS12 Standard. Periodische Offenlegung der
Bank Struktur und deren Beteiligungen und Berichten dieser in MicroStrategy.
Analysieren
der Unternehmensbereiche anhand des Hypercubs (Oracle Datenbank), dabei enge
Zusammenarbeit mit Business. Entwicklung von verschiedenen MicroStrategy
Reports zur Auflistung der Unternehmensbereiche und deren Umstrukturierung zu
einem bestimmten Zeitpunkt. Erweitern des Hypercubs (Fakt- und
Dimensionstabellen) um weitere Quelldaten.
Weiterentwicklung eines bankinternen Tools für Data
Uploads, um noch nicht berücksichtige Daten in den Cube zu laden oder zu
korrigieren. Die finalen Reports sind über MicroStrategy Web abrufbar, Support
von MicroStrategy Usern und Datenanalyse nach Anfrage.
Weiterentwicklung
des Hypercubs (Oracle)
Entwicklung
Delta Reports in MicroStrategy
Testen
und Qualitätssicherung der entwickelten Reports
Beschreibung:
Um gegenüber der amerikanischen Steuerbehörde auf gehandelte Produkte Steuerrückerstattungen
geltend zu machen, da diese nach dem Bundesstaat New York geltendem Steuersatz
versteuert wurden, werden verschiedene Reporte entwickelt.
Analyse
der verschiedenen Handelsplattformen um die relevanten Daten für den
?Counterparty-Prozess? zu bestimmen. Anforderung und Analyse der Upload-Files
und Prozess zum Laden dieser in die Oracle-Datenbank. Weiterentwicklung des
bestehenden Datenmodels, um die Integration der neuen Business Anforderungen zu
gewährleiten. Harmonisierung der Daten aus verschiedenen Handelsplattformen.
Bestimmung des Datenflusses in der Datenbank mit dem Ziel, einen Report in
MicroStrategy zu erstellen.
Analyse
der Handelsplattformen und Bestimmung der relevanten Daten
Weiterentwicklung
des bestehenden Datenmodels
Bestimmung
des Datenflusses im Datenmodel
Enge
Zusammenarbeit mit Datenbank- und MicroStrategy Entwicklern
Analyse
der Finalen-Reports
Entwicklung
ETL-Prozess Quellsystem bis Reporting-Layer (MicroStrategy)
Validierungsprüfungen,
um bei Unstimmigkeit den ETL-Prozess zu stoppen
Beschreibung:
Ein Webshop Betreiber möchte für seine Reportings ein komplett neues
DataWarehouse. Die Datenquellen sind Microsoft Navision und Hybris. Die
Implementierung des DWH erfolgt auf einem MS SQL-Server Datenbank.
Umsetzung
des DWH-Datenmodells auf einer SQL-Server Datenbankumgebung. Entwicklung der
ETL-Jobs in Talend zum befüllen der Staging- und Dimensions- und Facttabellen.
Bei der Berechnung Fakten wird SQL und Java verwendet. Die berechneten Fakten
werden nach Kennzahlen gekennzeichnet und in der Final-Facttabelle gespeichert.
Veränderungen auf den Dimensionstabellen werden nach SCD (Slowly Changing
Dimensions) Methoden historisiert. Aufbau eines Gesamtsteuerungsprozesses, der
von Quelle bis zur Final Facttabelle die Datensätze befüllt mit Delta-Abzug.
Konzeption
Datenmodell (Sternschema) für das DataWarehouse
Aufbau
von Staging-, Dimensions- und Facttabellen
Entwicklung
der ETL-Prozesse zum befüllen von Tabellen
Kennzahlenberechnung
nach Vorgabe des Kunden
Gesamtsteuerungsjob
mit Delta-Abzug
Historisierung
der Daten nach SCD Methoden
MS-SQL ServerMicrosoft NavisionHybrisTalend Data Integration (Enterprise Edition)Java
simple fact AG
5 Monate
2013-02 - 2013-06
Talend MDM / DWH Consultant
MS-SQL ServerTalend Data Integration und Talend Master Data ManagementJava...
Beschreibung:
Die ABB hat verschiedene Projekte im Bereich Talend gestartet, hier unterstütze
ich daher verschiedene Projekte zu unterschiedlichen Phasen.
Projekt II:
Dimensionstabellen
auf einem SQL-Server sollen neue aufgebaut und von nicht mehr relevanten Daten
bereinigt werden. Dabei werden die vorhandenen Dimensionstabellen normalisiert
und die daraus entstandenen Entitäten auf einem TOS Master Management Server abgelegt.
Diese werden anschließend wieder ins DataWarehouse in der denormalisierten Form
geladen. Erstellen von Views die Browserseitig aufgerufen werden. Der gesamte
Prozess ist mit Talend Data Integration und Talend Master Data Management
implementiert. Erzeugen von BusinessKeys für das bilden von Fact-Tabellen und
für das Reporting.
Normal-
und Denormalisieren von Tabellen
Bereinigung
von nicht mehr relevanten Daten
Aufbau
eines neuen Datenmodells auf einem TOS MDM Server
Neue
Dimensionstabellen im DataWarehouse zur Verfügung stellen
Erzeugen
von BusinessKeys für das Reporting
Views
für die einfache Pflege von Master Daten
Projekt I:
Text-Dateien
sollen für das Reporting ausgewertet werden. Mit TOS Data Integration wird der
Inhalt der Textdateien auf einen SQL-Server geladen, um diese anschließend
weiterzubearbeiten. Die nun in der Datenbank abgelegten Datensätze werden mit
Lookup-Tabellen verglichen, um das endgültige Reporting zu erhalten. Dazu
werden SQL-Server Prozeduren aus TOS heraus aufgerufen und die Daten weiter
verdichtet, sowie Performance steigerde Maßnahmen durchgeführt. Anschließend
werden die bearbeiteten Text-Dateien archiviert. Der gesamte Prozess ist mit
TOS Data Integration implementiert.
Aufbau
einer Reporting Tabelle
Speichern
der Textdateien auf einen SQL-Server
Kontrolle
nicht auswertbarer Textdateien und Datensätze in den Textdateien
Aufruf
von Prozeduren auf SQL-Server und in C# (für das holen der txt-Daten aus
LotusNotes)
Archivieren
der Textdateien
Monitoring
des Prozesses und ablegen der Informationen in einer Tabelle (SQL-Server)
MS-SQL ServerTalend Data Integration und Talend Master Data ManagementJavaXML
ABB AG
7 Monate
2012-07 - 2013-01
HDS? Historical Data Separation
DWH ConsultantOracleMySQLMS-SQL Server...
DWH Consultant
Beschreibung:
In 4 Teams werden die Daten entsprechend bearbeitet. Insgesamt bestehen die
Teams aus 20 Personen.
Hintergrund:
Die SEB AG betreut mit ihren 1200 Mitarbeitern als Tochtergesellschaft eines
führenden nordeuropäischen Finanzkonzerns eine Vielzahl von Kunden in
Deutschland. In diesem Projekt wurden das Privat- und Firmenkundengeschäft
hinsichtlich ihrer Datenverwaltung und der eingesetzten IT-Systeme voneinander
getrennt. Dies betrifft rückwirkend die Daten der vergangenen 10 Jahre und über
100 IT-Systeme.
Die
Auftrennung der Daten erfolgt unter Einsatz von ETL-Prinzipien und weiteren
Ansätzen. Zum Einsatz kommt dabei die Software Talend mit ihrem ETL- und
weiteren Modulen.
Die
Daten kommen aus unterschiedlichen Quellen (Oracle-DB, MySQL, MS-SQL Server,
XML, DB2, Excel Sheets oder als FlatFiles
Die
Daten werden 1:1 in die Stating Area übernommen
Zuvor
Tabellen analysiert und entsprechende Separationskriterien festgelegt
Folgenden
vier Fälle können eintreten:
E: Empty (Die Tabelle ist leer und wird in beiden
Töpfen ?SEB, SAN? kopiert
B: Copy on both sides (Die Tabelle wird in beide Töpfe
kopiert)
SEB: Die Tabelle wird im Topf SEB mit Daten und im
Topf SAN ohne Daten kopiert
S: Separate (Die Tabelle wird nach den Kriterien
separiert)
Diese
Vorgänge finden in unterschiedlichen Schemen statt
Mittels
Talend (ETL-Tool) werden die Jobs dafür gebaut, durchgeführt und analysiert
Im
Anschluss werden Orchestration, QA, Previews und Generic durchgeführt