Erstellung des Meta - DB Modells einer 25 Jahre entwickelten Autoleasinganwendung für die bevorstehende Cloud - Migration. Historisch vergleichende Schema- und Objekt -Auswertung in allen DB - Instanzen , von der Test- bis zur Produktionsumgebung.

Technische Projektleitung bezüglich der Datenanalyse und  DWH - Modellierung,  Entwicklung eines mandantenfähigen, internationalen Web - Portals im EU - Projekt (Java und Oracle Umfeld).

--------------------------------------------------------------------------------------

POS P_LEVEL_TABLE  AB POS PO_LEVEL_TABLE       AB POS   P2O_LEVEL_TABLE       AB CC

--- -------------- -- --- -------------------- -- ----- --------------------- -- -----

1   API_STATUS     SS                                                            I

2   API_REPORT     RT 2.5 API_REPORT_REQUEST   RQ 1.8   API_REQUEST_STATUS    QS n I

3   API_MIMETYPE   MA 2.6 API_REPORT_MIMETYPE  RM 2.5.9 API_REQUEST_RETRIEVE  QR   i I

4   API_PARAMETER  PA 2.7 API_REPORT_PARAMETER RP 2.5.A API_REQUEST_PARAMETER QP     N

--------------------------------------------------------------------------------------

C   API_LOG        LO

Das Beispiel zeigt meine denkbar kürzeste Form des E/R - Diagramms: als Tabelle. Alle 11 Tabellen einer kleinen Anwendung stehen samt ihre Referenzen und geordnet (POS von 1 bis C) in der  Metatabelle. Die zwölfte referentiell nicht verbündete Tabelle heißt hier:  API_LOG.

Das Bild dokumentiert in dieser Kurzform die Schnittstelle zwischen OLTP - Datenbank und einem APEX - Reporting - System, welches in Web die einzelnen Reports präsentiert. Die Log - Tabelle zeichnet den Vorgang auf und ermöglicht die ständige Performance - Bewertung der Schnittstelle (AB = Abkürzung, CC = Kardinalität der Korrespondenz).

Betreuung und Entwicklung des Oracle ELT Tools. Redundanzauswertung der Systemquellen und Prozessen auf Basis von ODI - Repository.

ODI 11.2 Auswertung: quellsystemrelevante Tabellen in PRD (Produktion), ABN

(Abnahme), ENT (Entwicklung) im Bezug auf Prozesse, d.h. ODI - Module.

--------------------------------------------------------------------

FAKT_TABELLEN IN_PRD_ABN_ENT  PRD_ANZAHL   ABN_ANZAHL   ENT_ANZAHL

------------- --------------- ------------ ------------ ------------

AUX_FEHLERL..     X   X   X             58           57            0

FACT_AGENTA..     X   X   X     12.499.991   12.734.923      103.259

FACT_AGENTE..     X   X   X     14.541.005   14.541.914    7.292.509

FACT_ARBEIT..     X   X   X      1.596.836    1.596.155       26.355

FACT_BONANZ..     X   X   X              0        1.344           50

FACT_FGR_50..     X   X   X            906          906            1

FACT_ITRACK..     X   X   X         24.100       24.077       15.540

FACT_KORRES..     X   X   X      2.796.087    4.938.193      207.574

FACT_KORRES..     X   X   X      1.664.963    1.297.235      149.344

FACT_PROZES..     X   X   X     11.400.477   11.390.271    6.135.718

FACT_VIDEO_..     X   X   X          4.360        1.596           49

FACT_VORGAN..     X   X   X     50.502.275   50.908.370   13.263.490

..

E$_DIM_QUEU..     X   X   X              0            0            0

E$_FACT_AGE..     X   X   X              0            0        1.858

E$_FACT_AGE..     X   X   X              0            0            0

E$_FACT_ARB..     X   X   X        970.481      970.267            0

..

E$_FACT_KOR..     X   X   X              0       70.552            4

E$_FACT_PRO..     X   X   X              0            0      134.050

..

FACT_ELOK_K..             X                                   23.239

FACT_FAX   ..             X                                   19.635

..

48 Zeilen gewählt

--------------------------------------------------------------------

Bewertung:

• die Anzahl der in ODI - Modulen maßgeblich involvierten FAKT-Tabellen ist erstaunlich klein: 7 Tabellen mit mehr als einem millionen Sätzen
• in PRD gibt es die folgenden Zuordnungen der relevanten Tabellen zu Modulen:

POS ODI_RELEVANTE_TABELLE ODI_RELEVANTES_MODUL

    --- ----------------------------------------- --------------------

    1   FACT_AGENTACTIVITY                        13

    2   FACT_AGENTENKENNZAHLEN                    1

    3   FACT_ARBEITSZEIT                          5

    4   FACT_KORRESPONDENZ, FACT_KORRESPONDENZ_MA 8

    5   FACT_PROZESSZEIT                          7

    6   FACT_VORGANGKENNZAHLEN                    2, 3, 13, 1

• in ABN gibt es zur POS 4 den alten Bezug zum Modul 8 und den neuen zum 18, d.h. es gibt zz. einen wesentlichen Unterschied zwischen PRD und ABN,
• die Beziehung zwischen relevanten Tabellen und Modulen ist: n zu m,
• die hunderten ODI-Tabellen: etwa 35 kleine, 7 große FAKTs und 40 DIMs mal drei Instanzen und mal drei ELT Schemen: STAGE, CORE und MART, verursachen die große Prozess- und Datenredundanz, die zur enormen Anzahl und schlechten Wartbarkeit der BI-Reports führt und eine typische ETL-Entwicklung "am dafür vorgesehenen Tool vorbei", d.h. am Oracle-ODI vorbei, ist,
• die unzähligen kleinen FACT's und die Verwendung des SQL-XML Schnittstelle anstatt des ODI XML-Connector sind eine Konsequenz der ad hock Entwicklung.

• Fortsetzung des Projektes vom 2017 bezüglich der Entwicklung einer voll automatisierten Zugfahrtenplanung.
• Unterstützung und Coaching der Java / C++ Entwickler zu allen Datenbankthemen.

• Fortsetzung des Projektes vom 08.2017 bezüglich komplexer XML/XSD.
• Erstellung der übersichtlichen XML – Filter zu Projektrelevanten Daten für die BI-Publisher Reports.

• Vollständige Rekonstruktion des Datenmodells (alle DB - Objekte) komplexer Apex 5.1 Anwendung bezüglich der internen Logistik des Konzerns auf der Basis des SQL-Skriptes von ganzer Applikation

-- 1.2 Liste --------------------------------------------- HBL 6,5 Sek

   PAGE_ID OBJECT_TYPE       OBJECT_NAME

---------- ----------------- ------------------------------

         0

       999

        10 PACKAGE           LPDB_UTL

        10 TABLE             MODELL

        10 TABLE             PROJEKT

        10 TABLE             PROJEKT_MODELL

..

        20 VIEW              V_CALCULATION

        21 PACKAGE           LPDB_LOG

        21 TABLE             PLANUNG

..

      2020 TABLE             PLAN_BEREICH

      2030 SYNONYM           LISON_GEBINDE

      2040 SYNONYM           LISON_GEBINDESTUECK

554 Zeilen gewählt.

• Ersetzen der ETL – OWB Strecke durch die PL/SQL – programmierte ETL.

• Weitere Entwicklung des Technikkatalog (ca. 2000 Seiten – große Apex  - Anwendung),  interaktive Reports im Bezug auf zwei Schnittstellen:  DWH (alt) und SAP (neu).

• Fortsetzung des Projektes vom Ende des Jahres 2011

• Konsultation und fachliche Betreuung der Migration einer komplexen OBIEE Anwendung, die auf  dem MS SQL Server basierte Dokumentation und Schulung bezüglich des Oracle BI Enterprise Management.

• Erstellung der Stücklisten auf Basis der in MS Excel vorliegenden CAD – Materiallisten
• Die Auswertung in MS Access und (nach Migration in Oracle 11g) in PL/SQL

• Anpassung der Apex - Stücklisten - Applikation vom Jahre 2012 (s.u.).

• Das im Zuge der Java - Entwicklung entstandene Datenbank (ca. 200 Tabellen) wird von mir nachträglich modelliert (mit Oracle Data Modeler, OWB 11.2: Data Profiling, Sparx: Enterprise Architect 10) und mit Hilfe einer von mir entwickelten Metadatenbank optimiert (Indexe, Views, Materialized Views, Jobs, ETL - Prozesse und anderes).
• Die unter Oracle Data Modeler entstandene E/R-Diagramme werden nach referentiellen Abhängigkeit - Stufe geordnet: in der ersten Reihe die nur referenzierende Tabellen, in der zweiten Reihe die Tabellen, welche von der ersten Stufe referenziert werden .. usw. Dies basierte auf einer von mir entwickelten Auswertung der CONSTRAINTS - View und verschaffte den Überblick in den sonst ziemlich verworrener Darstellung im E/R - Diagramm.

• Entwicklung sehr großer DWH (ca. 6 TB) Anwendung. Performance Optimierung der partitionierten Tabellen und Erstellung der APEX - Reports. Datenüberprüfung mit OWB Data Profiling. Erstellung einer Oracle Metadatenbank.
• Im Projekt lerne ich sehr komplexe und moderne DWH Umgebung kennen, welche sowohl von Entwickler wie auch von User nur über Cisco Clients angesprochen werden könnte (direkte Terminal Connections wurden nur den DBA-Mitarbeiter gestattet).
• Unter anderen habe ich in diesem Projekt eine von mir seit längerer Zeit entwickelte   Matadatenbank -  Auswertung geliefert. Die  SQL- Liste der von einem PL/SQL – Package aufgerufenen Tabellen, mit der Auswertung ob Select-, Insert-, Update- oder Delete-DML dabei realisiert werden (dies liefern die Oracle ALL_DEPENDENCIES - View nicht). Somit kann das operationelle Modell eines ETL - Programms (mehr als 10.000 Zeilenlang PL/SQL Code) abgelesen werden, d.h. Fragen  woher liest es (?) und wohin schreibt es (?) beantwortet werden:

------------------------------------------------

TABLE_NAME                       SEL_INS_UPD_DEL

-------------------------------- ---------------

TB_ESP_TRANSF_STCKL                  X   X   X

TB_ART_ERR                       X   X       X

TB_BASISARTIKEL                  X   X       X

..

TB_ARTTEXT_TMP                       X       X

TB_ASI_OLD                           X

TB_ASI_SET2_OLD                          X

..

TBP_BA_RELEVANZ                              X

TB_BASISARTIKEL                  X

..

73 Zeilen ausgewählt.

Abgelaufen: 00:00:15.01

(nach Tabellen und Insert-, Update-, Delete-, Select- Operationen ausgewertet, Truncate- und Drop-DML als Delete interpretiert, Merge als Insert- und Udate-DML, View – Select-DML in separater Auswertung).

• Die alten Stücklisten (entwickelt von mir unter Reports 6i vor 6 Jahren) habe ich zuerst in die Version 10g migriert und anschließend in Apex Web – Reports umgeschrieben.

• Redesign der Oracle Datenbank wegen Änderung der SAP zu Oracle – Schnittstelle. Auswertung der bestehenden Oracle Quellen, d.h. der Metadaten von Tabellen, Constraints, Views, Sources, Objects, Dependences und Anwendungen der Developer Suite 6i in einer MS Access – Datenbank.
• Entwicklung der physikalischen und BMM – Schicht unter OBIEE.

Reporting der Differenzen und weitgehend automatische Anpassung der unterschiedlichen DWH – DB -Schemas über mehrere Metaviews (Oracle data dictionary tables: von der DBA_TABLES bis zur DBA_COLUMN_COMMENTS).

Java - Eclipse Entwicklung: Performance und SQL Optimierung.

Erstellung des Konzeptes

Realisierung des DWH – Projektes: Aufbau der ETL -Schnittstelle zwischen Oracle und MS SQL – Server (Basis der Präsentationsschicht). Einsatz der SQL generativen Methoden (in Skripten, PL/SQL –ETL): 

• Analise und Konsultation mit Fachabteilungen des vorhandenen Fachkonzeptes:   hierarchische Vertriebstruktur der nach ca. 30 KPI (key performance indicators)   unterteilten Produkte,
• Design der Tabellen und Views für Datenexport (über CSV – Format an SQL – Server),
• Entwicklung der Skript – gesteuerten  ETL – Prozesse,
• Tuning und Redesign der ETL – Prozesse.

Entwicklung einer Repository Datenbank für Oracle 9i Metadaten.

Fachkonzept und Realisierung des Capacity Management DWH – Marts für Hard- und Softwaremanagement:

• Datenanalyse der bisherigen Excel Capacity DWH – Quellen (erstellten in MS Access),
• Rekonstruktion des relationales Designs der Quellen,
• Star – Schema Redesign,
• Entwicklung der auf externen Tabellen basierenden ETL – Prozesses (PL/SQL und Unix Skripte) Generative Erstellung umfangreicher DDL – Skripte.