Die folgende Liste gibt einen Überblick über bisherige Projekte. Für jedes Projekt folgt nach Zeitraum, Name und Auftraggeber bzw. Forschungsprogramm eine Aufzählung eigener Beiträge.

2015-2016: 3DQC ? 3D Quality Control

Forschungsprogramm IBB Pro FIT

Zielsetzung:

Entwicklung von Werkzeugen zur Qualitätskontrolle von 3D Video 

• Mitarbeit am Projektantrag
• Leiten des Projekts für das HHI und koordinieren der Zusammenarbeit mit dem Projektpartner
• Mitarbeit an der Anforderungsdefinition
• Entwickeln von C++ Basisstrukturen

2013-2016: 3FLEX ? Depth enabled workflow for flexible 3D and multiview video production

Europäisches Forschungsprogramm FP7-SME

Zielsetzung:

Definition und Entwicklung von fortschrittlichen Arbeitsabläufen für 2D, Stereo und Multiview-Video unter Verwendung von Tiefenkarten 

• Mitarbeit am Projektantrag
• Leiten des Projekts für das HHI und koordinieren der Zusammenarbeit mit den Projektpartnern
• Leiten der Arbeitspakete ?Depth enabling pre-processing?, ?Depth image based multiview rendering? und ?Interoperability and evaluation?
• Entwickeln und implementieren von C++ Basisstrukturen für OpenFX Plugins in Mamba/Mistika und Nuke
• Implementieren von OpenFX Plugins basierend auf Ergebnissen des Projekts Hybrid 3D
• Mitarbeit an einem Vorschlag zur Erweiterung des OpenFX Standards
• Organisieren von Interoperabilitätstests und einer experimentellen Produktion

2009-2016: Multiview-Konvertierung

interne HHI Aktivität

Zielsetzung:

Entwicklung von Lösungen zu Konvertierung von Stereo 3D Videomaterial für brillenlose 3D Displays 

• Produktverantwortung
• Aggregieren von Algorithmen der Bereiche Rektifizierung, Disparitätsschätzung und Zwischenbildsynthese aus verschiedenen Projekten. Beginnend mit einem Konvertierungsservice für Videosequenzen wurden später automatische Software- und Hardwarelösungen entwickelt, um Stereo 3D Video nach Multiview konvertieren
• Etablieren und pflegen von Kontakten zu 3D Display Herstellern
• Unterstützen von Kunden und Wiederverkäufern eines Konvertierungsplugins für Adobe After Effects
• Warten der Plugin-Software
• Mitarbeit bei SMPTE in der Standardisierung von 3D Videoformaten

2012-2013: Hybrid 3D

Industrieprojekt: Disney, Burbank

Zielsetzung:

Entwicklung eines trifokalen Kamerasystems sowie von Werkzeugen für die Nachverarbeitung 

• Leiten des Projekts für das HHI
• Mitarbeit an der Anforderungsdefinition für das trifokale Kamera-Rig
• Entwickeln und implementieren von C++ Basisstrukturen für Adobe After Effects Plugins
• Optimieren einer trifokalen Rektifizierungslösung im Hinblick auf bessere Robustheit
• Technische Unterstützung von Projektpartnern während des Drehs und der Nachbearbeitung des Kurzfilms ?Make Believe?

2010-2013: MUSCADE ? Multimedia Scalable 3D for Europe

Europäisches Forschungsprogramm FP7-ICT

Zielsetzung:

Entwicklung aller benötigen Komponenten für eine komplette 3D-TV Übertragungskette 

• Leiten des Arbeitspakets ?Standardization and Dissemination?
• Koordinieren der HHI Beiträge im Bereich MPEG-4 MVC Echtzeit-Enkodierung

2008-2012: 2020 3D Media: Spatial Sound and Vision

Europäisches Forschungsprogramm FP7-ICT

Zielsetzung:

Entwicklung von neuen Unterhaltungserlebnissen basierend auf 3D Audio und Video 

• Leiten des Projekts für das HHI und koordinieren der Zusammenarbeit mit den Projektpartnern
• Mitarbeit an der Entwicklung eines trifokalen Kamerasystems bestehen aus einer hochqualitativen Zentralkamera und industriellen Satellitenkameras
• Weiterentwickeln von existierenden Algorithmen zur Rektifizierung und Disparitätsschätzung im Hinblick auf Verwendung von gemischten Kamerasystemen
• Entwickeln eines Konzepts zur Fusion von time-of-flight sowie structured-light Information mit bildbasierter Disparitätsschätzung um Qualität und Zuverlässigkeit zu verbessern
• Entwickeln von C++ Software für ein Echtzeit-Preview eines trifokalen Kamerasystems

2008-2011: 3D4YOU ? Content generation and delivery for 3D television

Europäisches Forschungsprogramm FP7-ICT

Zielsetzung:

Entwicklung von Schlüsselkomponenten für ein 3D-TV System 

• Leiten des Projekts für das HHI und koordinieren der Zusammenarbeit mit den Projektpartnern
• Entwickeln von AviSynth Skripten und Plugins zur Bearbeitung von Testsequenzen und zur Visualisierung von Ergebnissen
• Weiterentwickeln einer existierenden Lösung zur Disparitätsschätzung im Hinblick auf Qualitätsanforderungen für 3D-TV
• Mitarbeit an der Spezifikation von subjektiven Tests der Qualität von 3D Video zum Vergleich verschiedener tiefenbasierter Formate

2006-2007: Depth Estimation for Postproduction

Industrieprojekt: Deutsche Thomson OHG, Hannover

Zielsetzung:

Verwendung einer trifokalen Kamera zur Extraktion von Tiefeninformation für die Nachbearbeitung von Kino- u. TV-Produktionen 

• Leiten des Projekts
• Entwickeln einer Lösung zur Fusion von Disparitätskarten aus mehreren Kameras gleichen Typs
• Redesign eines C++ Software Kerns zur Disparitätsschätzung mit Hilfe von Techniken der Generischen Programmierung
• Entwickeln von Unit-Tests
• Implementieren eines Software-Prototyps zur Disparitätsschätzung sowie eines 3D Players 

2005-2007: GestAvatar

Industrieprojekt: T-Systems, Berlin

Zielsetzung:

Gesten- und Mimik-Steuerung eines Avatars 

• Systemintegration eines parallelen Software-Prototypen mit ca. 250T Codezeilen in C++
• Abstimmen der Softwareschnittstelle für eine externe Avatar-Rendering Komponente

2000-2004: ITI - Immersive Telepresence in the Internet

gefördert durch das Bundesministerium für Bildung und Forschung

Zielsetzung:

Entwicklung eines immersiven Videokonferenzsystems mit Unterstützung von Augenkontakt 

• Leiten des Projekts ab 2002
• Echtzeit Optimierung verschiedener Softwarekomponenten
• Systemintegration eines parallelen Software-Prototypen mit ca. 500T Codezeilen in C++
• Erweitern eines im Projekt Virtue entwickelten Segmentierungsalgorithmus um eine Komponenten zur Schattenerkennung

2000-2003: Virtue - VIRtual Team User Environment

Europäisches Forschungsprogramm IST

Zielsetzung:

Entwicklung eines halb-immersiven Videokonferenzsystems mit einem überzeugenden Eindruck von Präsenz 

• Weiterentwickeln des Segmentierungsalgorithmus aus dem Projekt Openise im Hinblick auf Echtzeitfähigkeit für SDTV Auflösung bei 25 Bildern pro Sekunde auf einem Trimedia DSP
• Koordinieren der finalen Systemintegration der Module aller Projektpartner

2000-2001: Openise - OPEN Platform for Enhanced Interactive Services

Europäisches Forschungsprogramm IST

Zielsetzung:

Entwickeln einer offenen und skalierbaren Ende-zu-Ende Netzwerk-Plattform für erweiterte interaktive Echtzeit-Services 

• Weiterentwickeln der Echtzeit-Segmentierungslösung aus dem Projekt VPID
• Systemintegration der Analysesoftware in einem ActiveX Control bestehen aus Videoaufnahme, Segmentierung, MPEG-4 Enkodierung sowie einer MPEG-4 DMIF kompatiblen Netzwerkeben
• Entwickeln einer generischen Lösung zur Behandlung von Parametern basierend auf C++ Templates und einer ATL GUI

1998-2000: NEMESIS - New Multimedia Services using Analysis Synthesis

Europäisches Forschungsprogramm ESPRIT

Zielsetzung:

Entwicklung von Plugins für Adobe After Effects zur vereinfachten Freistellung von Objekten durch Extraktion von 3D Information 

• Anpassen eines existierenden Ansatzes basieren auf aktiven Konturen sowie entwickeln einer GUI zur effizienten manuellen Korrektur von automatischen Ergebnissen
• Entwickeln eines neuen Ansatzes zur verbesserten Segmentierung von Objektkanten
• Implementieren von After Effects Plugins zur semiautomatischen Segmentierung 

1997-1998: VPID - Video Compression and Presentation for Interactive Services

gefördert durch das Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie

Zielsetzung:

Integration von realen und virtuellen Welten in Video und Grafik für Fernbestellung und virtuelle Konferenzen 

• Entwickeln und implementieren eines Algorithmus zu Subtraktion von Objekten vor bekanntem Hintergrund mit Anpassung an verändernde Beleuchtungsbedingungen
• Systemintegration der C++ Serverkomponente des Forschungsprototypen für eine Echtzeitverarbeitung von QCIF Video bei 10 Bildern pro Sekunde