Erstellung, Erweiterung und Einbindung einer durch LLM gesteuerten Checking-Engine, welche zur Überprüfung von Checklisten eingesetzt wird. Die Checking-Engine überprüft dabei eine beliebige Anzahl von Dokumenten auf die Existenz von relevanten Textstellen in Bezug auf die Prüfpunkte aus den Checklisten.

Sobald das angestrebte Einsatzgebiets eines ML Modells zu sehr von der Varianz in den Trainingsdaten abweicht, ist es schwierig die erwünschte Genauigkeit zu erzielen. Ein Beispiel hierfür ist die Schätzung von menschlichen Posen, da ein Großteil der öffentlichen Daten aufrecht stehend oder sitzende Personen beinhaltet. Wenn nun ein auf diesen Daten trainiertes Modell eingesetzt wird, um die Keypoints der menschlichen Posen aus einem ungewöhnlichen Ansichtswinkel zu schätzen, dann kommt es häufiger zu nicht oder falsch erkannten Vorhersagen. Für genau dieses Szenario wurde in dieser Abschlussarbeit eine Arbeitskette entwickelt, welche zuerst die vorhandenen Labels der Trainingsdaten untersucht (die Informationen zu den Keypoints), basierend darauf neue Labels generiert, die synthetischen Labels mit Stable Diffusion in Bilder umwandelt und danach im Fine-Tuning eingesetzt.
Speziell eingesetzt wurde für die ersten zwei Schritte ein trainierter Latent Space in einem VAE für 2D Posen, welcher aber Informationen zu den zugehörigen 3D Posen erlernt hat. Dies ermöglicht es Posen miteinander zu vergleichen und neue Posen zu samplen. Für die Generierung der Bilder kam das Controlnet zum Einsatz, um mit Hilfe der generierten Posen als Steuerungseingabe passende Bilder zu erzeugen. Mit diesen Daten wurde ein YOLO-v7 Keypoint Estimation Modell weitertrainiert.
Nach dem Fine-Tuning hat das Modell, trainiert mit den synthetischen Daten, eine bessere Performance in Bezug auf Geistern und fehlende Detektionen im Vergleich zu dem Basis Modell.

Die zuvor verwendete Arbeitskette verwendete einen kaskadierenden Ansatz, um die Gesichter in Bildern zu detektieren und auszuschneiden. Dieses Verfahren kostet sehr viel Zeit kann aber somit unbegrenzt viele Gesichter erkennen. Das angestrebte Einsatzgebiet ist aber auf eine geringe Anzahl von Menschen beschränkt, wodurch ein neuer Modelltyp von Vorteil ist.
Als neuen Gesichtsdetektor wurde das Centerface Modell ausgewählt da es besonders gut geeignet ist für Embedded/Edge AI Anwendungsfälle. Basierend auf den Gesichtsausschnitten von Centerface wurde ein neues ArcFace Modell trainiert, das die Gesichts Embedding ausgibt. Die resultierende Verarbeitungskette von Detektor und Erkennung erzielte nicht nur eine bessere Laufzeit sondern konnte auch eine 10-fach verbesserte Genauigkeit verbuchen.

Das bis dahin eingesetzte Verfahren zur Erkennung der menschlichen Keypoints basierte auf älteren Verfahren aus dem maschinellen Lernen und war somit reif ersetzt zu werden durch eine neue Lösung. Hierfür wurde eine Evaluation zwischen dem alten System und dem YOLO-v7 durchgeführt, in welcher das YOLO Modell nicht nur eine bessere Laufzeit sondern auch eine verbesserte Genauigkeit erzielte. Diese Leistung konnte noch verbessert werden durch ein Fine-Tuning, welches speziell auf das angestrebte Einsatzgebiet abgestimmt wurde.

Software-Entwicklung eines Steuerungssystems für einen Double 3 Roboter zur Betreuung der Patienten durch die eingebaute Kamera. Erstellung einer Routine zur Überwachung der Patienten durch den kombinierten Einsatz der Kamera und der Mobilität des Roboters. Erkennung von fest definierten menschlichen Posen, welche je nach Zustandsübergang einen Alarm auslösen.

Das Ziel war die Zuordnung von bereits extrahierten kleinen Textausschnitten, den Kundenanforderungen, hin zu den Produkteigenschaften einer Produktkonfiguration. Dies ermöglicht es Mitarbeiter in einem Vertrieb schneller ein Angebot zu erstellen, da die händische Auswahl von Produkteigenschaften vereinfacht wird. Hierfür wurden in zwei Schritten die möglichen Produkteigenschaften eingeschränkt: im ersten Schritt wurde eine grobe Auswahl getroffen an relevanten Produkteigenschaften durch die Embeddings von FastText, im zweiten Schritt hat ein auf NLI trainiertes BERT Modell entschieden ob die jeweilige Anforderung zu der Produkteigenschaft passt. Neben der eigentlichen Verarbeitungskette wurde noch ein Interface mit React gebaut.