PROBLEM

Ein Multiview-Kamerasystem sollte zur Patientenlokalisation genutzt und mit bildgebenden Referenzdaten abgeglichen werden (Ziel: Reduktion des notwendigen Bestrahlungsvolumens). Engpass war die hochgenaue Erkennung und 6D-Verortung eines Kalibrierobjekts (Würfel mit optischen Markern) unter sehr strengen Toleranzen.

MEIN BEITRAG

Umsetzung der Kernkomponenten für präzise Pose-Schätzung im Multiview-Setup: Marker-/Target-Erkennung, robuste 6D-Lokalisierung über mehrere Kameraperspektiven, Koordinatentransformationen sowie Qualitätsprüfungen (Outlier-Handling, Plausibilisierung) für reproduzierbare Ergebnisse. Validierung über eine hochpräzise vermessene Plattform, auf der definierte Relativbewegungen/Umpositionierungen des Kalibrierobjekts messbar waren.

ERGEBNIS

Reproduzierbare, hochgenaue Verortung innerhalb der geforderten Toleranzen (unter 0,2 mm Positionsabweichung und unter 0,1° Orientierungsabweichung im Validierungsaufbau) als Grundlage für den Abgleich mit bildgebenden Referenzdaten.

SCHWERPUNKT

Multi-View-Geometrie, präzise 6D-Lokalisierung, Qualitätsprüfungen und Transformationen, Numerische Optimierung

PROBLEM

Modelle aus der Python-Toolchain sollten in einer .NET-Produktumgebung laufen. Die Inferenz-Performance und die Deploybarkeit waren initial nicht ausreichend bzw. nicht robust genug für produktionsnahe Tests außerhalb von Python.

MEIN BEITRAG

Export nach ONNX und Aufbau/Anpassung einer Inferenz-Pipeline in C# (ML .NET / ONNX Runtime) mit Fokus auf wartbare, reproduzierbare Integration in die bestehende Produktpipeline. Optimierung auf maximale Laufzeit-Performance auf den Zielsystemen (inkl. Runtime- und Pipeline-Tuning).

ERGEBNIS

Performante und stabile Inferenz in der .NET-Produktumgebung als Grundlage für produktionsnahe Tests und weitere Validierung der Modelle außerhalb der Python-Toolchain.

SCHWERPUNKT

Performance-/Deployment-Engineering für Modellinferenz in .NET, robuste Integration in Produktpipelines

PROBLEM

In einer Produktionslinie zur Bearbeitung von Stahlstäben sollten Defekte im laufenden Prozess zuverlässiger erkannt werden. Bis dahin war produzierter Ausschuss nur eingeschränkt bzw. zu spät erkennbar, was zu einem erhöhten Risiko von Reklamationen sowie entsprechendem Aufwand in der Abwicklung führte. Ziel war der Aufbau eines ML-basierten Verfahrens, das Defekte frühzeitig erkennt und im nächsten Schritt klassifiziert, um Maßnahmen im Prozess sowie eine belastbare Nachverfolgbarkeit zu ermöglichen.

MEIN BEITRAG

• Übernahme und Konsolidierung der vorhandenen annotierten Bilddaten (Datenqualität, Label-Check, sinnvolle Splits/Validierung)
• Auswahl geeigneter Modellansätze für Anomalie-Detektion und Defektklassifizierung (Tradeoffs: Robustheit vs. Fehlalarme, Generalisierung auf neue Daten)
• Training und Iteration der Modelle in PyTorch (u. a. mit Anomalib), inklusive systematischer Optimierung auf neue/erweiterte Datensätze
• Kombination mehrerer Modelle bzw. Pipeline-Bausteine zu einer Gesamtlösung, um Erkennungsrate und Klassifikationsgüte im Zielkontext zu verbessern
• Vorbereitung einer nachvollziehbaren Evaluationslogik (Metriken/Fehleranalyse, typische Failure-Modes) als Grundlage für die finale Projektbewertung

ERGEBNIS

Reproduzierbare ML-Pipeline inkl. trainierter Modelle für Anomalie-Detektion und Defektklassifizierung sowie dokumentierter Evaluationslogik (Metriken/Fehleranalyse) als Grundlage für die kundenseitige Betriebs- und Impactbewertung.

SCHWERPUNKT

ML-basierte Qualitätsprüfung, Anomalie-Detektion + Klassifizierung, Daten-/Label-Qualität, reproduzierbares Training & Evaluation, iterative Optimierung

PROBLEM

In einer Fertigungsanlage für großformatige Batteriezellen sollte eine optische Prüfeinheit sicherstellen, dass (a) die Zellenverbünde vollständig bestückt sind und (b) die Zellenoberflächen korrekt gereinigt wurden. Die Prüfung musste in die Produktionslinie integriert werden und trotz Linienbedingungen (Takt, Umgebungslicht, Reflexionen, Fertigungstoleranzen) robuste, nachvollziehbare Ergebnisse liefern. Zusätzlich handelte es sich um ein Mehrkamerasystem, dessen Kameras geometrisch konsistent ausgerichtet und stabil betrieben werden mussten.

MEIN BEITRAG

• Implementierung der Bilderkennung in HALCON für Anwesenheitsprüfung/Bestückung sowie optische Bewertung der Reinigungsqualität (prüf- und abnahmefähig aufgesetzt).
• Umsetzung der Kalibrierung und des Alignments des Mehrkamerasystems direkt in der Produktionslinie, inklusive Definition der Referenzlage und stabiler Koordinatentransformationen für konsistente Auswertung über alle Kameras.
• Schnittstellen- und Signalflussabstimmung mit der SPS (in Zusammenarbeit mit dem SPS-Programmierer): Definition von Trigger-/Handshake-Signalen, Prüfzuständen und Ergebnis-Codes sowie robuste Behandlung von Takt-/Timing-Szenarien im Linienbetrieb.
• Optimierung der Ausgabe für HMI/Betrieb: klare Ergebnisdarstellung (OK/NOK, Fehlerklassen), Diagnoseinformationen und nachvollziehbare Fehlerbilder zur schnellen Ursachenanalyse im laufenden Betrieb.
• Inbetriebnahme der Prüfeinheit vor Ort inklusive Unterstützung bei Linienintegration und Parametrierung im realen Takt-/Linienbetrieb (Stabilisierung, Grenzfallanalyse).
• Durchführung und Begleitung von Qualitätstests sowie Abnahme-/Akzeptanztests und strukturierte Übergabe an Betrieb/Qualitätssicherung (inkl. dokumentierter Testfälle und typischer Diagnose-/Fehlerbilder).

ERGEBNIS

Produktionsnah in Betrieb genommene optische Prüfeinheit für Bestückungs- und Reinigungsprüfung mit stabiler Mehrkamera-Geometrie (Kalibrierung/Alignment) und SPS-integriertem Prüffluss. Abnahmefähig inkl. Testfällen und HMI-tauglicher Ergebnis-/Diagnoseausgabe, sodass die Lösung durch Betrieb/QS verlässlich genutzt und bewertet werden konnte.

SCHWERPUNKT

Produktionsrobuste Bildverarbeitung, Mehrkamera-Kalibrierung & Alignment, SPS-/Linienintegration, HMI-/Diagnoseausgabe, Test- und Abnahmefähigkeit

PROBLEM

In der Qualitätssicherung einer Fräsfertigung sollte ein Prüfsystem aufgebaut werden, in dem ein SCARA-Roboter Prüflinge automatisch aus einem Input-Tray greift, reproduzierbar in ein Messgerät einlegt/positioniert und anschließend in ein Output-Tray zurückführt. Zentrale Herausforderung war eine robuste, prozesssichere Erkennung und Lokalisierung der zylindrischen Prüflinge im Tray unter realen Produktionsbedingungen (z. B. Lagevariation, wechselnde Oberflächen/Reflexionen, Umgebungslicht), sodass Greifen und Einlegen ohne manuelle Nacharbeit zuverlässig funktionieren.

MEIN BEITRAG

• Implementierung einer robusten Zylinder-Erkennung und -Lokalisierung in HALCON als Grundlage für die Roboterbewegung (Greifpose/Übergabepose).
• Durchführung der Systemkalibrierung für eine präzise Abbildung zwischen Kamera- und Roboter-/Anlagenkoordinaten (inkl. Validierung der Transformationskette für reproduzierbares Greifen und Einlegen).
• Schnittstellen- und Ablaufabstimmung mit der Robotik-/Automatisierungsseite (in Zusammenarbeit mit dem Roboter-Programmierungsspezialisten): Definition von Trigger-/Handshake-Signalen, Prozesszuständen und Fehlerfällen für den stabilen Pick-and-Place-Workflow im Taktbetrieb.
• Ergänzende Anpassungen in der .NET-Systemsoftware des Systemhauses (C#): Integration/Parametrierung relevanter Module und saubere Übergabe von Vision-Ergebnissen in den Anlagenablauf (produktnah, wartbar umgesetzt).
• Inbetriebnahme vor Ort inklusive Integration in den Prüfablauf sowie Unterstützung bei Qualitäts-/Abnahme- und Akzeptanztests im Produktionsumfeld (Grenzfallanalyse, Parametrierung, Stabilisierung).
• Schulung der Qualitätsingenieure zur Bedienung, Diagnose typischer Fehlerbilder und zur sicheren Nutzung im laufenden Betrieb.

ERGEBNIS

Ein betriebsfähiges, automatisiertes Pick-and-Place-Prüfsystem mit zuverlässiger Prüflingslokalisierung als Voraussetzung für stabilen Robotereinsatz in der Qualitätssicherung. Die Erkennungs- und Kalibrierlogik war so ausgelegt, dass die Anlage reproduzierbar betrieben, Abnahmekriterien nachvollziehbar geprüft und der Betrieb durch das QS-Team eigenständig sichergestellt werden konnte.

SCHWERPUNKT

Robuste Detektion/Lokalisierung für Robotik-Pick-and-Place, Kalibrierung & Koordinatentransformation, Automatisierungsintegration (Trigger/Handshake), .NET-Produktintegration, Inbetriebnahme, Abnahme & Übergabe

PROBLEM

Eine zu hohe False-Positive-Rate in der Merkmalsdetektion führte im industriellen Umfeld zu Erkennungsfehlern, Abbrüchen sowie Kalibrier-/Einrichtaufwand bis hin zu Produktionsstillständen.

MEIN BEITRAG

Systematische Analyse der Fehlerbilder, Aufbau eines Trainings-/Validierungsprozesses und Umsetzung einer neuronalen Klassifizierung zur Kandidatenprüfung (Training + Runtime). Integration in die bestehende Detektionspipeline inklusive produktnaher Einbindung in .NET.

ERGEBNIS

Im Holdout-Testset sank die Anzahl der False Positives von 1400 auf 100 (? ?93%, Faktor 14). Seit Projektende sind keine weiteren Tickets zur False-Positive-Problematik aufgetreten.

SCHWERPUNKT

Robustheit in Detektionspipelines, Fehleranalyse, produktnahe ML-Integration in .NET

PROBLEM

Werkstücke sollten zuverlässig auf ihren Nullpunkt eingemessen werden - auch dort, wo die taktile Messung an Grenzen stößt (z. B. Geometrie/Marker nicht antastbar oder Werkstücke zu flach für das taktile Anmessen). Ohne robuste Einmessung waren bestimmte Werkstücktypen praktisch nicht oder nur mit hohem Aufwand bearbeitbar.

MEIN BEITRAG

Auswahl der Vision-Komponenten und Integration der Messsoftware in die Maschinen-Bedienoberfläche. Konzeption und Umsetzung der Einricht- und Kalibrierlogik: definierte Messfahrten, Erzeugung von Referenzmessdaten über ein Testmuster, robuste Mustererkennung sowie Verrechnung/Transformation der Referenzdaten auf spätere Messungen im Betrieb.

ERGÄNZEND

Umsetzung/Parametrierung von Teilen der Prüflogik für die On-device-Ausführung auf einer Smart-Camera-Plattform (HALCON Runtime auf Geräte-Hardware) zur taktrobusten Verarbeitung im Maschinenumfeld.

ERGEBNIS

Optische Nullpunkt-Einmessung mit ca. 0,1 mm Messgenauigkeit und damit Bearbeitbarkeit von Werkstücktypen, die zuvor taktil nicht zuverlässig messbar waren. Reduzierter manueller Einrichtaufwand durch reproduzierbaren Mess- und Korrekturablauf.

SCHWERPUNKT

Präzisionsmessung, reproduzierbare Mess-/Korrekturpipeline, Integration & Qualitätslogik, Numerische Optimierung

PROBLEM

In teilautomatisierten Fertigungsabläufen variieren pro Auftrag relevante Parameter (z. B. welches Werkstück gefertigt wird, welches Programm geladen wird, welches Werkzeug eingesetzt wird). Um diese Variabilität im Prozessalltag effizient und fehlerarm abzubilden, sollte innerhalb der Maschine eine Möglichkeit geschaffen werden, QR-Codes und Barcodes zuverlässig auszulesen und daraus Prozessentscheidungen abzuleiten. Die Herausforderung lag in der robusten Lesbarkeit unter realen Fertigungsbedingungen: wechselnde Lichtverhältnisse (Hallenlicht, Oberlichter, Fensterstandorte), stark unterschiedliche Kontraste, positive/negative Codes sowie Codes direkt auf Metalloberflächen (z. B. gefräst, geringer Kontrast) und potenzielle Teilverdeckungen (z. B. Späne).

MEIN BEITRAG

• Erweiterung des bestehenden Kamerasystems in der CNC-Fräsmaschine um ein produktives Code-Reading-Feature (QR + 1D-Barcodes) auf Basis von C# und EmguCV/OpenCV.
• Umsetzung eines robusten Auswerteablaufs für die Fertigungsumgebung: Vorverarbeitung/Normalisierung der Bilddaten zur Stabilisierung bei stark variierender Beleuchtung und Kontrast (inkl. Umgang mit positiv/negativ dargestellten Codes).
• Konzeption eines anwendungsnahen Workflows: Ein Code kann auf dem Bearbeitungstisch positioniert werden; die Maschine fährt die definierte Position im Ablauf an, liest den Code aus und trifft darauf basierend die Programmentscheidung/Prozessverzweigung.
• Systematisches Testen typischer Störfälle aus der Praxis (Beleuchtungsvariationen, Reflexionen/Metalloberflächen, partielle Verdeckung), um die Robustheit für den operativen Betrieb abzusichern.

ERGEBNIS

Ein stabiler, produktiver Baustein zur QR-/Barcode-Lesung in der Maschine, der die Generalisierung und Automatisierung variabler Fertigungsabläufe unterstützt und den Prozessalltag der Endkunden vereinfacht (weniger manuelle Parametrierung, weniger Fehlbedienung bei wiederkehrenden Abläufen).

SCHWERPUNKT

Robust Reading unter Fertigungsbedingungen, variable Beleuchtung/Kontrast, 1D/2D-Code-Erkennung, prozessintegrierter Workflow in Maschinenumgebungen

PROBLEM

In großen CNC-Fräsmaschinen sollte der Maschinenraum als zusammenhängendes Übersichtsbild verfügbar sein, um das Anmessen/Positionieren großer Werkstücke zu vereinfachen. Eine Einzelaufnahme (Weitwinkel) deckt den relevanten Bereich nicht ausreichend ab. Entscheidend war nicht photometrisch "perfektes" Stitching, sondern eine geometrisch konsistente Darstellung, sodass Kanten/Strukturen ohne Versatz über Kachelgrenzen hinweg erscheinen.

MEIN BEITRAG

Konzeption und Umsetzung einer Pipeline für kalibriertes Mosaicing / Image Registration auf einer definierten Referenz-/Messebene (Maschinentisch/typische Werkstückebene). Nutzung der vorhandenen Achssystem-zu-Kamera-Extrinsik zur Projektion in ein gemeinsames Koordinatensystem, Entzerrung über Intrinsik, planare Registrierung (Homographie) und Generierung des großformatigen Mosaiks mit Fokus auf Kantenkontinuität statt Belichtungsangleichung.

ERGEBNIS

Großformatiges, geometrisch konsistentes Übersichtsbild als Grundlage für eine intuitivere Bedienung und ein vereinfachtes Positionieren großer Werkstücke. In der Praxis deutliche Reduzierung von Messwiederholungen bei großen Rohteilen, weil zusammenhängende Kanten über Kachelgrenzen hinweg ohne störende Versatzbrüche darstellbar waren.

SCHWERPUNKT

Bildregistrierung/Alignment, Rektifizierung in Referenzebene, geometrisch konsistentes Mosaicing

PROBLEM

Eine weitwinklige Übersichtskamera sollte neben Live-View/Navigation als präzise Grundlage zur Ansteuerung weiterer Messmittel (u. a. Messtaster) dienen. Durch die Weitwinkeloptik war eine robuste Extrapolation bis in Randbereiche notwendig. Zusätzlich lag ein Sonderfall vor: Für die Kalibrierung stand nur ein 3-Achs-System zur Verfügung (nur Translation) - gängige Standardverfahren, die Rotation/Translation des Kalibrierobjekts voraussetzen, waren dafür nicht zuverlässig einsetzbar.

MEIN BEITRAG

Entwurf und Implementierung einer eigenen Kalibrierpipeline in C#/.NET mit EmguCV/OpenCV inkl. stabiler Parameterschätzung über Levenberg - Marquardt. Zusätzlich: Migration von Bestands-Kalibrierdaten für den zuverlässigen Einsatz auf bereits ausgelieferten Maschinen.

ERGEBNIS

Robuste und hochpräzise Achssystem-zu-Kamera-Kalibrierung trotz Weitwinkeloptik und eingeschränkter Beweglichkeit (Translation-only). Über die installierte Basis hinweg stabile Kalibrierqualität ohne auffällige Zunahme kalibrierungsbezogener Tickets/Servicefälle (? 300 Maschinen im Feld über >2 Jahre beobachtbar).

SCHWERPUNKT

Kamerakalibrierung (Intrinsik/Extrinsik), Modellbildung, numerische Optimierung, messgenaue Transformationen