Als Freiberufler habe ich 8 Projekte in den Bereichen KI, Robotik und Computer Vision erfolgreich abgeschlossen. Hier sind einige der wichtigsten, für diese Projekt relevanten Erfahrungen.

Teleoperation Robot

• Entwickelte ein Remote-Bedienungssystem für einen Gabelstapler, das behinderten Personen ermöglicht, diesen mithilfe eines Joysticks aus der Ferne zu steuern.
• Integrierte fünf hochauflösende Kameras am Gabelstapler zur Echtzeit-Videoübertragung, die eine umfassende Sicht auf die Umgebung für den Remote-Client bereitstellt.
• Nutze das Robot Operating System (ROS) zur Echtzeit-Koordination von Sensordaten und Steuerbefehlen, einschließlich der Synchronisierung der Kameras und Integration des Lidar-Systems.
• Implementierte serielle CAN-Kommunikation zur sicheren und zuverlässigen Übertragung der Steuerbefehle vom Remote-Client zum Gabelstapler.
• Entwickelte ein fortschrittliches Kollisionsminderungssystem, das drei RP-Lidars verwendet, um Hindernisse in Echtzeit zu erkennen und Unfälle zu verhindern.
• Ermöglichte eine intuitive und barrierefreie Steuerung des Gabelstaplers für Benutzer mit eingeschränkter Mobilität, wodurch neue Arbeitsmöglichkeiten geschaffen werden

Dokumentenverarbeitungssystem

Entwickelte ein Dokumentenverarbeitungs- und Q&A-System mit GPT-4, das in Echtzeit präzise Antworten aus internen Unternehmensdokumenten liefert und die Informationssuche vereinfacht.

• Feintunte das GPT-4- LLM Modell mit unternehmensspezifischen Daten und Fine-Tuning mittels LoRA in PyTorch, um die Verarbeitung von Abfragen zu optimieren und die Antwortgenauigkeit zu verbessern.
• LangChain wurde verwendet, um Retrieval-Augmented Generation (RAG) zu implementieren, wobei relevante Dokumente vor der Antwortgenerierung abgerufen wurden.
• Erstellte skalierbare Backend-APIs mit Django, um die Echtzeitkommunikation zwischen Modell und u ermöglichen und schnelle Dokumentenabfragen und Q&A-Interaktionen zu gewährleisten.
• Nutze Azure Blob Storage für hoch skalierbare und kostengünstige Dokumentenspeicherung sowie Azure Functions für serverloses Processing. Integrierte Azure SQL Database und Azure Database for MySQL für strukturierte Speicherung und effiziente Abfragen von Metadaten. Verknüpfte das System mit Slack durch die Integration der Slack-API.
• Setzte Prompt Engineering ein, um die Antworten im gewünschten Ton und Stil des Unternehmens zu gestalten, ohne umfangreiche manuelle Anpassungen der Dokumente vorzunehmen.

KI-gestützter Chatbot

Entwickelte einen KI-Chatbot für den Kundenservice eines E-Commerce-Unternehmens, der automatisch Kundenanfragen bearbeitet und in Echtzeit präzise Antworten liefert.

• Datensammlung: Sammelte und bereinigte Daten aus früheren Kundeninteraktionen (E-Mails, Chats, Anrufe) zur Trainingsvorbereitung.
• Model Training: Feintunte ein GPT-4- LLM Modell in PyTorch, um domänenspezifische Anfragen genauer zu beantworten.
• Fine-Tuning-Ergebnis: Das Modell verbesserte die Genauigkeit um 20 % und verstand Kundenanfragen besser.
• Backend API: Entwickelte Echtzeit-APIs mit FastAPI und überarbeitete den Backend-Code für verbesserte Skalierbarkeit, Wartbarkeit und Leistung,
• AWS Integration: Bereitstellung auf AWS Lambda für serverloses Processing, mit Amazon S3 für die Datenspeicherung und Amazon Comprehend für erweiterte NLP-Funktionen.
• Frontend Integration: Integrierte den Chatbot über React.js in die Unternehmenswebsite, um eine benutzerfreundliche Interaktion zu ermöglichen.

Reinforcement Learning-basiertes Roboter Entscheidungssystem

Entwickelte und implementierte ein verstärkungslern-basiertes Modell zur Steuerung eines autonomen Roboters für industrielle Aufgaben, der komplexe Umgebungen navigieren und Hindernissen ausweichen.

• Trainierte den Roboter mit Deep Q-Networks (DQN) in OpenAI Gym für Verstärkungslernen und integrierte Proximal Policy Optimization (PPO) für kontinuierliche Steuerungsaufgaben wie präzise Objektmanipulation, Feinmotorik und Interaktionen mit komplexen mechanischen Systemen.
• Programmierte den Roboter zur Erkennung von Hindernissen mit Sensoren und Computer Vision, um dynamisch zu navigieren.
• Nutze Keras-RL und Stable Baselines zur Optimierung der DQN- und PPO-Modelle, angepasst auf schnelle Lernfähigkeit.
• CI/CD: Containerisierte die Anwendung mit Docker und richtete eine CI/CD-Pipeline mit Jenkins und Docker ein.
• Implementierte den Roboter in einer industriellen Umgebung und nahm iterative Verbesserungen basierend auf Echtzeit-Feedback vor

Führung & Teammanagement -:

• Leitung eines multidisziplinären Teams von 6 Experten bei der Entwicklung einer Technologie für ein autonomes Fahrzeug, verantwortlich für technische und strategische Aspekte.
• Definierte den technischen Fahrplan und etablierte ein strukturiertes Scrum-Framework, indem klare Meilensteine, Ergebnisse und Zeitpläne für jeden Sprint festgelegt wurden. Leitete die Sprint-Planung, tägliche Stand-ups, Sprint-Reviews und Retrospektiven.
• Förderte die bereichsübergreifende Zusammenarbeit und sorgte für die reibungslose Integration der Komponenten ins Endprodukt durch iterative Prozesse.
• Leitete die Rekrutierung technischer Fachkräfte und unterstützte das Team durch Mentoring. Gemeinsam entwickelten wir ein Minimum Approvable Product (MAP), das zur Sicherung der Series-B-Finanzierung beitrug.

Technische Entwicklung -:

• Entwickelte ein System zur Szenenverständnis mit Deep Learning und konventionellen Algorithmen für Multi-Objekterkennung, -verfolgung, Lokalisierung und Sensorfusion, um dem autonomen Fahrzeug eine präzise Umgebungswahrnehmung und Navigation zu ermöglichen.
• Implementierte Objekterkennung und Klassifizierung mit YOLOv5 und Faster R-CNN, um Objekte wie Fußgänger, Fahrzeuge und Verkehrsschilder in Echtzeit zu identifizieren. Verwendete TensorFlow für Training und Inferenz der Modelle.
• Erstellte eine semantische Segmentierung mit U-Net und Mask R-CNN zur Klassifizierung von Straßenelementen und befahrbaren Bereichen.
• Implementierte Deep SORT für die Objektverfolgung und den Unscented Kalman Filter zur Schätzung von Geschwindigkeit und Beschleunigung.
• Entwickelte ein Lokalisierungssystem mit GNSS, IMU, Fahrzeug- und visueller Odometrie sowie Partikelfilter-Techniken, um das Fahrzeug präzise zu positionieren, auch in GPS-losen Gebieten.
• Erstellte eine HD-Karte mit LIDAR-Daten via SLAM und nutzte sie in Echtzeit mit ICP-basiertem Kartenabgleich zur Lokalisierung.
• Trainierte Deep-Learning-Modelle auf großen Datensätzen mit verteilten GPU-Clustern, um schnelles Training und hohe Genauigkeit zu gewährleisten.
• Implementierte GPU-beschleunigte Inferenz mit CUDA und TensorRT auf eingebetteten Systemen für latenzarme Echtzeitentscheidungen.
• Etablierter eine CI/CD-Pipeline mit GitLab CI, Docker und Kubernetes für die Automatisierung von Tests und Bereitstellungen.
• Setzte die gesamte Stack auf Edge-GPUs ein und überwachte die Modellleistung durch Echtzeit-Logging und Telemetrie, wobei wichtige Metriken wie Inferenzgeschwindigkeit, Erkennungsgenauigkeit und Systemlatenz verfolgt wurden.
• Nutzte Cloud-Infrastruktur für Training, Versionskontrolle und Modellmanagement, um kontinuierliche Tests und Validierungen zu gewährleisten.
• Sicherte die Systemzuverlässigkeit durch Tests unter verschiedenen Bedingungen wie schlechtem Wetter und dynamischem Verkehr.

Entwickelte eine mobile Applikation, die Benutzern hilft, ihre Sprachkenntnisse zu üben und zu verbessern, indem sie in Echtzeit Feedback zu Grammatik, Aussprache und Wortschatz erhält.

Entwickelte eine mobile Applikation, die Benutzern hilft, ihre Sprachkenntnisse zu üben und zu verbessern, indem sie in Echtzeit Feedback zu Grammatik, Aussprache und Wortschatz erhält.

• Integrierte ein BERT-basiertes Large Language Model (LLM) für die Verarbeitung NLP, das mit PyTorch feinabgestimmt wurde, um Sprachfehler zu erkennen und Korrekturen vorzunehmen.
• Erstellte ein skalierbares Backend mit Node.js und Express.js. Dabei wurde eine serverlose Architektur verwendet, um die Leistung zu optimieren. Entwickelte ein responsives Frontend mit React Native, wobei das Frontend über RESTful APIs mit dem Backend kommuniziert.
• Verwaltete Anwendungsdaten mit PostgreSQL für relationale Speicherung und DynamoDB für Echtzeit-Sitzungen.
• Nutze AWS Transcribe, um die Spracheingaben der Benutzer in Text umzuwandeln, und AWS Polly, um das Feedback von Text in Sprache umzuwandeln. Entwarf und implementierte das Modell mit AWS SageMaker für verteiltes Training und Optimierung. Integrierte eine CI/CD-Pipeline und MLOps, um Training, Validierung und Bereitstellung in AWS Lambda für Echtzeitanwendungen zu optimieren.

Entwickelte einen KI-Chatbot für den Kundenservice eines E-Commerce-Unternehmens, der automatisch Kundenanfragen bearbeitet und in Echtzeit präzise Antworten liefert.

• Datensammlung: Sammelte und bereinigte Daten aus früheren Kundeninteraktionen (E-Mails, Chats, Anrufe) zur Trainingsvorbereitung.
• Model Training: Feintunte ein GPT-4- LLM Modell in PyTorch, um domänenspezifische Anfragen genauer zu beantworten.
• Fine-Tuning-Ergebnis: Das Modell verbesserte die Genauigkeit um 20 % und verstand Kundenanfragen besser.
• Backend API: Entwickelte Echtzeit-APIs mit FastAPI und überarbeitete den Backend-Code für verbesserte Skalierbarkeit, Wartbarkeit und Leistung,
• AWS Integration: Bereitstellung auf AWS Lambda für serverloses Processing, mit Amazon S3 für die Datenspeicherung und Amazon Comprehend für erweiterte NLP-Funktionen.
• Frontend Integration: Integrierte den Chatbot über React.js in die Unternehmenswebsite, um eine benutzerfreundliche Interaktion zu ermöglichen.

Entwickelte ein Dokumentenverarbeitungs- und Q&A-System mit GPT-4, das in Echtzeit präzise Antworten aus internen Unternehmensdokumenten liefert und die Informationssuche vereinfacht.

• Feintunte das GPT-4- LLM Modell mit unternehmensspezifischen Daten und Fine-Tuning mittels LoRA in PyTorch, um die Verarbeitung von Abfragen zu optimieren und die Antwortgenauigkeit zu verbessern.
• LangChain wurde verwendet, um Retrieval-Augmented Generation (RAG) zu implementieren, wobei relevante Dokumente vor der Antwortgenerierung abgerufen wurden.
• Erstellte skalierbare Backend-APIs mit Django, um die Echtzeitkommunikation zwischen Modell und Frontend zu ermöglichen und schnelle Dokumentenabfragen und Q&A-Interaktionen zu gewährleisten.
• Nutze Azure Blob Storage für hoch skalierbare und kostengünstige Dokumentenspeicherung sowie Azure Functions für serverloses Processing. Integrierte Azure SQL Database und Azure Database for MySQL für strukturierte Speicherung und effiziente Abfragen von Metadaten. Verknüpfte das System mit Slack durch die Integration der Slack-API.
• Setzte Prompt Engineering ein, um die Antworten im gewünschten Ton und Stil des Unternehmens zu gestalten, ohne umfangreiche manuelle Anpassungen der Dokumente vorzunehmen.

Entwickelte ein Remote-Bedienungssystem für einen Gabelstapler, das behinderten Personen ermöglicht, diesen mithilfe eines Joysticks aus der Ferne zu steuern.

• Integrierte fünf hochauflösende Kameras am Gabelstapler zur Echtzeit-Videoübertragung, die eine umfassende Sicht auf die Umgebung für den Remote-Client bereitstellt.
• Nutze das Robot Operating System (ROS) zur Echtzeit-Koordination von Sensordaten und Steuerbefehlen, einschließlich der Synchronisierung der Kameras und Integration des Lidar-Systems.
• Implementierte serielle CAN-Kommunikation zur sicheren und zuverlässigen Übertragung der Steuerbefehle vom Remote-Client zum Gabelstapler.
• Entwickelte ein fortschrittliches Kollisionsminderungssystem, das drei RP-Lidars verwendet, um Hindernisse in Echtzeit zu erkennen und Unfälle zu verhindern.
• Ermöglichte eine intuitive und barrierefreie Steuerung des Gabelstaplers für Benutzer mit eingeschränkter Mobilität, wodurch neue Arbeitsmöglichkeiten geschaffen werden.

Bestandsmanagement mit Neobotix AGVs: