Nach meiner vorherigen Tätigkeit an der IVR-Plattform wurde ich erneut für dieses Projekt engagiert, um zusätzliche Funktionen im Bereich Konferenzsteuerung und Echtzeit-Sprachübersetzung zu entwickeln. Der technologische Stack basierte weiterhin auf F#, Rust und FreeSWITCH, ergänzt um moderne Cloud-Dienste.
Entwicklung einer WebSocket-basierten API zur dynamischen Steuerung von Telefonkonferenzen in FreeSWITCH (Teilnehmer hinzufügen/entfernen, Audiostreaming, Lautstärkeregelung pro Teilnehmer).
Implementierung eines Prototyps zur Echtzeit-Übersetzung von Sprache in einer Telefonkonferenz: Audio eines ausgewählten Teilnehmers wurde aus der FreeSWITCH-Sitzung zu einem Microsoft Azure Speech-to-Speech-Service gestreamt.
Übersetzte Sprachantworten wurden direkt in der Zielsprache an bestimmte Konferenzteilnehmer zurückgeführt, um eine mehrsprachige Kommunikation zu ermöglichen.
Enge Integration mit bestehenden Komponenten in Rust und F#, unter Berücksichtigung von Latenz, Skalierbarkeit und Audioqualität.
Im Rahmen dieses Projekts wurde ein intelligenter Sprach-Chatbot entwickelt, der Telefongespräche in Englisch und Deutsch entgegennehmen und führen kann. Das System ermöglichte es, eingehende Anrufe in einer FreeSWITCH-basierten VoIP-Umgebung automatisch von einem ChatGPT-basierten Bot beantworten zu lassen. Der Gesprächsverlauf fand dabei vollständig in Echtzeit statt ? von der Spracherkennung über die Verarbeitung bis zur Sprachausgabe.
Realisierung eines Chatbots, der OpenAI's ChatGPT verwendet. Dabei wurde Google-Spracherkennung und Sprachsynthese integriert, um Telefongespräche zu führen, bei denen die Antworten des Chatbots direkt per Sprachausgabe zurückgegeben werden.
Implementierung der Anwendung in Rust mit Fokus auf Performance, Parallelität und Echtzeitverarbeitung.
Anbindung an eine speziell konfigurierte FreeSWITCH-Modulinstanz, um Audio-Streams von VoIP-Anrufen direkt an den Chatbot zu übergeben.
Streaming der eingehenden Audiodaten zu Google Cloud Speech-to-Text zur Echtzeit-Spracherkennung.
Übergabe des erkannten Textes an die ChatGPT-API im Streaming-Modus zur Erzeugung von kontextabhängigen Antworten.
Rückführung der Antworttexte an Google Cloud Text-to-Speech zur natürlichen Sprachsynthese.
Streaming der synthetisierten Sprachausgabe zurück zum Anrufer über die FreeSWITCH-Verbindung
Bei diesem Projekt handelt es sich um eine in F# entwickelte Zustandsmaschine die IVR Module, zum Kommunizieren mit einem FreeSWITCH Backend abbilden. Ich habe mich hauptsächlich mit den folgenden Themen beschäftigt:
Verwaltung der Warteschlange über ein UI, das mit Blazor und C# entwickelt wurde; anschließend wurde eine zweite Version des UIs mit der React-ähnlichen Yew-Bibliothek in Rust umgesetzt
Integration von Sprachsteuerungs- und Spracherkennungsfunktionen basierend auf Google Cloud, um die IVR-Software mit natürlicher Sprachinteraktion auszustatten. Die Implementierung erfolgte in F#.
Das Projekt bei Mateco sich um ein eigen entwickeltes ERP-System. Das System wurde hauptsächlich in Visual Basic und C# entwickelt mit Windows Forms als Benutzeroberfläche und SQL-Server und Kafka als Backend. Ich bin für die Telefon und Kafka Schnittstellen verantwortlich und habe mich mit den folgenden Themen beschäftigt:
Entwicklung und Wartung eines ERP-Systems zur Ressourcenplanung und Leistungserfassung
Einsatz agiler Methoden (Scrum)
Das Projekt bei viastore Software handelt sich um Software für die Intralogistikbranche. Die Software wurde ursprünglich in der Programmiersprache C++ entwickelt und läuft auf Windows- und AIXBetriebssystemen sowie auf Mobilgeräten wie Staplern und BarcodeScannern. Ich war verantwortlich für das Webfrontend und habe außerdem an der Weiterentwicklung des Qt-Frontends mitgearbeitet. Dabei kamen sowohl klassische C++/Qt-Komponenten als auch QML-basierte Oberflächen zum Einsatz, z. B. für die Modernisierung einzelner Dialoge.
Entwicklung von UI-Komponenten zur Visualisierung von Lagerzuständen und Steuerung
Teilweise Übernahme der Scrum-Master-Rolle
Umsetzung agiler Projekte mit hoher Selbstorganisation
o Entwicklung einer Kopplung zwischen ASCET, eine von ETAS entwickelte
o Erweiterung und Wartung von einem Editorprogramm für die ABAP Programmiersprache
CoCreate Software GmbH ist ein Softwarehaus das 3D-CAD Modellierung und
und CAD-Anwendungen synchronisieren zu können
o JNI verwendet um zwischen JVM und Betriebssystem-Schicht kommunizieren zu könnenZeitraum: Februar 1997 - Juli 1999
mit GPS ausgestattet sind
Verwendete Technologien:o CppUnit
o CMake
o ODBC und OLE DBo Entity Framework
Nach meiner vorherigen Tätigkeit an der IVR-Plattform wurde ich erneut für dieses Projekt engagiert, um zusätzliche Funktionen im Bereich Konferenzsteuerung und Echtzeit-Sprachübersetzung zu entwickeln. Der technologische Stack basierte weiterhin auf F#, Rust und FreeSWITCH, ergänzt um moderne Cloud-Dienste.
Entwicklung einer WebSocket-basierten API zur dynamischen Steuerung von Telefonkonferenzen in FreeSWITCH (Teilnehmer hinzufügen/entfernen, Audiostreaming, Lautstärkeregelung pro Teilnehmer).
Implementierung eines Prototyps zur Echtzeit-Übersetzung von Sprache in einer Telefonkonferenz: Audio eines ausgewählten Teilnehmers wurde aus der FreeSWITCH-Sitzung zu einem Microsoft Azure Speech-to-Speech-Service gestreamt.
Übersetzte Sprachantworten wurden direkt in der Zielsprache an bestimmte Konferenzteilnehmer zurückgeführt, um eine mehrsprachige Kommunikation zu ermöglichen.
Enge Integration mit bestehenden Komponenten in Rust und F#, unter Berücksichtigung von Latenz, Skalierbarkeit und Audioqualität.
Im Rahmen dieses Projekts wurde ein intelligenter Sprach-Chatbot entwickelt, der Telefongespräche in Englisch und Deutsch entgegennehmen und führen kann. Das System ermöglichte es, eingehende Anrufe in einer FreeSWITCH-basierten VoIP-Umgebung automatisch von einem ChatGPT-basierten Bot beantworten zu lassen. Der Gesprächsverlauf fand dabei vollständig in Echtzeit statt ? von der Spracherkennung über die Verarbeitung bis zur Sprachausgabe.
Realisierung eines Chatbots, der OpenAI's ChatGPT verwendet. Dabei wurde Google-Spracherkennung und Sprachsynthese integriert, um Telefongespräche zu führen, bei denen die Antworten des Chatbots direkt per Sprachausgabe zurückgegeben werden.
Implementierung der Anwendung in Rust mit Fokus auf Performance, Parallelität und Echtzeitverarbeitung.
Anbindung an eine speziell konfigurierte FreeSWITCH-Modulinstanz, um Audio-Streams von VoIP-Anrufen direkt an den Chatbot zu übergeben.
Streaming der eingehenden Audiodaten zu Google Cloud Speech-to-Text zur Echtzeit-Spracherkennung.
Übergabe des erkannten Textes an die ChatGPT-API im Streaming-Modus zur Erzeugung von kontextabhängigen Antworten.
Rückführung der Antworttexte an Google Cloud Text-to-Speech zur natürlichen Sprachsynthese.
Streaming der synthetisierten Sprachausgabe zurück zum Anrufer über die FreeSWITCH-Verbindung
Bei diesem Projekt handelt es sich um eine in F# entwickelte Zustandsmaschine die IVR Module, zum Kommunizieren mit einem FreeSWITCH Backend abbilden. Ich habe mich hauptsächlich mit den folgenden Themen beschäftigt:
Verwaltung der Warteschlange über ein UI, das mit Blazor und C# entwickelt wurde; anschließend wurde eine zweite Version des UIs mit der React-ähnlichen Yew-Bibliothek in Rust umgesetzt
Integration von Sprachsteuerungs- und Spracherkennungsfunktionen basierend auf Google Cloud, um die IVR-Software mit natürlicher Sprachinteraktion auszustatten. Die Implementierung erfolgte in F#.
Das Projekt bei Mateco sich um ein eigen entwickeltes ERP-System. Das System wurde hauptsächlich in Visual Basic und C# entwickelt mit Windows Forms als Benutzeroberfläche und SQL-Server und Kafka als Backend. Ich bin für die Telefon und Kafka Schnittstellen verantwortlich und habe mich mit den folgenden Themen beschäftigt:
Entwicklung und Wartung eines ERP-Systems zur Ressourcenplanung und Leistungserfassung
Einsatz agiler Methoden (Scrum)
Das Projekt bei viastore Software handelt sich um Software für die Intralogistikbranche. Die Software wurde ursprünglich in der Programmiersprache C++ entwickelt und läuft auf Windows- und AIXBetriebssystemen sowie auf Mobilgeräten wie Staplern und BarcodeScannern. Ich war verantwortlich für das Webfrontend und habe außerdem an der Weiterentwicklung des Qt-Frontends mitgearbeitet. Dabei kamen sowohl klassische C++/Qt-Komponenten als auch QML-basierte Oberflächen zum Einsatz, z. B. für die Modernisierung einzelner Dialoge.
Entwicklung von UI-Komponenten zur Visualisierung von Lagerzuständen und Steuerung
Teilweise Übernahme der Scrum-Master-Rolle
Umsetzung agiler Projekte mit hoher Selbstorganisation
o Entwicklung einer Kopplung zwischen ASCET, eine von ETAS entwickelte
o Erweiterung und Wartung von einem Editorprogramm für die ABAP Programmiersprache
CoCreate Software GmbH ist ein Softwarehaus das 3D-CAD Modellierung und
und CAD-Anwendungen synchronisieren zu können
o JNI verwendet um zwischen JVM und Betriebssystem-Schicht kommunizieren zu könnenZeitraum: Februar 1997 - Juli 1999
mit GPS ausgestattet sind
Verwendete Technologien:o CppUnit
o CMake
o ODBC und OLE DBo Entity Framework