„Jenseits der Stille“ - mit Kinect


In Zusammenarbeit des Microsoft Research Offices in Asien, der chinesischen Akademie für Wissenschaft als auch der Peking Union Universität wurde ein Prototyp entwickelt, der mit Hilfe der Kinect Gebärdensprache in gesprochene Sprache und gesprochene Sprache in Gebärdensprache übersetzt. Das Potenzial bzw. der Bedarf ist riesig: Allein in China gibt es 20 Millionen schwerhörige Menschen und schätzungsweise 360 Millionen Menschen weltweit, die davon betroffen sind. Das System erfasst Gespräche beider Seiten: Die Handzeichen einer tauben Person werden in Echtzeit sowohl verschriftlicht als auch mündlich übersetzt, während bei einer sprechenden Person die Worte in genaue, verständliche Zeichen übertragen werden.

Kinect ist vielen eher als Spiele- Accessoire der Xbox vertraut und hat sich bisher als Sensor, der Bewegungen während des Spielens, Tanzens oder Springens, liest und somit die Steuerung mit einem Kontroller ersetzt, bewährt. Die Bedienung ist einfach, die Technologie dahinter jedoch sehr anspruchsvoll. Die Kinect- Technologie für Windows- Sensor funktioniert ähnlich. Werden ein Computer und ein Kinect für Windows- Software- Entwickler- Kit verwendet, hat man eine effektive Grundlage um interaktive Aktivitäten, wie Bewegungen, Gesten und Sprachbefehle zu erkennen und darauf basierend Apps und Anwendungen zu erstellen.  

Im Falle der Gebärdenspracherkennung ist die Technologie zwar noch ein Prototyp, das Team arbeitet hart daran, das System so zu optimieren, dass es Kommunikationsmodi noch zuverlässiger versteht und interpretiert. So braucht es beispielsweise fünf Personen, um die Erkennungsmuster für nur ein Wort zu etablieren, bisher wurden von 4000 nur 300 chinesische Zeichen kodiert.

Die Gebärdenspracherkennung ist bei weitem der schwierigste Teil des Projekts, dennoch ist die Kinect-Technologie die beste Grundlage für die geplanten innovativen Fortschritte. Über maschinelles Lernen und Mustererkennungen können die verschiedenen, von Kinect erfassten Gesten entsprechend interpretiert und programmiert werden.  Neben Kinect kommt auch die Bing Übersetzungs-Technologie zum Einsatz. Der Meilenstein der Forschung, die Entwicklung des Gebärdenspracherkennungssystems, wurde durch die Zusammenführung mehrerer Disziplinen, von Sprachmodellierung, Übersetzungen, Computer Vision, Spracherkennung, 3D-Modellierung bis hin zu Sonderpädagogik, gemeistert.

Technologie impliziert immer einen Funken Magie, dieses Projekt ist ein Beispiel dafür und lässt auf weitere Meilensteine in der Kommunikationstechnologie hoffen.

Posted by Rudo Mc Grath-Ndamba
Werkstudentin

Comments (1)

  1. Anonymous sagt:

    Pingback from Thomas Sabo Ohrring – Auswahl der perfekte Stile, die Persona-Klagen | Party Dress Shops Articles

Skip to main content