Gestics "let your signs be heard"

Gestics beschäftigt sich mit der mobilen Übersetzung von Zeichensprache. Es soll Taub-Stummen ermöglichen einen Dialog mit hörenden Menschen zu führen.

Über ein am Arm angebrachtes Device soll die Muskelspannung der taub-stummen Person ausgelesen werden, womit sich die dargestellte Geste erkennen lässt. Diese Messwerte sollen an das Smartphone weitergeleitet werden, welches die Zeichen dann in Audiosignale übersetzt. Ist der Satz beim Rezipienten angekommen kann dieser antworten und über eine Spracherkennung wird der ausgesprochene Satz in Textform auf dem Smartphone angezeigt.

 

 

Im Zusammenhang zu diesem Projekt haben wir einen Prototypen eines Handschuhs umgesetzt, der beweisen sollte, dass die Übersetzung von Zeichen die mit einer Hand ausgeführt werden bereits möglich ist. Wir haben uns für die drei Zeichens des Kinderspiels "Schere, Stein und Papier" entschieden da diese einen Wiedererkennungswert Weltweit haben. Demnach kann man mit dem Handschuh das Handzeichen "Stein" bilden und das Programm erkennt das Zeichen und fordert den Computer dazu auf das Wort Stein auszugeben. 

Realisiert wurde der Handschuh mit Flexsensoren, welche in die Finger eingenäht wurden und die Beugung der Finger erkennen. In Arduino und Processing wurde die Anwendung zur Sensorenerkennung programmiert.