Traductor de lenguaje de señas utiliza Kinect como puente entre la sordera y la escucha


Steve Clayton, Editor blog de Next

Texto de Athima Chansanchai, del staff de escritores del News Center de Microsoft.

Kinect puede ser el Puente entre aquellas personas que no hablan el mismo idioma – e incluso aquellos que pueden escuchar y aquellos que no. Una colaboración entre Microsoft Research Asia, la Academia China de Ciencias y la Universidad Beijing Union ha creado un prototipo que traduce lenguaje de señas en lenguaje hablado – y lenguaje hablado a lenguaje de señas – en tiempo real.

“Hay más de 20 millones de personas en China que tienen problemas de escucha y un estimado de 360 millones de personas con este problema alrededor del mundo, así que este proyecto tiene un gran potencial de generar un impacto social positivo a nivel mundial”, escribió Guobin Wu, gerente de programa del proyecto Kinect Sign Language Translator (Traductor Kinect de Lenguaje de Señas), en el blog de Microsoft Research Connections.

El sistema captura una conversación de ambos lados: la persona que hace señas, con una traducción escrita y hablada procesada en tiempo real, mientras el sistema toma las palabras pronunciadas por una persona y las convierte en señas precisas y entendibles. Como pueden ver en el video, Dandan Yin, estudiante china de ciencias de la computación de 22 años que nació con sordera, muestra cómo esto funciona al realizar gestos a un dispositivo Kinect conectado a un prototipo de lenguaje de señas – y las palabras aparecen en la pantalla que traduce lo que ella ‘dijo’ con señas.

Verlo en verdad sorprende. Y para Yin, es el inicio de un sueño de niñez convertido en realidad.

Tal vez estén más familiarizados con Kinect como un accesorio para juegos, con Xbox, como el sensor que lee sus movimientos mientras saltan o bailan y se convierten en el control, sin tener que sostener un dispositivo en las manos. Es simple, pero muy sofisticado. El sensor de Kinect para Windows es un dispositivo que, cuando se utiliza con una computadora y el kit de desarrollo de software de Kinect para Windows, les da las bases para crear aplicaciones interactivas que reconocen los movimientos naturales de las personas, sus gestos y comandos de voz.

En Beijing, Microsoft Research celebra el Innovation Day con el proyecto Kinect Sign Language Translator. La audiencia pudo ver demostraciones en Microsoft Research Faculty Summits en Tianjin, China en octubre del año pasado y en julio en Redmond, Washington, en septiembre durante una reunión de la compañía y en una feria de producto este año.

“Mi opinión es que intriga a las personas. Toca a la gente, los sorprende con las posibilidades. Cuando lo pruebas por ti mismo, lo verás”, dice Stewart Tansley, director de Interfaz Natural de Usuario para Microsoft Research Connections.

Una persona que ayuda a traer la vida a la tecnología es Yin, que realizó su primer viaje fuera de China en julio, para asistir a Microsoft Research Faculty Summit en Redmond. Ella llegó al proyecto durante su primera etapa, que se enfocó principalmente en recolección de datos y etiquetado del lenguaje chino de señas. Durante su entrevista para ser parte del proyecto, dijo Yin, “Cuando era niña, mi sueño era crear una máquina para ayudar a la gente que no puede escuchar”.

Y gracias a su colaboración, su sueño se ha vuelto realidad. Como dice Tansley, “Cuando Dandan están frente a él y reconoce sus gestos, se puede ver de manera inmediata cómo puede funcionar. Conforme desarrollamos la investigación más allá, podría ser una solución viable”.

Pero por ahora, este sistema es un prototipo de investigación. Como escribe Wu en el blog de Microsoft Research Connections, “Trabajamos de manera diligente para sobrepasar los obstáculos de la tecnología para que el sistema pueda entender e interpretar de manera confiable en modo de comunicación”.

Esos obstáculos no son insuperables, pero son complicados. Por ejemplo, se requieren cinco personas para establecer los patrones de reconocimiento para sólo una palabra. Y hasta el momento, han agregado 300 palabras del lenguaje de señas chino – de 4 mil. Lo han hecho en una cantidad de tiempo corta – justo hace un año, arrancó en la primavera de 2012, como uno de los tres finalistas cuando se hizo el llamado a los laboratorios de Microsoft Research alrededor del mundo para que enviaran sus mejores colaboraciones con el mundo académico basadas en Kinect. Los otros dos finalistas tienen proyectos que se enfocan en tecnología de asistencia para los ciegos; un escaneo avanzado de Kinect para Windows 3D a través de Kinect Fusion.

Wu dice que el reconocimiento es por mucho, la parte más desafiante del proyecto, pero después de probar guantes de datos y webcams, Kinect dio en el blanco con el balance correcto para ayudar a avanzar a la tecnología. El aprendizaje de máquinas y la programación de patrones de reconocimiento permiten a la herramienta interpretar el significado de los diferentes gestos capturados por Kinect. La tecnología de Bing Translator también ayudó con la parte de traducción del proceso.

El siguiente reto era construir un sistema de reconocimiento de lenguaje de señas. Este reto también era grande, reunir en colaboración a múltiples disciplinas que incluía expertos en modelado de lenguaje, traducción, visión de computador, reconocimiento de habla, modelado 3D, y educación especial. Pero para octubre de 2012, ya tenían una demo lista, sólo seis meses después de que arrancara el proyecto.

Tansley estaba ahí y lo recuerda como “La realización inicial de que todos teníamos algo ahí que tenía el potencial de tocar a muchas personas. No era el gran momento en la historia de la innovación – pero era un gran logro darse cuenta de su potencial en comunicación”.

Como escribe en el blog de Microsoft Research Connections, “Hace solo unas horas, acabó de observar una trascendental demostración en el escenario de traducción de lenguaje simultánea, durante la cual, el líder en ese entonces de Microsoft Research, Rick Rashid, habló en inglés a un sistema de aprendizaje de máquinas que produjo una traducción en perfecto chino – todo en tiempo real, en un escenario frente a dos mil estudiantes chinos. Fue un momento Star Trek. ¡Estamos viviendo el futuro!”

Y ahora estamos en el punto en el que ese futuro de ciencia ficción comienza a convertirse en realidad, con Wu hablando sobre el siguiente logro de hacer que el proyecto tenga más impacto, al agregar más socios para otros lenguajes de señas (como ASL y BSL) y dialectos, para expandir la capacidad de reconocimiento y continuar la recolección de datos.

Como dice Tansley, “Vean la magia que puede hacer la tecnología – y esto debería inspirarnos a todo en cualquier trabajo que hagamos”.

Comments (2)
  1. aw dice:

    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-bio-farma.html Lowongan Kerja BUMN PT Bio Farma
    http://www.lokerjobindo.com/2016/02/lowongan-kerja-bumn-pt-brantas-abipraya.html Lowongan Kerja BUMN PT Brantas Abipraya
    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-inti.html Lowongan Kerja BUMN PT INTI
    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-kima.html Lowongan Kerja BUMN PT KIMA

    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-kereta-api.html Lowongan Kerja BUMN PT Kereta Api Indonesia
    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-kimia-farma.html Lowongan Kerja BUMN PT Kimia Farma
    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-len-industri.html Lowongan Kerja BUMN PT Len Industri (Persero) Banyak Posisi
    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-nindya-karya.html Lowongan Kerja BUMN PT Nindya Karya
    http://www.lokerjobindo.com/2016/03/lowongan-kerja-bumn-pt-pln-wilayah.html Lowongan Kerja BUMN PT PLN Wilayah Padang dan Balikpapan
    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-pos.html Lowongan Kerja BUMN PT POS
    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-pertamina.html Lowongan Kerja BUMN PT Pertamina
    http://www.lokerjobindo.com/2016/04/lowongan-kerja-bumn-pt-pindad-persero.html Lowongan Kerja BUMN PT Pindad (Persero)
    http://www.lokerjobindo.com/2016/03/lowongan-kerja-bumn-pt-rajawali.html Lowongan Kerja BUMN PT Rajawali Nusantara Indonesia (Persero)
    http://www.lokerjobindo.com/2016/02/lowongan-kerja-bumn-pt-sucofindo-persero.html Lowongan Kerja BUMN PT SUCOFINDO (PERSERO)
    http://www.lokerjobindo.com/2016/03/lowongan-kerja-bumn-pt-semen-baturaja.html Lowongan Kerja BUMN PT Semen Baturaja
    http://www.lokerjobindo.com/2016/02/lowongan-kerja-bumn-pt-taspen-persero.html Lowongan Kerja BUMN PT TASPEN (PERSERO)
    http://www.lokerjobindo.com/2016/02/lowongan-kerja-bumn-pt-wijaya-karya.html Lowongan Kerja BUMN PT Wijaya Karya
    http://www.lokerjobindo.com/2016/02/lowongan-kerja-bumn-pt-bahana-pembinaan.html Lowongan Kerja BUMN PT. Bahana Pembinaan Usaha Indonesia (Persero)
    http://www.lokerjobindo.com/2016/03/lowongan-kerja-bumn-pt-bahana-pembinaan.html Lowongan Kerja BUMN PT. Bahana Pembinaan Usaha Indonesia (Persero)

    http://www.lokerjobindo.com/2016/03/lowongan-kerja-bumn-pt-inka-persero.html Lowongan Kerja BUMN PT. INKA (Persero)
    http://www.lokerjobindo.com/2016/03/lowongan-kerja-bumn-perum-bulog.html Lowongan Kerja BUMN Perum Bulog
    http://www.lokerjobindo.com
    http://www.lokerjobindo.com/2016/02/lowongan-kerja-bumn-perum-jamkrindo.html Lowongan Kerja BUMN Perum Jamkrindo
    http://www.lokerjobindo.com/2016/03/lowongan-kerja-bumn-perum-lkbn-antara.html Lowongan Kerja BUMN Perum LKBN Antara

Comments are closed.

Skip to main content