"Estudio Científico y Desarrollo de una nueva Tecnología basada en Visión Artificial para el Reconocimiento Automático y Traducción Continua del Lenguaje de Signos"
Especificaciones técnicas
Las especificaciones técnicas del sistema son resumidas en los siguientes puntos:
- Sistema multimodal: la información se extraerá de ambas manos, la expresión facial y la posición del cuerpo y cabeza.
- Sistema no invasivo (la persona signante no llevará ni guantes ni marcas).
- Será robusto y auto-ajustable a los cambios de las condiciones ambientales: colores de fondo y luz. Además los signantes podrán llevar cualquier tipo de ropa (con o sin mangas, cuello alto o escotado, diferentes colores y dibujos, etc).
- Funcionará para cualquier tipo signante (de diferentes edades y sexos: “signer-independent”).
- La traducción tendrá en cuenta el contexto (no simplemente traducir de forma aislada los signos reconocidos); además también se tendrá en cuenta donde se ha realizado el signo dentro del “espacio del signante” (“signing space”).
- Multilingüe: principalmente se trabajará con la lengua de signos holandesa, pero el sistema será entrenado y testeado también en otras lenguas de signos (dependiendo del corpus lingüístico disponible).
- Integración de software: los diferentes módulos-software que se desarrollarán durante el proyecto se integrarán para que corran bajo una única aplicación; se desarrollará una interfaz gráfica para controlar y monitorizar el proceso de reconocimiento y traducción del lenguaje de signos a texto.
- El sistema no trabajará en tiempo real: para traducciones del lenguaje se signos holandés, el factor de tiempo real será alrededor de 20 (6 segundos se traducirán en 120 minutos).