Gadgets

SignAll est lentement mais sûrement, la construction d’une plate-forme de traduction en langue des signes

La traduction est un travail difficile, d’autant plus que les deux autres langues sont l’un de l’autre. Du français à l’espagnol? Pas un problème. Le grec ancien à l’Espéranto? Considérablement plus difficile. Mais la langue des signes est un cas unique, et de les traduire particulièrement difficile, parce qu’il est fondamentalement différente de la langue parlée et écrite. Tout de même, SignAll a travaillé dur pendant des années pour être précis, en temps réel de machine de traduction de l’ASL à une réalité.

On pourrait penser que, avec tous les progrès de l’IA et de la vision par ordinateur passe en ce moment, un problème intéressant et bénéfique pour résoudre ce qui serait assiégée par les meilleurs des meilleurs. Même de penser à partir d’un cynique marché de l’expansion d’un point de vue de l’Écho ou de la TÉLÉVISION qui comprend la langue des signes pourrait attirer des millions de nouveaux (et très reconnaissant de clients.

Malheureusement, cela ne semble pas être le cas—, ce qui laisse aux petites entreprises comme basée à Budapest, SignAll pour faire le travail difficile que les avantages de cette négligés. Et il s’avère que la traduction de la langue des signes en temps réel est encore plus compliqué qu’il n’y paraît.

Chef de la direction Zsolt Robotka et chef de la R&D agent de Márton Kajtár ont présenté cette année au ces, où j’ai parlé avec eux au sujet de la société, les défis qu’ils ont pris et comment ils attendent le champ d’évoluer. (Je suis heureux de voir que la société est aussi à Perturber la SF en 2016, même si je l’ai raté alors.)

Peut-être la chose la plus intéressante à propos de l’ensemble de l’entreprise est de savoir comment, intéressant et complexe le problème, c’est qu’ils tentent de résoudre.

“Il est multi-canal de communication; c’est vraiment pas juste sur des formes ou des mouvements de la main”, a expliqué Robotka. “Si vous voulez vraiment pour traduire la langue des signes, vous avez besoin pour suivre l’ensemble de la partie supérieure du corps et les expressions du visage — qui fait de la vision par ordinateur partie très difficile.”

[embedded content]

Le droit au large de la chauve-souris qui est difficile à poser, car c’est un énorme volume dans lequel pour suivre le mouvement subtil. Le programme d’installation de droit utilise maintenant un Kinect 2 plus ou moins au centre et trois RVB caméras placées un pied ou deux. Le système doit être remanié pour chaque nouvel utilisateur, depuis un peu comme tout le monde parle un peu différemment, tous les ASL utilisateurs signe différemment.

“Nous avons besoin de cette configuration complexe, parce qu’alors on peut contourner le manque de résolution, à la fois temporelle et spatiale (c’est à dire le taux de rafraîchissement et le nombre de pixels), par le fait d’avoir différents points de vue”, a déclaré Kajtár. “Vous pouvez avoir assez complexe doigt configurations, et les méthodes traditionnelles de skeletonizing la main ne fonctionnent pas parce qu’ils masquent les uns les autres. Nous sommes donc en utilisant les caméras sur le côté pour régler l’occlusion.”

Comme si cela ne suffisait pas, les expressions faciales et les légères variations dans des gestes aussi les informer de ce qui est dit, par exemple, en ajoutant de l’émotion ou de l’indication d’une direction. Et puis il y a le fait que la langue des signes est fondamentalement différente de l’anglais ou toute autre commune de la langue parlée. Ce n’est pas la transcription elle est pleine sur la traduction.

“La nature de la langue continue de la signature. Qui le rend difficile à dire quand on signe se termine et une autre commence,” Robotka dit. “Mais c’est aussi une langue très différente; vous ne pouvez pas traduire mot par mot, de les reconnaître à partir d’un vocabulaire”.

SignAll système fonctionne avec des phrases complètes, non seulement les mots présentés de manière séquentielle. Un système qui prend juste en bas et se traduit par un signe après l’autre (versions limitées de ce qui existe) serait de nature à créer des interprétations erronées ou trop simpliste des représentations de ce qui a été dit. C’est peut-être bien pour demander des directions, de réel, de sens de la communication a des couches de complexité qui doit être détecté et fidèlement reproduits.

Quelque part entre ces deux options est ce que SignAll vise pour son premier projet pilote du système, à l’Université Gallaudet. Cet état de Washington, DC à l’école pour les sourds est la rénovation de son centre d’accueil, et SignAll sera l’installation d’une cabine de traduction afin que les entendants peuvent interagir avec les personnes sourdes.

About the author

Cyriac

Je suis Zeh Cyriac , fondateur et chef de la direction de la société informatique DROP Corporation Inc. et blogueur indépendant aux États-Unis, avec une passion pour l'Entrepreneuriat en ligne, le marketing de contenu et toutes les choses qui tournent au tour du digital et ’informatique .

Add Comment

Click here to post a comment

Newsletter

Les dernières nouvelles du Web, de la high-tech et de l'innovation numérique tous les matins à l'heure du petit déjeuner.

Vous avez parfaitement souscrit ! Consultez vos mails pour confirmer l'inscription .