Ce projet se place dans le cadre d'une
Action de Recherche Coopérative
INRIA.
Il se situe dans le domaine de la Communication Homme-Machine et plus
spécifiquement dans celui de la communication gestuelle. Son objectif est
l'aide à la conception d'un système informatique dédié à la capture, la
reconnaissance et à l'interprétation de gestes de la Langue des Signes
Française (LSF), qui est la langue partiquée au sein de la communauté des
Sourds en France.
La LSF est basée sur les canaux visuel et gestuel et fait intervenir tout le
haut du corps du signeur (bras et mains, mais aussi épaules, buste, expressions
du visage, direction du regard, mouvements de la bouche). C'est une véritable
langue dont le fonctionnement est très différent de celui d'une langue orale.
Comme une langue orale, elle est dotée d'un lexique standardisé, mais qui est
assez peu utilisé. En contre-partie, elle permet la construction en dynamique de
signes dont la forme est fonction du contexte. La LSF dispose aussi d'une
syntaxe, qui est basée sur l'utilisation d'informations spatio-temporelles, ce
qui la différencie là encore fortement des langues orales.
Un des problèmes cruciaux de la communauté Sourde en France est lié à
l'éducation. Du fait que la LSF a été interdite en France pendant plus d'un
siècle (1880-1991), la langue utilisée pour enseigner les connaissances aux
enfants sourds est souvent le français. Il est admis dans beaucoup de pays que
cet état de fait est source de nombreux échecs scolaires.
Le développement du Minitel et la démocratisation des ordinateurs portables ont
permis aux Sourds d'accéder à de nouveaux types d'outils leur permettant de
communiquer entre eux plus facilement et d'accéder à de nouveaux moyens
d'apprentissage. La modalité visuelle leur offre un accès aux informations mieux
adapté, mais les sourds ne disposent pour interagir que des classiques clavier
et souris, sans aucune interaction gestuelle possible. Un système informatique
dédié à la capture et à l'interprétation de gestes de la LSF pourrait permettre
de développer des outils du type dictionnaire à entrée gestuelle, didacticiels
d'apprentissage de la LSF, voire à plus long terme " dictée gestuelle ". Ce
type de système nécessite de développer des technologies spécifiques, car celles
qui existent pour les langues orales sont inadaptées, aussi bien pour la
capture, que pour la reconnaissance et l'interprétation.
Le but des activités scientifiques qui sont menées dans le cadre de cette action
est de faire avancer l'état de l'art dans le domaine des applications
informatiques dédiés à la LSF, en contribuant au développement d'un système
comportant des outils de capture de gestes, de reconnaissance et
d'interprétation de gestes. L'objectif est de convertir des séquences vidéo
d'une personne en train de signer en une représentation susceptible d'être
utilisées dans une application utile pour la communauté des Sourds. La première
étape du travail consiste à recenser les besoins en s'adressant aux utilisateurs
potentiels, associations de Sourds, enseignants, éducateurs...