Recrutement

Stages

Nom de l'encadrant
Michèle Gouiffès
Contact
Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.
Titre
Analyse automatique de vidéos de communication visuo-gestuelle. Application à la langue des signes française.
Descriptif
Michèle Gouiffès : Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.
Annelies Braffort : Cette adresse e-mail est protégée contre les robots spammeurs. Vous devez activer le JavaScript pour la visualiser.
LIMSI-CNRS : rue John Von Neumann Bât 508 91403 ORSAY cedex
Durée : 5 ou 6 mois
Début: à partir de février 2017
Gratification : 546,01€ par mois + remboursement de frais de transport (le cas échéant).

CONTEXTE. La Langue des Signes Française (LSF), bien que séculaire, n'a été reconnue en France
comme langue officielle qu'en 2005. Depuis cette date, chaque lieu public doit être accessible aux
sourds et mal entendants. En réalité, faute d'un nombre suffisant d'interprètes, l’utilisation de
systèmes de traitement et de synthèse automatique de LSF s'avère une piste plus prometteuse, en
optant pour des technologies de capture non-intrusive (caméra simple ou de type RGB-D comme la
Kinect). Les recherches en traitement de vidéos de LS, bien que croissantes, se heurtent à de
nombreuses difficultés inhérentes à la nature visuo-gestuelle de la LS. Contrairement aux langues
parlées pour lesquelles l'analyse de la modalité orale est suffisante pour la compréhension,
l'interprétation de la LS doit passer par l'analyse simultanée de plusieurs articulateurs, à la fois
manuels (orientation, configurations, localisation et mouvement de la main dominante et de la
main dominée) et non-manuels (posture et mouvement du buste, pose de la tête et mouvement
des sourcils, des yeux, de la bouche, des joues). De cette analyse fine pourront être extraites des
informations sur la nature des gestes (signe standard, signe iconique à visée illustrative, transition)
puis sur leur sens. Le figure 1 donne 3 exemples de signes.
Ce problème bien spécifique requière à la fois une expertise en LS et des algorithmes de
traitement d'image adaptés, que ce soit pour le suivi et la caractérisation (forme, texture,
mouvement) de chaque articulateur, de leur relation et de leur interprétation.


OBJECTIF. Le stage proposé ici a pour objectif de contribuer à la mise en place un système d'analyse
de la LS permettant la distinction entre signes et transitions, puis entre signes standards et signes
à visée illustrative. Par ailleurs, les développements réalisés pour la LS seront mis à profit de façon
plus générale pour la communication visuo-gestuelle avec des perspectives applicatives en
interaction homme-machine.


DOMAINES D'APPLICATIONS POTENTIELLES

Linguistique : compréhension de la LS par l'aide à l'annotation de vidéos
Accessibilité : outils pour la communication dans les lieux publics et pour l'enseignement
Interaction homme-machine sans contact

PERSPECTIVES. Un sujet de thèse sera proposé dans la continuité de ce sujet de stage pour la
rentrée 2016.

PROFIL RECHERCHE. Étudiant en Master 2 recherche et/ou étudiant ingénieur Bac+5 dans le domaine
du traitement d'images. Compétences attendues : développement (C++ et/ou python), traitement
d’images/vidéos
Comment candidater ? Envoyer un CV, une lettre de motivation, les derniers bulletins de notes.

REFERENCES
M. Gonzales (thèse 2012). Computer vision methods for unconstrained gesture recognition in the context of sign
language annotation. Univ Toulouse Paul Sabatier.
F. Lefebvre-Albaret (thèse 2010). Traitement automatique de vidéos en LSF. Modélisation et exploitation des
contraintes phonologiques du mouvement. Univ Toulouse Paul Sabatier.
F. Martinez, A. Manzanera, M. Gouiffès and Annelies Braffort. A Gaussian mixture
representation of gesture kinematics for on-line Sign Language video annotation ISVC 2015
Domaine
traitement du langage parlé, écrit et gestuel
Mots clés
  • traitement des langues des signes
  • traitement d'image
Niveau
M1, M2
Groupe(s)
AMI, ILES
Date de début
Durée
5 à 6 mois

LIMSI
Campus universitaire bât 508
Rue John von Neumann
F - 91405 Orsay cedex
Tél +33 (0) 1 69 15 80 15
Email

RAPPORTS SCIENTIFIQUES

Le LIMSI en chiffres

10 équipes de recherche
100 chercheurs et enseignants-chercheurs
40 ingénieurs et techniciens
60 doctorants
70 stagiaires

 Université Paris-Sud nouvelle fenêtre

 

Paris-Saclay nouvelle fenêtre