De la reconnaissance de signes à la compréhension automatique de langue des signes

Thèse de Valentin BELISSEN, groupe ILES, sous la co-direction de Annelies BRAFFORT et Michèle GOUIFFES, mardi 10 novembre 2020 à 9h00, au LIMSI et en visoconférence :

Composition du jury, présidé par François Yvon :

Mounim El Yacoubi Professeur, Télécom SudParis – Institut Mines-Télécom Rapporteur
Benoit Favre Maitre de conférences HDR, Université Aix-Marseille, CNRS, LIF Rapporteur
Laurence Meurant Chercheur qualifié FNRS, Université de Namur Examinatrice
François Yvon Directeur de recherche, CNRS, LIMSI Examinateur
Annelies Braffort Directrice de recherche, CNRS, LIMSI Directrice
Michèle Gouiffès Maitre de conférences HDR, Université Paris-Saclay, CNRS, LIMSI

Codirectrice 

Résumé :

Les langues des signes sont nées au sein des communautés de Sourds. Elles intègrent des signes lexicaux, i.e. des unités conventionnalisées, mais aussi des structures très iconiques. Si la plupart des recherches en reconnaissance de LS se sont focalisées sur les signes lexicaux, nous souhaitons élargir cette perspective pour envisager la reconnaissance d’éléments iconiques et syntaxiques.

Nous proposons d’abord Dicta-Sign-LSF-v2, un corpus de dialogue annoté de manière détaillée. Nous redéfinissons alors le problème comme celui de la reconnaissance de descripteurs linguistiques, avec des métriques adaptées. Nous développons par ailleurs une représentation compacte et généralisable des signeurs dans les vidéos, puis une architecture d’apprentissage adaptée.

Dans une étude autour de la reconnaissance de quatre descripteurs linguistiques, nous montrons alors le bien-fondé de l'approche proposée et ouvrons la voie à une acception plus large de la reconnaissance continue de LS.

 

LIMSI
Campus universitaire bât 507
Rue du Belvedère
F - 91405 Orsay cedex
Tél +33 (0) 1 69 15 80 15
Email

RAPPORTS SCIENTIFIQUES

Rapport scientifique

 

Le LIMSI en chiffres

7 équipes de recherche
100 chercheurs et enseignants-chercheurs
40 ingénieurs et techniciens
60 doctorants
70 stagiaires

 

Paris-Saclay nouvelle fenêtre


Logo DataIA

 

© 2015 LIMSI CNRS