Actualités

Communication kinesthésique des émotions dans un contexte d'interaction homme-machine

Thèse Yoren Gaffary

Soutenance : 18 juin 2015 au LIMSI, 14h00, salle de conférences

Membres du jury :

  • Dirk Heylen, Rapporteur, Université de Twente, Pays-Bas
  • Anatole Lécuyer, Rapporteur, INRIA, Rennes
  • Nadine Couture, Examinatrice, ESTIA,
  • Bidard Michel-Ange Amorim, Examinateur, Université Paris-Sud
  • Jean-Claude Martin, Co-encadrant, LIMSI/Université Paris-Sud
  • Mehdi Ammi, Directeur de thèse, LIMSI/Université Paris-Sud

Résumé

La communication des émotions s'effectue naturellement par le biais de différentes modalités, comme par exemple les expressions faciales et le toucher. L'informatique affective cherche à intégrer la composante émotionnelle dans les interactions homme-machine. Cependant, le toucher, qui est un puissant vecteur d'émotions, reste peu exploité.

L'objectif de cette thèse est d'étudier les paramètres qui influencent l'expression et la perception des émotions dans la modalité kinesthésique dans un contexte d'interaction homme-machine.

Dans un premier temps, cette thèse considère l'expression kinesthésique liée à la perception physique de forces et de mouvements d'un ensemble d'émotions actées sémantiquement proches. Sur la base des résultats de cette première étude, un couplage des expressions kinesthésiques typiques de différentes émotions avec des expressions faciales exprimées par un avatar est proposé afin d'étudier l'influence de la modalité kinesthésique dans la perception d'une expression multimodale d’émotion. Enfin, cette thèse va au-delà de ces émotions actées en abordant dans une dernière étude le cas de l'expression et de la perception d'un état affectif de stress spontané. Ces différentes expérimentations ont considéré différents dispositifs matériels pour la communication kinesthésique : des dispositifs de type Geomagic Touch ainsi qu'un dispositif de rendu de pression développé spécifiquement dans le cadre de cette thèse.

Les résultats de ces travaux ont de multiples applications pratiques. Premièrement, une meilleure intégration de la modalité kinesthésique en contexte virtuel, qu'il s'agisse de communication humain-humain à distance ou d'immersion dans les jeux vidéo. Cette thèse ouvre également la voie à la détection automatique d'états affectifs exprimés spontanément par la modalité kinesthésique.


Publications

  • J-C. Martin, Y. Gaffary, V. Eyharabide, M. Ammi, The impact of combining kinesthetic and facial expression displays on emotion recognition by users, International Journal of Human Computer Interaction (IJHCI), 2014, vol. 30, n°11, 904-920, URL : http://www.tandfonline.com/doi/pdf/10.1080/10447318.2014.941276#.VGNiSWMma-M
  • Y. Gaffary, M. Eyharabide, J-C. Martin, M. Ammi, Clustering approach to characterize haptic expressions of emotions, ACM Transactions on Applied Perception, 2013, vol. 10, n°4, 18p
  • A. Girard, M. Auvray, M. Ammi, Collaborative Metaphor for Haptic Designation in Complex 3D Environments, ACM Symposium on Applied Perception (SAP 2014), Vancouver, British Columbia, Canada, 08/08 au 08/09, 2014, 31-37
  • Y. Gaffary, M. Eyharabide, M. Tsalamlal, J-C. Martin, M. Ammi, Comparison of Statistical Methods for the Analysis of Affective Haptic Expressions, 8th International Workshop on Haptic and Audio Interaction Design (HAID 2013), Daejeon, Korea, 18/04 au 19/04, 2013, 10p. Paru dans Springer LNCS
  • Y. Gaffary, J-C. Martin, M. Ammi, How to Collect Haptic Expressions of Spontaneous Emotions?, 5th International Conference on Affective Computing and Intelligent Interaction, ACII 2013 (ACII'13 2013), Genève, Suisse, 02/09, 4
  • Y. Gaffary, M. Eyharabide, J-C. Martin, M. Ammi, Comparison of statistical methods for the analysis of affective haptic expressions, 10th ACM Symposium on Applied Perception (SAP 2012), Los Angeles, USA, 03/08 au 04/08, 2012, 128. Paru dans SAP '12 Proceedings of the ACM Symposium on Applied Perception ISBN: 978-1-4503-1431-2
  • F. Gueniat, Y. Gaffary, L. Pastur, M. Ammi, Haptic stimulus for the discrimitation between intrinsic properties of dynamic systems, International Conference EuroHaptics, Tampere, Finland, 12/06 au 15/06, 2012, 37-42. Paru dans Haptics: Perception, Devices, Mobility, and Communication
  • M. Tsalamlal, Y. Gaffary, N. Ouarti, J-C. Martin, M. Ammi, HumanTouch: communication haptique d'émotions avec des humains virtuels, Forum Digiteo, 2012
  • Y. Gaffary, Approche kinesthésique pour la communication affective avec humains virtuels, Université Paris-Sud, MASTER 2 Recherche, 2011, 28
  • Y. Gaffary, Expérimentations d'approches haptiques pour l'étude de systèmes dynamiques dans des environnements virtuels 3D, Université Paris Sud/LIMSI, Master 1 Informatique, 2010, 32

LIMSI
Campus universitaire bât 508
Rue John von Neumann
F - 91405 Orsay cedex
Tél +33 (0) 1 69 15 80 15
Email

RAPPORTS SCIENTIFIQUES

Le LIMSI en chiffres

10 équipes de recherche
100 chercheurs et enseignants-chercheurs
40 ingénieurs et techniciens
60 doctorants
70 stagiaires

 Université Paris-Sud nouvelle fenêtre

 

Paris-Saclay nouvelle fenêtre