Actualités

De la variation dans la production et la perception de la parole: analyses linguistiques de grand corpus en lien avec le traitement automatique

HDR de Ioana Vasilescu, équipe TLP, jeudi 24 novembre 2016 au Limsi

La parole continue est un phénomène hautement variable. Des facteurs tels que les locuteurs et leurs caractéristiques physiologiques, les contextes communicationnels ou encore les conditions d'enregistrement concourent à sa variabilité. Cette dernière décennie a vu se développer une méthodologie conjuguant traitement automatique et analyse acoustico-prosodique des marques de la variation linguistique dans de grands corpus oraux. Dans ce cadre méthodologique, les erreurs produites par les systèmes automatiques de traitement pour la communication parlée représentent un nouveau type de corpus renseignant sur certaines ambiguïtés dans la langue, témoins potentiels d'une variation régulière insuffisamment renseignée. Les travaux que je présente en vue de l'obtention de l'habilitation à diriger des recherches ont été pour la plupart menés au LIMSI et ont eu comme point de départ l'observation des erreurs de traitement de différents systèmes automatiques, dédiés à l'identification des langues, la transcription de la parole, la catégorisation des émotions ou encore le dialogue humain-machine. J'ai développé une approche qui utilise les erreurs comme point de départ pour des analyses acoustico-prosodiques sur la variation à l'oral et pour des expérimentations psycholinguistiques dédiées à la comparaison humain vs système automatique dans le traitement de l'information verbale. Pour ce qui est de la production de la parole, les résultats indiquent des patrons intra et inter-langues de la variation au niveau non-lexical (disfluences) et lexical (réalisations acoustiques et contrastes phonémiques, interface phonétique vs phono-morphologie). En perception, des tests perceptifs basés sur des échantillons variés de parole spontanée renseignent sur l'écart humain vs système automatique dans différentes configurations expérimentales et sur les stratégies mises en œuvre par les auditeurs pour surmonter l’ambiguïté locale. Ces études ouvrent des pistes nouvelles pour les études (psycho)linguistiques de grand corpus à travers l’exploitation des systèmes automatiques non seulement comme des instruments de pré-traitement des corpus, mais comme des outils linguistiques à part entière, permettant d'explorer des aspects systémiques.

Jury

- Martine Adda-Decker, Directeur de Recherche, Université Paris 3
- Régine André-Obrecht, Professeur, Université Paul Sabatier
- Lori Lamel, Directeur de Recherche, Limsi CNRS
- Mark Liberman, Professeur, University of Pennsylvania
- Catherine Pelachaud, Directeur de Recherche, ISIR, Université Paris Sorbonne
- Dan Tufis, Professeur, Académie Roumaine

Publications

Articles

  • Céline Clavel, Ioana Vasilescu, Laurence Devillers, Fiction supports for realistic portrayals of fear-type emotional manifestations (2011) , doi : 10.1016/j.csl.2010.03.003
  • Céline Clavel, Ioana Vasilescu, Laurence Devillers, G Richard, T Ehrette, Fear-type recognition for future audio-based surveillance systems (2008)
  • Ioana Vasilescu, Martine Adda-Decker, Rena Nemoto, Caractéristiques acoustiques et prosodiques des hésitations vocaliques dans trois langues (2008)

Communication avec acte

  • Ioana Vasilescu, Camille Dutrey, Lori Lamel, Large Scale Data Based Linguistic Investigations Using Speech Technology Tools: the Case of Romanian (2015)
  • Maria Goryainova, Cyril Grouin, Sophie Rosset, Ioana Vasilescu, Morpho-Syntactic Study of Errors from Speech Recognition System (2014)
  • Daniel Luzzati, Cyril Grouin, Ioana Vasilescu, Martine Adda-Decker, Eric Bilinski, Nathalie Camelin, Juliette Kahn, Carole Lailler, Lori Lamel, Sophie Rosset, Human annotation of ASR error regions: Is "gravity" a sharable concept for human annotators? (2014)
  • Camille Dutrey, Sophie Rosset, Martine Adda-Decker, Chloé Clavel, Ioana Vasilescu, Disfluences dans la parole spontanée conversationnelle : détection automatique utilisant des indices lexicaux et acoustiques (2014)
  • Sophie Rosset, Camille Dutrey, Chloé Clavel, Ioana Vasilescu, Martine Adda-Decker, A CRF-based approach to automatic disfluency detection in a french call-centre corpus (2014)
  • Jean-Luc Gauvain, Ioana Vasilescu, Bianca Vieru, Lori Lamel, Analyzing linguistic variation in a Romanian speech corpus through ASR errors (2014)
  • Ioana Vasilescu, Bianca Vieru, Lori Lamel, Exploring Pronunciation Variants for Romanian Speech-to-Text Transcription (2014)
  • Ioana Vasilescu, Martine Adda-Decker, Lori Lamel, Cross-lingual studies of ASR errors: paradigms for perceptual evaluations (2012)
  • Camille Dutrey, Chloé Clavel, Sophie Rosset, Ioana Vasilescu, Martine Adda-Decker, Quel est l'apport de la détection d'entités nommées pour l'extraction d'information en domaine restreint ? (2012)
  • Martine Adda-Decker, Ioana Vasilescu, Natalie Snoeren, N Yahia, Lori Lamel, Towards exploring linguistic variation in ASR errors: paradigm and tool for perceptual experiments (2011)
  • Ioana Vasilescu, Dahbia Yahia, Natalie Snoeren, Martine Adda-Decker, Lori Lamel, Cross-lingual study of ASR errors: on the role of the context in human perception of near-homophones (2011)
  • Ioana Vasilescu, Sophie Rosset, Martine Adda-Decker, On the role of discourse markers in interactive spoken question answering systems (2010)
  • Anne Garcia-Fernandez, Ioana Vasilescu, Sophie Rosset, Euh as cue for speaker confidence and word searching in human spoken answers in French (2010)
  • Ioana Vasilescu, Sophie Rosset, Martine Adda-Decker, On the functions of the vocalic hesitation euh in interactive man-machine question answering dialogs in French (2010)
  • Ioana Vasilescu, Martine Adda-Decker, Lori Lamel, P Hallé, A perceptual investigation of speech transcription errors involving frequent near-homophones in French and American English (2009)
  • Rena Nemoto, Ioana Vasilescu, Martine Adda-Decker, Speech errors on frequently observed homophones in French : perceptual evaluation vs automatic classification (2008)
  • Rena Nemoto, Martine Adda-Decker, Ioana Vasilescu, Fouille de données audio pour la classification automatique de mots homophones (2008)
  • Rena Nemoto, Ioana Vasilescu, Martine Adda-Decker, Mots fréquents homophones en français : analyse acoustique et classification automatique par fouille de données (2008)
  • Rena Nemoto, Ioana Vasilescu, Martine Adda-Decker, Speech errors on frequently observed homophones in French : perceptual evaluation vs automatic classification (2008)
  • Ioana Vasilescu, Rena Nemoto, Martine Adda-Decker, Vocalic hesitations vs vocalic systems : a cross-language comparison (2007)
  • Céline Clavel, Laurence Devillers, G Richard, Ioana Vasilescu, T Ehrette, Detection and analysis of abnormal situations through fear-type acoustic manifestations (2007)

Chapitres dans des ouvrages

  • Ioana Vasilescu, Emotion perception and recognition (2011)
  • Ioana Vasilescu, Perception et reconnaissance des émotions (2010)

 

 

LIMSI
Campus universitaire bât 508
Rue John von Neumann
F - 91405 Orsay cedex
Tél +33 (0) 1 69 85 80 80
Email

RAPPORTS SCIENTIFIQUES

Le LIMSI en chiffres

10 équipes de recherche
100 chercheurs et enseignants-chercheurs
40 ingénieurs et techniciens
60 doctorants
70 stagiaires

 Université Paris-Sud nouvelle fenêtre

 

Paris-Saclay nouvelle fenêtre