Actualités

Évaluation adaptative des systèmes de transcription en contexte applicatif

Thèse de Mohamed Ben Jannet

Résumé : Il est important d’évaluer régulièrement les produits de l’innovation technologique afin d’estimer le niveau de maturité atteint par les technologies et d’étudier les cadres applicatifs dans lesquels elles pourront être exploitées. Le traitement automatique des langues (TAL) relève à la fois de la recherche et de l’innovation technologique et a pour but la modélisation et le développement d’outils permettant de traiter automatiquement le langage naturel. Pendant longtemps, les différentes briques technologiques issues du TAL étaient développées séparément. Par conséquent, les méthodes d'évaluation existantes sont dans la plupart modulaires et ne permettent d'évaluer qu'un seul module à la fois, alors qu'aujourd'hui nombreuses applications nécessitent de combiner plusieurs modules de TAL pour résoudre des tâches complexes. Le nouveau défi en terme d'évaluation est alors de pouvoir évaluer les différents modules (ou briques) tout en prenant en compte le contexte applicatif.
Notre travail porte sur l'évaluation des systèmes de reconnaissance automatique de la parole (RAP) en contexte applicatif, en particulier, celui de la reconnaissance d'entités nommées (REN).
En première partie, nous abordons la problématique de l'évaluation des systèmes de RAP en contexte applicatif à travers une étude de l'état de l'art. Nous y décrivons les tâche de RAP et de REN proposées dans les campagnes d'évaluation ainsi que les protocoles mis en place pour leurs évaluation. Nous y discutons également les limites des approches d'évaluations modulaires et nous y exposons les mesures alternatives proposées dans la littératures. En deuxième partie, nous décrivons la tâche de détection, classification et décomposition d'entités nommées étudiée et nous proposons une nouvelle métriques ETER (Entity Tree Error Rate) permettant de prendre en compte les spécificité de cette tâche et le contexte applicatif lors de l'évaluation. ETER permet également de supprimer les biais observés avec les métriques existantes. En troisième partie, nous définissons une nouvelle mesure ATENE (Automatic Transcriptions Evaluation for Named Entities) qui permet d’évaluer la qualité des systèmes de RAP et l’impact de leurs erreurs pour des systèmes de REN appliqués en aval. ATENE consiste à comparer les probabilités de présence d’entités sur les transcriptions de référence et d’hypothèse plutôt qu’une comparaison directe des graphèmes. Elle est composée de deux mesures élémentaires. Une première permettant l’évaluation de risque d’erreur d’omission et de substitution d’entités et une seconde permettant d’évaluer le risque d’erreur d’insertion d’entités causé par les erreurs de RAP.
Nos expériences de validation montrent que les mesures données par ATENE corrèlent mieux que les autres mesures de l'état de l'art avec les performances des systèmes de REN.

Mots clés : Reconnaissance automatique de la parole, évaluation, ETER, ATENE

Date de soutenance

Mercredi 14 octobre 2015 à 14h30, salle de conférences du LIMSI

Membre du jury

Laurent Besacier, Professeur à l'Université J. Fourier Grenoble, Rapporteur
Yannick Éstève, Professeur à l'Université du Maine Le Mans, Rapporteur
Frédéric Béchet, Professeur à l'Université Aix-Marseille, Examinateur
Pierre Zweigenbaum, Directeur de Recherche CNRS LIMSI, Examinateur
Sophie Rosset, Directeur de Recherche CNRS LIMSI, Directeur de thèse
Martine Adda-Decker, Directeur de Recherche CNRS, LPP, Co-Directeur
Olivier Galibert, Ingénieur-⁠Docteur LNE, Co-⁠encadrant

 

 Publications

{bibtex}/users/daly_161802.bib{/bibtex}

 

 

LIMSI
Campus universitaire bât 507
Rue du Belvedère
F - 91405 Orsay cedex
Tél +33 (0) 1 69 15 80 15
Email

RAPPORTS SCIENTIFIQUES

Le LIMSI en chiffres

10 équipes de recherche
100 chercheurs et enseignants-chercheurs
40 ingénieurs et techniciens
60 doctorants
70 stagiaires

 Université Paris-Sud nouvelle fenêtre

 

Paris-Saclay nouvelle fenêtre