Actualités

Génération automatique de QCM pédagogiques : évaluation de l'homogénéité des options

Van-Minh PHO

Thèse de Van-Minh PHO

Ces dernières années ont connu un renouveau des Environnements Informatiques pour l'Apprentissage Humain. Afin que ces environnements soient largement utilisés par les enseignants et les apprenants, ils doivent fournir des moyens pour assister les enseignants dans leur tâche de génération d'exercices. Parmi ces exercices, les Questionnaires à Choix Multiples (QCM) sont très présents. Cependant, la rédaction d'items à choix multiples évaluant correctement le niveau d'apprentissage des apprenants est une tâche complexe. Des consignes ont été développées pour rédiger manuellement des items, mais une évaluation automatique de la qualité des items constituerait un outil pratique pour les enseignants.

Van-Minh PHO partage ainsi son analyse et ses méthodes : "Nous nous sommes intéressés à l'évaluation automatique de la qualité des distracteurs (mauvais choix de réponse). Pour cela, nous avons étudié les caractéristiques des distracteurs pertinents à partir de consignes de rédaction de QCM. Cette étude nous a conduit à considérer que l'homogénéité des distracteurs et de la réponse est un critère important pour valider les distracteurs. L'homogénéité est d'ordre syntaxique et sémantique. Nous avons validé la définition de l'homogénéité par une analyse de corpus de QCM, et nous avons proposé des méthodes de reconnaissance automatique de l'homogénéité syntaxique et sémantique à partir de cette analyse.

Nous nous sommes ensuite focalisé sur l'homogénéité sémantique des distracteurs. Pour l'estimer automatiquement, nous avons proposé un modèle d'ordonnancement par apprentissage, combinant différentes mesures d'homogénéité sémantique. L'évaluation du modèle a montré que notre méthode est plus efficace que les travaux existants pour estimer l'homogénéité sémantique des distracteurs."

Date de soutenance

Jeudi 24 septembre à 10h

Membres du jury

- Thierry Poibeau, Directeur de recherche CNRS, Lattice, rapporteur
- Cédrick Fairon, Professeur, Université Catholique de Louvain/CENTAL, rapporteur
- Nathalie Guin, Maître de conférences HDR, Université Lyon 1/LIRIS, examinatrice
-⁠ Sophie Rosset, Directrice de recherche CNRS, LIMSI, examinatrice
- Anne-⁠Laure Ligozat, Maître de conférences, ENSIIE/⁠LIMSI, co-⁠encadrante
-⁠ Brigitte Grau, Professeur, ENSIIE/⁠LIMSI, directrice de la thèse
-⁠ Yolaine Bourda, Professeur, SUPELEC/LRI, invitée

Publications

  • V-M. Pho, A-L. Ligozat, B. Grau, Distractor quality evaluation in Multiple Choice Questions, 17th International Conference on Artificial Intelligence in Education (AIED 2015), Madrid, Spain, 22/06 au 26/06, 2015, 10
  • V-M. Pho, B. Grau, A-L. Ligozat, Estimation de l'homogénéité sémantique pour les Questionnaires à Choix Multiples, 22nd Conférence sur le Traitement Automatique des Langues Naturelles (TALN 2015), Caen, France, 22/06 au 25/06, 2015, 12
  • A-L. Ligozat, V-M. Pho, T. Andre, B. Grau, G. Illouz, T. François, Multiple Choice Question Corpus Analysis for Distractor Characterization, 9th International Conference on Language Resources and Evaluation (LREC 2014), Reykjavik, Iceland, 26/05 au 31/05, 2014, 8p
  • B. Grau, A-L. Ligozat, V-M. Pho, Réponse à des tests de compréhension, 10e Conférence en Recherche d'Information et Applications (CORIA 2013), Neuchâtel, Suisse, 03/04 au 05/04, 2013, 1-10
  • V-M. Pho, Génération de réponses pour un système de questions-réponses, Conférence en Recherche d'Information et Applications (CORIA 2012), Bordeaux, France, 21/03 au 23/03, 2012, 449-454
  • M. Gleize, B. Grau, A-L. Ligozat, V-M. Pho, G. Illouz, F. Gianetti, L. Lahondes, Selecting answers with structured lexical expansion and discourse relations LIMSI\'s participation at QA4MRE 2013, QA4MRE Workshop, Valencia, Spain, , 2013
  • B. Grau, V-M. Pho, A-L. Ligozat, A. Ben Abacha, P. Zweigenbaum, F. Chowdhury, Adaptation of LIMSI’s QALC for QA4MRE, CLEF 2012 Working notes on QA4MRE, Rome, Italie, CLEF, 2012
  • V-M. Pho, Classification et évaluation automatique de réponses, Université Paris-Sud, MASTER 2 Recherche, 2012, 25p
  • V-M. Pho, Extraction d'informations et agrégations de résultats, Université Paris Sud/LIMSI, TER de M1 Informatique, 2011, 10
  • V-M. Pho, Génération de réponses pour un système de questions-réponses, Université Paris Sud/LIMSI, Master 1 Informatique, 2011, 20

 

LIMSI
Campus universitaire bât 508
Rue John von Neumann
F - 91405 Orsay cedex
Tél +33 (0) 1 69 15 80 15
Email

RAPPORTS SCIENTIFIQUES

Le LIMSI en chiffres

10 équipes de recherche
100 chercheurs et enseignants-chercheurs
40 ingénieurs et techniciens
60 doctorants
70 stagiaires

 Université Paris-Sud nouvelle fenêtre

 

Paris-Saclay nouvelle fenêtre