Grammaires & Ressources pour les Analyseurs de Corpus & leur Évaluation

En proposant un cadre de référence unifié dans lequel les différents systèmes développés selon des méthodes a priori différentes seront comparés, l'action GRACE entend créer une synergie autour de l'évaluation qui regroupera des acteurs de tous horizons (recherche, industrie, éducation) permettant ainsi de dégager des directions prioritaires de recherche afin de faire progresser le domaine.

En outre les données qui seront rassemblées pour effectuer les évaluations seront mises à la disposition de la communauté scientifique afin de créer un ensemble de ressources linguistiques réutilisables.

L'action GRACE rejoint et complète les actions menées selon une démarche comparable dans le cadre de la Francophonie (AUPELF-UREF) ou au plan Européen ("Morpholympics" en Allemagne, action stratégique du réseau ESPRIT-BRA ELSNET, Evaluation Study Group du programme Télématique / Ingénierie des langues) ainsi que les actions visant à la constitution de ressources linguistiques importantes (projets Silfide, Relator, Speechdat, LE-PAROLE ,MULTEXT, Pointer, et CRATER, association ELRA) et les actions ayant pour but la définition de standards (EAGLES, MULTEXT, TEI). GRACE a commencé l'organisation d'une session d'évaluation pour les assignateurs de catégories grammaticales du français.

L'appel à participation a été très bien accueilli puisqu'une vingtaine d'équipes y ont répondu. Ces équipes proviennent aussi bien de l'industrie que de la recherche publique et incluent une participation étrangère importante (Amérique du Nord, Allemagne, Suisse).

La session d'évaluation se déroulera en trois phases:

1. distribution des données d'entraînement (corpus d'environ 10 Millions de mots et le lexique MULTEXT fourni avec la collaboration de J. Veronis);
2. essais, qui serviront à tester le protocole complet d'évaluation avec le concours des participants;
3. évaluation proprement dite. Les données d'entraînement permettront aux participants de calibrer leur système sur les données avec lesquelles l'évaluation sera effectuée.

Les travaux du comité de réflexion composé d'un vingtaine de chercheurs et animé conjointement par G. Adda et M. Rajman, portent actuellement sur la finalisation de la version du protocole d'évaluation qui sera testé pendant la phase d'essais et sur l'achèvement de la mise en forme des données d'entraînement.

Malgré quelques retards sur le calendrier initial dûs à l'ampleur de la tâche, au succès de l'appel à participation et au fait que nous défrichons un terrain nouveau, les travaux avancent à grands pas et tout porte à croire que l'action GRACE sera le point de départ d'une mise en application plus large du paradigme d'évaluation.