|
Paris time: 03h10
|
Dans le graphique précision/décision qui présente l'état des
des mesures effectuées à l'EPFL et au Limsi:
- les marques identifient des participants (dont certains sont pour le moment anonymes),
- Brill-INaLF indique les performances de l'étiqueteur d'E. Brill entraîné
à l'INaLF,
- Brill-Limsi indique les performances de l'étiqueteur d'E. Brill entraîné
au Limsi.
- Lexical indique la performance d'un système se contentant de faire un
simple accès;s au dicitionaire MULTEXT-GRACE, si la forme n'y est pas trouvée
elle reçoit l'étiquette des mots inconnus.
Notez que les signes de ponctuation
sont systématiquement étiquetés comme des ponctuations quel que soit leur
contexte.
- Aleat indique la performance d'un système qui raffine l'approche Lexical
en appliquant les heuristiques
suggérées par J. Vergnes:
- en cas d'ambiguité Nom/Verbe, choisir Nom,
- en cas d'ambiguité Adjectif/Verbe, choisir Adjectif,
- en cas d'ambiguité Adverbe/Nom, choisir Adverbe,
- en cas d'ambiguité Nom/Adjectif, choisir Nom,
- en cas d'ambiguité Déterminant/Pronom, choisir Déterminant,
- autrement choisir au hasard une étiquette parmi celles proposées.
Les valeurs de Précision et de Décision sont calculéees comme suit:
P = nbr_de_cas_OK / (nbr_de_cas_OK + nbr_de_cas_ERREUR)
D = (nbr_de_cas_OK + nbr_de_cas_ERREUR) / nbr_de_cas
avec:
nbr_de_cas = nbr_de_cas_OK + nbr_de_cas_ERREUR + nbr_de_cas_SILENCE
Attention: le nombre total de cas total est égal au (nbr_de_cas+nbr_de_cas_NON_EVALUÉS)
Les silences (cas ou un système a répondu plusieurs étiquettes) ne sont pas
représentés dans ce graphique.
Contact: Patrick Paroubek, pap@limsi.fr Dernière mise à jour: 06 Novembre 1998
[GRACE home page]
[LIMSI home page]
|