L I M S I - C N R S

LIMSI Spoken Language Processing Group (TLP)

Laboratory
CNRS home page
LIMSI home page
LIMSI TLP Group

Coordination GRACE:
Limsi
LIMSI-logo
INaLF
INaLF-logo

( ENST )
ENST-logo
EPFL
LIA-EPFL-logo

Liens Évaluation:
ELSE


Paris time: 03h10


Dans le graphique précision/décision qui présente l'état des des mesures effectuées à l'EPFL et au Limsi:
  • les marques identifient des participants (dont certains sont pour le moment anonymes),
  • Brill-INaLF indique les performances de l'étiqueteur d'E. Brill entraîné à l'INaLF,
  • Brill-Limsi indique les performances de l'étiqueteur d'E. Brill entraîné au Limsi.
  • Lexical indique la performance d'un système se contentant de faire un simple accès;s au dicitionaire MULTEXT-GRACE, si la forme n'y est pas trouvée elle reçoit l'étiquette des mots inconnus.
    Notez que les signes de ponctuation sont systématiquement étiquetés comme des ponctuations quel que soit leur contexte.
  • Aleat indique la performance d'un système qui raffine l'approche Lexical en appliquant les heuristiques
    suggérées par J. Vergnes:
    1. en cas d'ambiguité Nom/Verbe, choisir Nom,
    2. en cas d'ambiguité Adjectif/Verbe, choisir Adjectif,
    3. en cas d'ambiguité Adverbe/Nom, choisir Adverbe,
    4. en cas d'ambiguité Nom/Adjectif, choisir Nom,
    5. en cas d'ambiguité Déterminant/Pronom, choisir Déterminant,
    6. autrement choisir au hasard une étiquette parmi celles proposées.

Les valeurs de Précision et de Décision sont calculéees comme suit:

P = nbr_de_cas_OK / (nbr_de_cas_OK + nbr_de_cas_ERREUR)

D = (nbr_de_cas_OK + nbr_de_cas_ERREUR) / nbr_de_cas

avec:
nbr_de_cas =
nbr_de_cas_OK + nbr_de_cas_ERREUR + nbr_de_cas_SILENCE

Attention: le nombre total de cas total est égal au (nbr_de_cas+nbr_de_cas_NON_EVALUÉS)

Les silences (cas ou un système a répondu plusieurs étiquettes) ne sont pas représentés dans ce graphique.


Contact: Patrick Paroubek, pap@limsi.fr Dernière mise à jour: 06 Novembre 1998


[GRACE home page] [LIMSI home page]