Comment évaluer le repérage ?

Rappelons que ne sont évaluées pour le repérage, que les expressions temporelles et les expressions de localisation. Pour chaque page à juger, l'évaluateur doit compter, à l'aide des critères associés, les expressions appartenant à chacune des catégories présentées ci-dessous. Rappelons également que les informations à repérer sont des informations pratiques. En ce qui concerne les expressions temporelles, il s'agit de jours et horaires d'ouverture ou de fermeture, dates de début ou de fin, exceptions, etc. Pour les informations de localisation, elles comprennent les adresses des lieux touristiques : adresse complète de type « adresse postale », adresse incomplète (par exemple, rue et ville sans code postal ni numéro) ou encore nom de ville seul si aucune adresse plus précise n'est mentionnée.

a. Expressions repérées complètement

Les expressions repérées complètement sont celles dont les frontières ont bien été délimitées.

Chapitre 7 - Expérimentation et Évaluation

Que ce soit pour les expressions temporelles ou les expressions de localisation, cela signifie qu'aucune partie de l'information pratique n'a pas été repérée.

Le cas où l'expression repérée dépasserait l'expression à repérer semble très improbable, étant donné le fonctionnement d'Adetoa (voir chapitre 5). Toutefois, un tel cas de figure ne serait pas considéré comme fautif : le principal est d'avoir l'information, l'annotation se charge ensuite de la rendre exploitable.

En ce qui concerne les expressions temporelles, il est possible qu'une expression soit repérée « en deux fois » : sous forme de deux <UT>. Si les deux couvrent tout de même l'expression en entier alors elle va bien dans cette catégorie. Si une partie de l'expression n'est pas repérée, alors elle ira dans l'une des catégories suivantes.

(169) en juin : du lundi au vendredi 16h-19h en juillet et août : tous les jours 11h-19h

L'exemple ci-dessus constitue une expression temporelle mais est repéré sous la forme de deux <UT>, comprenant chacune une période d'ouverture : en juin : du lundi au vendredi 16h-

19h et en juillet et août : tous les jours 11h-19h. Aucune partie n'étant manquée, cette expression

est à considérer comme repérée complètement.

b. Expressions repérées partiellement sans perte d'information

Entrent dans cette catégorie, les expressions qui ne sont pas repérées en entier mais dont la partie manquante n'est pas gênante pour la compréhension et n'entraîne pas de perte d'information. Par exemple, ouvert du 15 juin au 30 juillet, tous les jours. Si tous les jours n'est pas repéré aucune information n'est perdue car, sans cette précision supplémentaire, l'interprétation est que, pour la période donnée, l'offre touristique est ouverte tous les jours. Il en est de même pour un traitement automatique : sans autre précision, un intervalle donné sous forme de date de début et date de fin est interprété comme comprenant tous les jours de la période.

c. Expressions repérées partiellement avec perte d'information

Cette catégorie comprend le deuxième type d'expressions repérées partiellement. Contrairement aux expressions de la catégorie précédente, la partie non repérée nuit cette fois à la compréhension globale ou entraîne une perte d'information. Par exemple, ouvert du

15 juin au 30 juillet, les mardi et vendredi : ici, si les mardi et vendredi n'est pas repéré alors la perte

d'information est évidente puisqu'une interprétation en « ouvert tous les jours » serait erronée.

d. Expressions manquées

Les expressions manquées sont celles qui auraient dû être repérées par Adetoa mais ne l'ont pas été. Il s'agit toujours d'informations pratiques (temporelles ou de localisation). Les expressions qui sont dans cette catégorie sont celles qui n'ont pas été repérées du tout, sinon elles seraient dans l'une des catégories précédentes.

e. Expressions repérées à tort

Les expressions repérées à tort peuvent être des expressions temporelles ou de localisation mais qui ne sont pas des informations pratiques. Par exemple des dates historiques, la date de modification du site, le nom des villes voisines. Pour trancher, l'évaluateur doit donc se demander si l'information lui permettra d'accéder plus facilement à l'objet touristique dont il

est question.

Les expressions qui entrent dans cette catégorie constituent des « faux positifs » faussant les calculs de rappel et précision. La mesure du « fallout » décrite dans la catégorie suivante permet de mesurer la résistance du système face aux faux positifs.

f. Expressions non pertinentes

La catégorie des expressions non pertinentes est moins classique dans les mesures d'évaluation ; elle comprend les informations non repérées à raison. Toutefois, il est difficile de caractériser précisément les expressions non pertinentes, c'est-à-dire « les expressions qui auraient pu être repérées à tort » et j'ai donc choisi de ne considérer pour cela que les expressions temporelles : dates historiques, dates de modification du site, heure actuelle, etc. Ces expressions, si elles avaient été repérées, auraient constitué des faux positifs. Le rapport entre les expressions repérées à tort et l'ensemble des expressions non pertinentes (repérées ou non) est parfois appelé « fallout » [Freitag 1998], que l'on peut traduire par « retombées » ou « répercussions ». Je ne vais utiliser cette mesure que sur le périmètre restreint des expressions temporelles.

Ces critères d'évaluation permettent donc de catégoriser les résultats de façon chiffrée et de faire des calculs de rappel et précision. Toutefois, ces mesures, si elles ont l'avantage d'être souvent utilisées et donc d'être familières à la communauté, ne reflètent pas toutes les facettes du système. Ainsi, étudier plus précisément les repérages partiels et les repérages fautifs permet de caractériser la nature des erreurs et éventuellement de classer ces erreurs selon une échelle de gravité. Ainsi, une expression manquée car elle comporte des fautes d'orthographe et n'est donc pas repérée par le système est-elle aussi grave qu'une expression manquée car son type n'a pas été prévu ? Une telle étude menée de manière exhaustive sur l'ensemble du corpus est très coûteuse en temps. Sans mettre réellement au point cette échelle de jugement selon le type d'erreur, je présente tout de même, dans ce chapitre, un inventaire des erreurs les plus fréquentes.

Les tableaux suivants permettent de récapituler les catégories dans lesquelles doivent être classées les expressions comprises dans les pages. Rappelons-le, il s'agit de compter, dans chaque page Web, les expressions correspondant à chacune des catégories présentées. Il faut à la fois évaluer ce qui a été repéré (tableau 2 – le texte en caractères gras correspond à ce qui a été repéré) et ce qui ne l'est pas – pour une bonne ou mauvaise raison (tableau 3).

Chapitre 7 - Expérimentation et Évaluation

Catégorie Caractéristiques Exemple

Repérées

complètement Toute l'expression est repérée, elle ne continue pas en dehors de la balise encadrante.

L'hôtel est ouvert toute l'année. Il se trouve près d'un lac

Repérées partiellement sans perte

Une partie de l'expression n'est pas repérée, mais cela n'entraîne pas de perte

d'information.

ouvert du 1er au 15 août, tous les jours.

Repérées partiellement avec perte

Une partie de l'expression n'est pas repérée, et

cela entraîne une perte d'information. Ouvert du 1er au 15 août et du 2 au 7 septembre

À tort

L'expression n'aurait pas dû être repérée car elle ne constitue pas une information temporelle pratique ou ne concerne pas la localisation du lieu touristique dont il est question.

En mai 1968

Tableau 2 : Classification des expressions repérées

Catégorie Caractéristiques Exemple

Manquées Expression à repérer (donc information temporelle pratique ou adresse d'un objet touristique) mais qui n'a pas été repérée par Adetoa.

Les vendredis matin

Non pertinentes (temporelles)

Informations temporelles mais qui ne sont pas des informations pratiques touristiques et qui ne doivent pas être repérées. Date de

modification du site, heure actuelle, date historique...

Ouvert depuis 1987

Tableau 3 : Classification des expressions non repérées