Analyses et résultats

À l’aide des données collectées, le fonctionnement et la pertinence des outils de Ginkgo ont été analysés. Nous allons détailler les résultats relatifs aux principales fonctionnalités de l’application : le guide et les ressources, le moteur de recherche sémantique et les tweets collectés.

Guide et ressources

Les traces collectées lors de l’accès aux documents de la plateforme donnent une première idée de l’intérêt porté aux différents types de documents (Tableau 4.8). Les cartes sont les documents les plus consultés, avec 32,7 consultations en moyenne, juste devant les pages de guide, 31,8 consultations. Les « outils » semblent également attirer beaucoup de visites, 31 en moyenne, alors même qu’ils ne sont pas implémentés dans le démonstrateur mais affichent simplement une notice d’indisponibilité. Les liens web, en revanche, sont très peu consultés.

Type Nombre de documents Nombre de consultations Moyenne par document Carte 7 229 32,7 Page de guide 13 413 31,8 Outil 3 93 31 Lien web 7 8 1,1

Tableau 4.8 – Consultations par type de ressource

Cependant, au regard de la répartition des documents dans le guide (Tableau 4.9), cette forte différence de consultation entre les liens et les autres ressources semble moins causée par le type de ces documents que par leur accessibilité via le guide. En effet les ressources les moins consultées comprennent les liens web, mais aussi une page de guide (« Unités de mesure de la radioactivité ») qui partage avec eux la particularité de n’être intégrée dans aucun scénario, et de n’être donc accessible qu’à travers le moteur de recherche ou les suggestions de lecture. À l’inverse, les ressources les plus consultées apparaissant dans plusieurs scénarios, comme le guide « Valeurs de comparaison » (3 scénarios) ou les cartes « Contamination de l’environnement » et « Centres d’information » (respectivement 2 et 5 scénarios).

Ces données indiquent que le guide, plus que la recherche ou les suggestions de lecture, constitue la voie d’accès principale aux documents. L’observation des traces confirme également qu’une part importante des utilisateurs a eu recours à une lecture

Ressource Nombre de consultations

Scénarios liés

Guide : Valeurs de comparaison 80 3, 4, 5

Carte : Contamination de l’environnement 74 1, 9

Carte : Centres d’information 52 1, 6, 7, 8, 9

Guide : Contamination de l’environnement 48 1

Outil : Communication locale 46 3sub, 7, 9

Guide : Évolution de la contamination 39 1

Guide : Niveaux de références 37 3, 4

Guide : Contre-mesures 36 7

Guide : Effets des radiations sur la santé 36 6

Outil : Calcul des doses d’irradiation interne 35 4

Carte : Centres de mesure de aliments 33 4

Guide : Utiliser un dosimètre 30 3sub

Guide : Utiliser un radiamètre 30 3sub

Guide : Quitter la zone contaminée 25 9

Carte : Stations de mesure 25 3sub

Guide : Irradiation interne et interne 24 2

Carte : Centre de mesure du corps 21 5

Guide : Programmes de veille sanitaire 18 6

Carte : Cabinets médicaux 15 6

Outil : Calcul des doses d’irradiation externe 12 3

Guide : Gestion des déchets 9 8

Carte : Stockage des déchets 9 8

Lien : Enfants et accidents nucléaires. Bilan 5

Guide : Unités de mesure de la radioactivité 1

Lien : Les conséquences de Tchernobyl pour l’homme et l’environnement

1

Lien : L’essentiel sur la radioprotection 1

Lien : La catastrophe nucléaire de Fukushima, trois ans après

1

Tableau 4.9 – Ressources : consultation et présence dans les scénarios

séquentielle de larges portions du guide, notamment les premiers scénarios. Cette uti- lisation explique également le nombre élevé de consultations des ressources associées à ces scénarios.

Nous nous sommes ensuite intéressés au degré de concordance entre les tâches de recherche d’information attribuées aux participants et les documents qu’ils ont consul- tés sur la plateforme. Dans ce but, pour quelques-unes des questions du questionnaire

post-test55_{, un ou plusieurs documents, dont la lecture peut être considérée comme es-}

sentielle pour répondre à la question, ont été sélectionnés. Nous avons ensuite examiné les traces d’usage de chaque utilisateur afin de déterminer quelle proportion des docu- ments requis ont réellement été consultés (Tableau 4.10). Nous constatons que, dans la plupart des cas, les utilisateurs ont pu accéder aux documents relatifs à leurs tâches. Ces résultats suggèrent que l’utilisabilité des modèles d’organisation de connaissances et de leur présentation dans l’application web est globalement suffisante pour permettre aux participants d’accéder aux informations recherchées.

Question Documents requis Consultation

Quels sont les risques sani- taires liés à la vie dans un ter- ritoire contaminé ?

Guide : effets sanitaires 86%

Quelles sont les infrastructures d’assistance les plus proches de chez vous / de votre lieu d’instal- lation ?

Carte : centres d’information Carte : centres de mesure des ali- ments

Carte : centres de mesure du corps

79%

Comment pouvez-vous mesu- rer le niveau de radiation dans votre environnement ?

Guide : utiliser un dosimètre

Guide : utiliser un radiamètre 83%

Comment pouvez-vous réduire les

risques liés aux radiations ? Guide : contre-mesures 94%

Comment pouvez-vous connaître l’impact que les radiations ont déjà eu sur votre corps ?

Guide : irradiation interne et in- terne

Carte : centres de mesure du corps

82% Comment pouvez-vous mesurer le

niveau de contamination des pro- duits de votre jardin ? / Comment pouvez-vous mesurer le niveau de contamination de vos aliments ?

Carte : centres de mesure des

aliments 93%

Tableau 4.10 – Niveau de consultation des ressources relatives à certaines questions Les réponses apportées à deux de ces questions (en gras dans le Tableau 4.10) ont été analysées plus en détail. Pour cela, le taux d’occurrence d’un certain nombre de termes issus des pages de guide a été analysé (Tableau 4.11). Ces termes ont été choi- sis car ils relèvent d’un vocabulaire technique (e.g. « nécrose », « débitmètre ») ou parce que leur association au risque radiologique n’est que peu connue du grand public (« cataracte »). L’utilisation fréquente de ces termes dans les réponses au question-

55. Nous avons choisi des questions communes à tous ou un grand nombre des personas, de manière à traiter un plus grand nombre de traces

naire confirme que les participants ont bien exploité les pages de guide pour répondre (Tableau 4.11). Par ailleurs, on peut noter une certaine exhaustivité dans les réponses fournies : à la question « Comment pouvez-vous mesurer le niveau de radiation dans votre environnement ? », 78% des répondants ont mentionné à la fois « dosimètre » (ou « débitmètre ») et « radiamètre » (ou « radiomètre »). De même, la majorité des participants ont listé plusieurs types de risques en réponse à la question « Quels sont les risques sanitaires liés à la vie dans un territoire contaminé ? ».

Question Terme Occurrence

Quels sont les risques sanitaires liés à la vie dans un territoire contaminé ? « cancer » 55% « leucémie » 36% « cataracte » 27% « brûlure » 27% « nécrose » 23%

Comment pouvez-vous mesurer le niveau de radiation dans votre environnement ?

« radiamètre » 72%

« dosimètre » 67%

« débitmètre » 17%

« radiomètre » 11%

Tableau 4.11 – Occurrence de termes dans les réponses des participants

Moteur de recherche sémantique

Au cours de l’évaluation, les participants ont effectué 27 requêtes à l’aide du mo- teur de recherche. Parmi ces requêtes, 13 n’ont pas abouti : le moteur de recherche n’a pu y associer aucun concept et donc aucun résultat n’a été affiché. Il s’agissait dans certain cas de requêtes ne contenant qu’un terme trop erroné pour être automatique- ment associé à un concept (e.g. « radiemètr », « radiologiqued »). Dans d’autre cas, cependant, il s’agissait de mots pourtant simples (e.g. « risque », « grossesse ») voire de termes utilisés dans les énoncés du questionnaire (e.g. « assistance », « sanitaire ») mais n’ayant pas été intégrés dans le thésaurus.

Les recherches ayant abouti se concentrent sur un nombre restreint de concepts (Tableau 4.12). Par ailleurs, la grande majorité des requêtes n’ont été associées qu’à un seul concept. On constate donc que, même pour les requêtes ayant abouti, les lacunes du thésaurus n’ont permis qu’une annotation limitée. L’efficacité du moteur de recherche sémantique dépendant notamment de sa capacité à identifier l’ensemble des concepts évoqués dans les requêtes, ce défaut d’annotation est susceptible d’affecter la pertinence des résultats.

Concept Nombre d’occurrences Bébé 5 Jardin 4 Radiamètre 2 Enfant 1 Dose 1 Effets sanitaires 1 Nourriture 1

Contamination des aliments 1

Centre d’information 1

Champignon 1

Déchets 1

Tableau 4.12 – Concepts associés aux requêtes réalisées sur le moteur de recherche sémantique durant l’évaluation

Les recherches ont été effectuées par un petit nombre de participants à l’évalua- tion (N=9 sur 22). Plusieurs d’entre-eux ont abandonné après une seule requête infruc- tueuse. En examinant les traces de chaque utilisateur, nous avons identifié les recherches (N=10 sur 14 requêtes ayant retourné des résultats) ayant abouti à la consultation d’un document fourni parmi les résultats (Tableau 4.13). On constate que les documents consultés ont systématiquement une forte proximité sémantique avec les termes de la requête (e.g. le lien « Enfants et accidents nucléaires. Bilan » pour la requête « bébé »). Malgré les limites du thésaurus, il semblerait que le moteur de recherche ait permis à des utilisateurs d’accéder aux informations recherchées.

Requête Document Nombre d’occurrences

« bébé » Lien : Enfants et accidents nucléaires. Bilan 2

« aliment » Outil : Calcul des doses d’irradiation interne 1

« centre » Guide : Programmes de veille sanitaire 1

« centre » Carte : Centres d’information 1

« déchet » Guide : Gestion des déchets 1

« enfant » Lien : Enfants et accidents nucléaires. Bilan 1

« jardin » Carte : Centres de mesure des aliments 1

« potager » Carte : Centres de mesure des aliments 1

« risque bébé » Lien : Enfants et accidents nucléaires. Bilan 1

Tweets collectés

Durant l’évaluation, 49 tweets ont été collectés par la plateforme. Leur annotation automatique a été assez inégale (Figure 4.27) : si certains ont reçu plusieurs (jusqu’à huit) concepts, plus de la moitié n’ont pu être associés à aucun concept. La longueur des tweets (généralement une courte phrase), supérieure à celle des requêtes soumises au moteur de recherche (un ou deux mots), semble avoir partiellement compensé les limites du thésaurus. 0 1 2 3 4 5 6 7 8 0 5 10 15 20 25 Nombre de concepts N o m b re d e tw e e ts

Figure 4.27 – Annotation des tweets

Beaucoup de tweets sont à la forme interrogative (31% – e.g. « Avez-vous des infos concernant l’irradiation chez les enfants à naître ou les nouveaux-nés ? Quid de l’irradiation interne par allaitement ? », « Qui reste aux alentours de Sainte-Marie ? Dois-je m’inquiéter du taux de radiation ? ») ou indiquent explicitement la recherche d’informations complémentaires (e.g. « Bonjour, je suis dans le même cas que vous et je m’inquiète également ! Si vous avez des infos prévenez moi »). Les mesures de la radioactivité sont parmi les sujets les plus fréquents dans les tweets (six tweets contiennent des mesures et de nombreux autres les évoquent – e.g. « Ces doses restent acceptables si on en croit les informations trouvées sur internet »). Plusieurs utilisateurs s’interrogent ou remettent en question la fiabilité (ou l’objectivité) des données fournies dans les pages de guide et les cartes de Ginkgo (e.g. « Ma femme et moi avons de sérieux doutes concernant cette carte... Quand a-t-elle été actualisée ? », « Personnellement, je n’y fais pas confiance. »). Par ailleurs, 19 tweets contiennent des mentions d’utilisateurs, utilisées pour répondre à d’autres tweets. La conversation a cependant lieu entre un nombre limité de participants, puisque seuls sept utilisateurs différents sont mentionnés. Parmi les 49 tweets publiés, 13 contiennent des liens : cinq pointent vers des docu- ments de Ginkgo, et une sixième vers un des liens web inclus dans l’application. Les

autres liens pointent vers des articles de presse, une page de l’encyclopédie Wikipedia, des images (une capture d’écran d’une carte de Ginkgo, et une autre d’une page Wiki- pedia), et une vidéo Youtube. Ces liens externes sont généralement présentés dans les tweets comme des sources d’informations complémentaires à l’application (e.g. « J’ai trouvé cet article, je n’ai pas trouvé plus clair ! Cependant cela reste de Wikipédia ! », « Ces doses restent acceptables si on en croit les informations trouvées sur internet »).