Protocole expérimental

8.3.1. Conditions de réalisation Utilisateurs :

Les utilisateurs qui ont participé à l’expérimentation étaient des étudiants de l’UTC, faisant partie soit de la branche Génie Mécanique, soit de la branche Génie des Systèmes Mécaniques, ayant une expérience scolaire et/ou professionnelle en conception et partageant un profil de connaissances relativement homogène dans les domaines concernés. Ces utilisateurs, au nombre de 15 ont été séparés en deux groupes : le groupe K (11 étudiants) et le groupe ¬K (« non-K », 4 étudiants). Comme les noms le suggèrent, le groupe K est celui qui disposera du modèle de connaissances (K pour Knowledge), et le groupe ¬K est celui qui ne dispose pas du modèle de connaissances. La différence de taille entre les deux groupes s’explique par une volonté de disposer de suffisamment de données sur l’utilisation du modèle de connaissances.

Le nombre d’étudiants ayant participé à cette expérimentation est assez faible, et les données que nous obtiendrons de cette expérimentation n’auront pas de valeur statistique. Nous aurons cependant une indication globale sur la différence entre les deux groupes.

Dispositif logiciel et matériel :

Les utilisateurs avaient à disposition un PC portable sur lequel était installé l’ensemble des composants de l’environnement Matrics. Les utilisateurs du groupe K disposaient de la version complète de l’environnement Matrics, alors que les utilisateurs du groupe ¬K disposaient d’une version dépourvue des fonctions d’accès au modèle de connaissances : liste des concepts liés dans l’éditeur d’annotation, liste des concepts liés au produit, concept browser …

Groupe K Groupe ¬K

Figure 82 : l’éditeur d’annotation pour les utilisateurs du groupe K (à gauche) et ¬K (à droite), on note la disparition des outils de gestion des concepts liés à droite de l’écran.

D’un point de vue de la configuration matérielle, les utilisateurs travaillaient avec l’environnement Matrics dans une configuration de type « PC de bureau – bi-monitoring ».

Produits annotés :

Les projets de produits annotés dont disposaient les utilisateurs étaient au nombre de trois :

• ATTELAGE : Un projet de création d’attelage à destination du grand public, annoté avec la méthode ADEX [Guénand & Dandault 04].

• ATTELAGE+ : Ce même projet de création d’attelage, mais sur lequel ont été rajoutées des annotations. Nous souhaitons tester avec ce projet l’influence d’un changement du nombre d’annotations sur l’activité de lecture du produit annoté.

• EXOTIQUE : sur ce projet, le produit annoté est un support pour circuit imprimé. Le produit a été choisi tel que l’utilisateur, à première vue, ne puisse pas comprendre à quoi sert l’objet (voir la Figure 83 ci-dessous). Sur ce modèle, des annotations expliquant les diverses fonctionnalités de l’objet, et d’autres annotations portent sur les aspects divers du produit (production, choix des matériaux …). Ce produit a été rajouté pour tester des conditions dans lesquelles l’utilité de l’objet annoté n’est pas évidente, et donc où l’utilisateur devra se baser uniquement sur les annotations pour comprendre le produit.

ATTELAGE ATTELAGE+

EXOTIQUE

Figure 83 : les deux produits utilisés pour les expérimentations.

Pour chaque projet, les annotations sont liées aux concepts auxquels elles font référence dans l’ontologie Matrics. Les utilisateurs n’ont jamais vu les annotations ni les produits en question avant l’expérimentation.

Déroulement temporel de l’expérimentation :

L’expérimentation se déroule globalement en trois étapes : une phase de découverte de l’environnement Matrics, les exercices, et une phase de réponse à un questionnaire.

Dans la phase de découverte, les observateurs remettent aux utilisateurs une documentation présentant l’environnement Matrics et la manière de l’utiliser. Les utilisateurs disposent du temps qu’ils souhaitent pour lire ce document.

Une fois cette phase terminée, les observateurs donnent aux utilisateurs la feuille d’exercices à réaliser (cette feuille se trouve en annexe 2). Les utilisateurs s’installent au poste de travail, et commencent les exercices. Les exercices impliquent pour la plus grande part des activités de lecture du produit annoté, et de recherche d’informations pertinentes. Pour chaque réponse donnée, les utilisateurs précisent le degré de certitude qu’ils ont pour cette réponse³⁰.

Une fois les exercices terminés, les utilisateurs répondent alors, sans accès au poste de travail, à un questionnaire sur leurs impressions générales sur l’environnement Matrics.

30 La certitude pour la réponse est donnée par un système de croix : - ‘+’ : peu sûr

- ‘++’ : assez sûr - ‘+++’ : certain

Tâches à réaliser :

Les tâches demandées aux utilisateurs sont les suivantes (la liste suivante est extraite et adaptée de la feuille d’exercices à réaliser, l’intitulé exact des questions est disponible en annexe 2) :

1. Montrer l’annotation mettant en avant le fait que l’attelage doit être perçu comme fiable.

2. Dresser la liste de tous les matériaux utilisés pour la réalisation de l’attelage. 3. Expliquer le choix des couleurs sur ce produit.

4. Trouver toutes les annotations qui parlent des poignées de l’attelage. 5. Expliquer comment sont pris en compte les aspects de sécurité du passager. 6. Décrire la méthode ADEX.

7. Expliciter le lien entre les annotations « Référence à la nature », « Mythique de l’objet » et « Rapport à l’historique des objets ».

8. Créer une annotation (placement + titre + texte + image) et la relier de manière pertinente au modèle de connaissances.

9. Trouver des arguments qui font que cet objet est sympathique et abordable. 10.Expliquer de manière simple et précise l’utilisation de l’objet modélisé. 11.Rechercher l’annotation qui définit les dimensions globales du produit. 12.Lister toutes les annotations relatives au confort.

Aide de la part des observateurs :

Les observateurs aident les étudiants en leur présentant Matrics en début d’expérimentation, en répondant aux questions des utilisateurs sur cet environnement au cours de l’expérimentation, et en leur rappelant comment accéder à certaines fonctions. D’autre part, ils interviennent au cours de l’expérimentation pour changer le produit annoté dans l’environnement Matrics.

Aucune aide, en revanche, n’est fournie pour répondre directement aux problèmes posés dans le questionnaire.

Figure 84 : photo prise au cours d’une expérimentation. L’utilisateur (à l’arrière plan) manipule Matrics en configuration bi-monitoring. L’observateur (au premier plan) note le comportement et les remarques de l’utilisateur.

8.3.2. Collecte des résultats

Les éléments sur lesquels nous nous sommes basés pour la collecte des résultats sont de trois ordres : des mesures quantitatives, les traces laissées par les utilisateurs, et des observations directes.

• Les mesures quantitatives qui concernent principalement le temps nécessaire pour réaliser la tâche, le nombre de clics effectués et le rapport du temps passé entre le Deck 2D et l’environnement 3D.

• Les traces laissées par les utilisateurs sont :

o Les réponses données par les utilisateurs aux exercices. Pour ces observables, on note le fait qu’une réponse soit juste, complète (i.e. que certains éléments de réponse n’aient pas été oubliés), et, pour les réponses demandant une argumentation, la qualité de l’argumentation.

o Les réponses des utilisateurs au questionnaire, qui donnent une idée de la perception qu’ils ont de l’environnement Matrics.

o La trace informatique de l’utilisation du logiciel. Cette trace informatique comprend le parcours qu’a effectué l’utilisateur dans le Deck 2D, les mots-clés qu’il a saisi pour ses recherches dans le modèle de connaissances, ainsi que les annotations qu’il a consultées.

• Nous avons aussi effectué une observation directe des étudiants au cours de la tâche. Cette observation est exploratoire, dans le sens où nous avons noté tous les éléments nous paraissant pertinents. Nous avons cependant plus particulièrement porté notre attention sur :

o La méthode utilisée pour résoudre le problème : utilisation du modèle de connaissances, navigation autour du modèle 3D, etc.

o Les problèmes que pouvaient rencontrer les utilisateurs dans la réalisation des tâches qui leur étaient demandées.