Propositions d’expériences complémentaires

8.6. Propositions d’expériences complémentaires

L’expérimentation décrite ci-dessus nous a permis de dégager une première série de résultats, tant du point de vue de l’apport du modèle de connaissances sur la lecture du produit annoté que du point de vue de l’utilisabilité de l’environnement Matrics. Il reste cependant un certain nombre de questions qui restent sans réponse et qui pourraient être éclairées par des expériences complémentaires. Nous faisons ci-dessous des propositions pour cela.

8.6.1. Tests sur le cycle de vie complet des annotations.

Comme nous l’avons précisé au début de ce chapitre, nous nous sommes intéressés à la lecture du produit annoté, nous limitant ainsi à une partie du cycle de vie de l’annotation. Or, de nombreux aspects de l’utilisation d’annotations pour le design collaboratif n’ont pas été pris en compte : l’écriture et l’indexation de l’annotation, l’influence sur le processus collaboratif, etc. D’autre part, le phénomène décrit dans la partie 8.4.5 laisse à penser que l’intégration de l’ontologie dans l’environnement influence la démarche des utilisateurs.

Afin d’étudier plus en détail ces aspects, il serait intéressant de faire utiliser l’environnement Matrics dans le cadre d’un projet complet, impliquant plusieurs types d’utilisateurs (ayant des rôles différents dans le projet). Nous regarderons en particulier les aspects suivants :

• La « créativité » des utilisateurs : les résultats présentés dans la partie 8.4.5 mettent en avant une ambiguïté sur l’influence de l’intégration de l’ontologie : est-ce que l’ontologie a un apport bénéfique en suggérant aux utilisateur de se référer à des concepts auxquels ils n’auraient pas forcément pensé ? Inversement, la présence de l’ontologie limiterait-elle la créativité des utilisateurs en leur donnant un cadre sur lequel ils se « reposent » sans essayer d’en sortir ?

• La quantité d’information pouvant être gérée par les utilisateurs : l’une des motivations de l’ajout de l’ontologie dans l’environnement Matrics a été de permettre aux utilisateurs de mieux gérer un grand nombre d’informations. L’expérimentation que nous avons réalisée laisse penser que la présence de l’ontologie apporte un bénéfice sur un grand nombre d’annotations pour la lecture du modèle annoté. Nous devons cependant voir si ceci est vrai pour le cycle complet de l’annotation (écriture, gestion et utilisation pour le projet de conception).

• L’utilisation effective de l’environnement : pour l’expérimentation que nous avons réalisée, l’utilisation de Matrics était obligatoire pour pouvoir répondre au questionnaire. Dans des situations réelles, l’utilisation du logiciel n’est pas obligatoire. Nous souhaiterions donc savoir si l’intégration de l’ontologie

!

permettrait aux utilisateurs d’utiliser effectivement un environnement d’annotation 3D.

8.6.2. Affichage des annotations filtrées dans l’environnement 3D

Dans la version actuelle de l’environnement Matrics, il est possible d’utiliser deux visualisations des annotations filtrées : la première basée sur la couche alpha uniquement, et la deuxième basée sur la couche alpha + la couleur. Nous avons remarqué par l’observation directe des utilisateurs qu’ils avaient nettement plus tendance à utiliser la visualisation basée sur la couche alpha + couleur. Cela montre que les différentes visualisations ne sont pas équivalentes comme nous l’avions pressenti dans la partie 6.4.4.2. ) et que, dans le cadre des tâches que nous les utilisateurs avaient à réaliser, l’utilisation de la visualisation couleur + couche alpha était plus efficace que l’utilisation de la couche alpha seul.

Il existe cependant, comme nous l’avons vu dans le chapitre consacré à l’exploitation du modèle de connaissances, de nombreuses manières de visualiser les entités du monde 3D, et ces visualisations peuvent être combinées entre elles. Il serait donc intéressant de mettre en place une expérience permettant de les comparer.

D’autre part, il n’est pas prouvé que la détermination de la visualisation la plus adaptée soit indépendante de la situation sur laquelle on travaille. Il faudrait donc proposer plusieurs tâches (par exemple : découverte du modèle annoté, visualisation du modèle selon un point de vue métier spécifique, écriture d’annotation) pour vérifier si la visualisation optimale dépend de la tâche à réaliser.

8.7. Conclusion

Nous avons vu dans ce chapitre une expérimentation sur l’influence de l’utilisation du modèle de connaissances sur la manipulation du produit annoté, et plus particulièrement sur l’activité de lecture de celui-ci. Les résultats que nous avons obtenus sont encourageants : on note que les utilisateurs utilisant le modèle de connaissances donnent plus souvent des réponses justes, et avec un degré de confiance plus élevé.

Cette expérimentation a cependant un certain nombre de limitations, à commencer par le petit nombre (15 personnes) de sujets y ayant participé. Les résultats que nous avons obtenus représentent donc un indicateur, mais ne sauraient en aucun cas avoir une valeur statistique. D’autre part, les personnes ayant participé à l’expérimentation sont des étudiants en conception, et ceux-ci n’ont pas les mêmes connaissances et méthodes d’opération que des utilisateurs professionnels. Il serait donc intéressant de réaliser des expériences avec des designers et ingénieurs professionnels, éventuellement sur des projets complets.

Enfin, nous tenons à souligner que l’objectif de cette expérience reste modeste : le temps nous ayant manqué pour réaliser de plus larges expériences, nous nous sommes concentrés sur

!

l’activité de lecture, par un utilisateur unique, des annotations sur le modèle. De nombreux autres aspects, tels que la lecture par plusieurs utilisateurs de ces annotations, la communication entre les utilisateurs par le biais des annotations (revue de projet collaborative sur le produit), ou encore l’utilisation de notre environnement sur des systèmes immersifs devraient être évalués.

Bien que l’utilité de l’environnement Matrics ait été mise en évidence, nous avons aussi soulevé avec cette expérimentation plusieurs problèmes d’utilisabilité (navigation dans l’ontologie, organisation de l’interface 2D …). Il est donc nécessaire de prendre en compte ce résultat et de tester dans les prochaines versions de l’environnement Matrics les propositions faites dans ce chapitre.

!