Déroulement de l’étude

Tous les sujets prennent part, individuellement, à une seule séance expérimentale, qui se déroule en trois phases. En début de séance le but de la recherche leur est expliqué et une consigne écrite leur est donnée, laquelle présente la tâche à effectuer, voir l’Encadré 5.

Dans un premier temps il vous a été demandé de lire en intégralité le document Liste de critères ergonomiques pour les Environnements Virtuels. Ce document présente 20 critères qui sont censés représenter l’ensemble des problèmes ergonomiques pouvant être rencontrés dans une application 3D.

Ensuite, l’expérimentateur va vous présenter 40 lacunes ergonomiques pouvant être rencontrées dans des Environnements Virtuels et applications 3D.

Il vous est demandé d’affecter chaque lacune à l’aide d’un critère du document Liste de critères ergonomiques pour les Environnements Virtuels.

Vous devrez dire à l’expérimentateur dans quel critère vous affectez chaque problème.

Une fois les 40 problèmes affectés, l’expérimentateur vous rappellera dans quel critère vous avez affecté chaque problème, il vous proposera de confirmer cette affectation ou si vous le désirez vous pourrez modifier cette affectation.

Encadré 5: Consigne expérimentale de la tâche d'affectation

Comme l’indique la consigne, au cours de la première phase, les sujets sont invités à lire en intégralité le document présentant les C.E. L’expérimentateur demande aux sujets de lire attentivement le document et les informe qu’ils pourront néanmoins s’y référer pour effectuer la deuxième partie de la recherche.

Puis, on procède à la phase d’affectation des problèmes aux critères. La présentation des problèmes s’effectue suivant un ordre aléatoire spécifique

à chaque sujet. L’expérimentateur présente un à un les problèmes aux sujets et le cas échéant les vidéos illustratives. Ces derniers doivent choisir, à l’aide du document, le critère élémentaire auquel se rapporte l’énoncé du problème. En d’autres termes, les sujets doivent indiquer le critère ergonomique élémentaire qui n’a pas été pris en compte lors de la conception de l’EV, entraînant l’erreur présentée. Les participants ne doivent indiquer qu’un seul critère élémentaire. Si en dépit de la consigne certains sujets identifient plus d’un critère, l’expérimentateur leur demande d’indiquer celui qui leur semble le plus important. Une fois le critère identifié, l’expérimentateur reprend la fiche et présente le problème suivant.

Enfin, on procède à la phase de confirmation ou de modification de la première affectation. L’expérimentateur présente à nouveau un à un les problèmes, dans le même ordre que lors de la phase précédente. L’expérimentateur demande aux participants de confirmer ou de modifier l’affectation qu’ils ont précédemment effectuée. En d’autres termes, les sujets ont la possibilité de revenir sur chaque problème et d’effectuer les modifications d’affectations qu’ils souhaitent après avoir pris connaissance de l’ensemble des problèmes présentés. Les sujets doivent alors confirmer leur affectation ou le cas échéant, indiquer un autre critère élémentaire qui se rapporte mieux à l’énoncé du problème. Aucune contrainte de temps n’est imposée pour réaliser l’ensemble de l’expérience.

Lorsque le sujet a effectué ces trois phases, l’expérimentateur lui pose les questions de l’Encadré 6 lors d’un entretien semi-directif :

- Avez-vous rencontré des problèmes de compréhension lors de la lecture du document « Liste de critères ergonomiques pour les Environnements Virtuels » ? - Y a-t-il, selon vous, des critères qui sont redondants avec d’autres critères ?

- Avez-vous rencontré des difficultés pour identifier certains problèmes qui vous ont été présentés ?

- Le document « Liste de critères ergonomiques pour les Environnements Virtuels » vous serait-il utile pour effectuer l’inspection ergonomique d’un EV ?

Encadré 6: Grille de l'entretien post-expérimental

L’objectif de cet entretien semi-directif est de recueillir des données qualitatives sur le déroulement de l’expérience et sur la structure du

l’objet de relances, de la part de l’expérimentateur, en vue d’approfondir les thèmes développés.

3.4. Recueil et traitement des données.

Deux types de données sont recueillis tout au long de l’expérience. Il s’agit du temps d’exécution de la tâche et des réponses des participants, i.e. les critères élémentaires qu’ils identifient à chacun des énoncés lors des deux présentations, ainsi que les thèmes abordés lors des entretiens post-expérimentaux.

3.4.1. Le temps

Les temps consacrés à la lecture des critères et de leur définition, puis la tâche d’affectation et de validation sont chronométrés. La moyenne et l’écart type de ces temps sont calculés.

3.4.2. Scores globaux

Chaque critère élémentaire identifié par les sujets est noté, le traitement des résultats s’effectue uniquement sur les critères identifiés lors de la deuxième passation, c’est-à-dire lorsque les sujets confirment ou modifient leur première affectation25. Les réponses données par les sujets sont ensuite comparées aux critères théoriques, permettant le calcul d’un score global appréciant la proportion d’adéquation par rapport aux critères élémentaires.

Un score global est calculé, mais cette fois-ci à partir de la comparaison des critères principaux, auxquels se réfèrent les critères élémentaires identifiés par les sujets, avec les critères élémentaires théoriques. Ce second score permet d’apprécier la proportion des erreurs relatives aux difficultés de discrimination entre critères principaux.

Bien que les scores globaux donnent une bonne idée de la performance générale des sujets, ils sont peu informatifs sur la nature des erreurs commises et sur les fréquences d’identification correctes et incorrectes des critères élémentaires. Pour combler cette lacune, une matrice de confusions est construite. Cette matrice permet le calcul du coefficient

25

Cependant, tous les choix initiaux, même les critères non élémentaires, sont notés pour analyse ultérieure. D’une manière plus générale l’expérimentation est enregistrée sur vidéo pour permettre des analyses plus fines, par exemple concernant les temps de réponse.

d’accord inter-juge Kappa (K) de Cohen (voir Bakeman et Gottman, 1986) et permet de faire apparaître les confusions entre critères élémentaires. L’indice Kappa est calculé à l’aide de la formule suivante :

K = (P0 – Pc) / (1 – Pc) où :

P0 = La proportion des accords observés. Cette proportion s’obtient en additionnant les fréquences se trouvant sur la diagonale de la matrice de confusion (les accords) et en divisant cette somme par le nombre total d’occurrence.

Pc = La proportion des accords dus au hasard. Elle s’obtient en additionnant les produits croisés des proportions d’accord relatives aux lignes et aux colonnes et en divisant ce nombre par le carré du nombre total d’occurrences pour les matrices concernées.