Dans cette section nous présentons les résultats qualitatifs liés au Thème 3. Ce thème aborde les difficultés que les sujets estiment être liées aux définitions de critères. Les définitions de critères, telles que nous l’entendons, évoquent aussi bien l’organisation hiérarchique des critères, les dimensions couvertes par les critères, ainsi que les zones de recouvrements entre différents critères. Le Thème 3 se subdivise en quatre sous-thèmes, le dernier sous-thème couvre une remarque importante, explicitée par un participant, se rapportant à l’organisation hiérarchique des critères. L’ensemble des sous-thèmes est présenté dans le Tableau 11.
Thème 3.1 : Problèmes de compréhension liés à des critères trop précis.
Quatre participants ont rencontré des difficultés de compréhension par rapport à la subdivision de certains critères. Parmi ceux-ci certains participants ne comprennent pas pourquoi il est nécessaire de subdiviser Brièveté en Actions minimales et Concision ou encore la subdivision de Contrôle utilisateur par rapport à Contrôle explicite. Il en est de même pour la distinction à faire entre Protection contre les erreurs et Correction des erreurs, de la même manière un sujet ne comprend pas véritablement la finalité de la subdivision du critère Guidage.
Thème 3.2 : Problèmes de compréhension liés à la définition du critère Incitation.
Trois participants ont eu des difficultés pour comprendre la définition du critère Incitation. Pour ces participants la définition, tel qu’elle est présentée, comporte 2 notions distinctes à leurs yeux. Premièrement l’Incitation en tant que tel (amener quelqu’un à faire quelque chose, selon leurs propres termes). Deuxièmement, la Localisation de l’utilisateur (un sujet utilise le terme d’awareness) qui renvoie à la « conscience de l’endroit où l’on se trouve », selon leurs termes.
Thème 3.3 : Problèmes de compréhension liés aux recouvrements entre critères.
Deux participants ont éprouvé des difficultés à comprendre la distinction entre les critères Signifiance des codes, dénominations et comportements et Groupement/Distinction par le comportement.
Un participant estime que le critère H o m o g é n é i t é / C o h é r e n c e et le critère de 2ème niveau Groupement/Distinction entre items sont antagonistes.
Un participant estime que les sous-critères, du critère général Guidage, sont très enchevêtrés. Thème 3.4 : Remarques liées à des critères trop généraux.
Un participant trouve que les trois premiers critères sont assez généraux, c’est-à-dire Compatibilité, Lisibilité et Incitation. En somme, il pense que ces trois critères sont à eux seuls une définition de l’ergonomie des interfaces et que, par conséquent, le fait qu’ils soient en tête de liste n’est certainement pas le fait du hasard.
Le Tableau 11 (thème 3.1) nous montre que l’un des principaux problèmes liés aux définitions de critères est associé à la précision des critères. Les participants ne comprennent pas toujours la nécessité de subdiviser certains critères généraux. Cette difficulté peut s’expliquer par le manque de familiarisation avec le document et/ou avec les dimensions des critères élémentaires. Il est donc utile de justifier plus avant la nécessité de subdivisions de certains critères généraux. Cette justification est prise en charge par les amendements issus du chapitre 3.7.
Par ailleurs, des participants ont également évoqué des difficultés de compréhension du critère Incitation. Pour eux, cette définition comporte deux notions différentes, l’une relève véritablement de l’Incitation et l’autre plus de la Localisation de l’utilisateur. Il sera donc nécessaire de préciser ce point lors de la modification de la définition du critère (voir Tableau 5.) Pour répondre à cette difficulté nous pensons qu’il est nécessaire de compléter la dernière phrase de la définition du critère Incitation de la façon suivante :
L’Incitation concerne également les informations permettant aux utilisateurs de savoir où ils en sont, où ils se localisent, d’identifier l’état ou contexte dans lequel ils se trouvent, de même que les outils d’aide à leur accessibilité.
Les participants ont également évoqué un certain nombre de recouvrements entre critères que l’on retrouve effectivement dans la Matrice de confusion. Il est en effet possible de voir au paragraphe 3.7.2.1 le seul cas de confusion réciproque entre le critère Homogénéité/Cohérence et le critère Groupement/Distinction par le format, évoquée ici par un sujet comme une confusion entre le critère H o m o g é n é i t é / C o h é r e n c e et le critère de deuxième niveau Groupement/Distinction entre items. De la même manière l’enchevêtrement, évoqué par un participant, des sous-critères du critère général Guidage, dans le thème 3.1 du Tableau 11, est bien mit en évidence dans le paragraphe 3.7.3 présentant les confusions avec plusieurs autres critères élémentaires appartenant au même critère principal : Guidage. Enfin, la confusion entre le critère Signifiance des codes, dénominations et comportement et le critère Groupement/Distinction par le comportement a également été montrée dans le paragraphe 3.7.4.1.2.
En conclusion, ce thème abordé par les participants lors des entretiens post-expérimentaux recouvre, les résultats issus du traitement des données quantitatives. Il apporte une indication permettant d’expliquer la différence entre les taux de recouvrement entre critères généraux (68%) et critères élémentaires (59,5%). Cette indication est le faible niveau de familiarisation avec le document (seulement une lecture), qui s’exprime à travers une incompréhension des subdivisions de certains critères généraux. Il semblerait qu’une première lecture du document permette aux participants d’acquérir, dans des proportions montrées par l’expérience, les critères généraux. On peut également supposer, et cela relève en partie du bon sens, que l’acquisition de dimensions plus précises telles que les critères élémentaires de niveau 2 ou 3 se fait à travers un apprentissage plus long et une pratique plus poussée de l’activité de classification de lacunes ergonomiques.