Les questionnaires d’utilisabilité subjective

Les questionnaires d’utilisabilité, parfois appelés questionnaires de satisfaction, ont connu un fort développement à partir des années quatre-vingt. A cette époque, des auteurs tels que Bailey et Pearson (1983) suggèrent que l’utilisation de systèmes informatiques est directement liée à la satisfaction que peuvent ressentir les utilisateurs au contact de ces produits. De nombreux questionnaires dits de satisfaction vont alors se développer en parallèle de l’émergence progressive des différentes dimensions de l’utilisabilité, lesquelles se trouvent aujourd’hui rassemblées et définies dans le cadre de la norme ISO 9241-11 (1998). L’utilisabilité y est définie comme « le

degré auquel un produit peut être utilisé par des utilisateurs spécifiques pour accomplir des buts spécifiques avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifique »

[notre traduction]. Cette norme propose une représentation graphique des composantes principales supposées de l’utilisabilité, à savoir l’efficacité, l’efficience et la satisfaction.

Figure 7 - Les dimensions de l’utilisabilité telle qu’elle est définie par la norme ISO 9241 – 11 (1998).

La norme ISO 9241-11 (1998) propose une définition de chacune des composantes de l’utilisabilité. Ainsi, l’efficacité renvoie à l’achèvement des tâches et à l’exactitude avec laquelle les

utilisateurs ont pu réaliser les buts et sous-buts fixés. L’efficacité constitue un indicateur du niveau d’utilisabilité d’un produit en se focalisant sur le résultat de l’interaction. L’exactitude correspond à la qualité du résultat obtenu (on peut l’évaluer par exemple en s’intéressant au nombre d’erreurs), alors que l’achèvement renvoie plutôt à l’aspect quantitatif du travail (à quel point l’utilisateur est-il parvenu à réaliser les différents buts fixés ou bien combien d’utilisateurs sont parvenus à réaliser la totalité des buts fixés ?). L’efficience, seconde composante de l’utilisabilité, constitue également un indicateur du niveau d’utilisabilité d’un produit. Elle se focalise sur des aspects de l’interaction liés à l’effort humain, au temps passé pour réaliser les buts et aux coûts engagés par la réalisation de buts spécifiques avec un système donné. Concernant la notion d’effort humain, il s’agit plutôt, selon cette norme, de s’intéresser à l’effort mental autrement qualifié de charge de travail mental. Des mesures d’efficience ont été développées par des auteurs tels que Bevan et Macleod (1994). En ce qui concerne la satisfaction, ce concept est défini de manière relativement floue dans le cadre de la norme. Elle ferait référence aux attitudes ainsi qu’au confort relatif à l’utilisation d’un système informatique donné. Les recommandations en termes d’évaluation sont également floues, puisqu’il est suggéré d’utiliser des échelles d’évaluation subjectives, associées éventuellement à des techniques d’enquête et d’observation pour attester, si cela est possible, de l’usage effectif des systèmes. Il est également proposé de relever des commentaires pendant l’interaction avec le système, des postures et/ou des comportements qui s’avèreraient pertinents pour l’évaluation de la satisfaction.

C’est en partie sur la base de cette conception de l’utilisabilité que se sont développés les questionnaires dits de satisfaction. Trois contributions majeures peuvent être repérées. Tout d'abord, Lewis (1995), notamment, a fait un travail important, auprès de la société IBM, concernant ce type d’instruments. Quatre questionnaires ont été développés dans ce contexte. Le PSQ (Printer

Scenario Questionnaire, questionnaire lié au scénario de l’imprimante [notre traduction]), l’ASQ

(After Scenario Questionnaire, questionnaire d’après scénario [notre traduction]), le PSSUQ (Post-

Study System Usability Questionnaire, le questionnaire post-étude d’utilisabilité du système [notre

traduction]) et le CSUQ (Computer System Usability Questionnaire, questionnaire d’utilisabilité du système informatique [notre traduction]). Les questionnaires PSSUQ et CSUQ sont les plus aboutis. La seconde contribution provient des travaux de Kirakowski et collaborateurs (Kirakowski

& Corbett, 1993 ; Kirakowski & Dillon, 1998). Ils sont notamment à l’origine des questionnaires CUSI (Computer User Satisfaction Inventory), SUMI (Software Usability Measurement Inventory) et WAMMI (Website Analysis and MeasureMent Inventory). Le SUMI est parfois décrit comme une méthode standard pour décrire les attitudes (Preece et al., 1994). La norme ISO 9241-11 référence le SUMI comme outil d’évaluation subjective de l’utilisabilité. Toutefois, alors que le CUSI a fait l'objet d'une publication (Kirakowski & Dillon, 1998), le SUMI n’a abouti à aucune publication scientifique. C’est également le cas du WAMMI (Website Analysis and MeasureMent Inventory), généralement présenté comme un produit commercial pour les concepteurs de systèmes technologiques. Enfin, la troisième contribution correspond au développement du questionnaire QUIS (Questionnaire for User Satisfaction) (Chin, Diehl & Norman, 1988). Il en existe plusieurs versions valides, mais la dernière (le QUIS 5.5) a l'avantage d'être disponible en version informatisée.

Tableau 1 - Tableau récapitulatif des différents facteurs constituant les questionnaires d’utilisabilité et de satisfaction.

Nom du questionnaire Facteurs

ASQ Facilité à réaliser une tâche Temps pour réaliser une tâche Pertinence des informations et de l’aide PSSUQ et CSUQ Utilité du système

Qualité de l’information Qualité de l’interface QUIS version 5.0 Apprentissage

Terminologie et flux d’information Messages du système (à l’écran) Caractéristiques du système Réaction globale envers le système QUIS version 5.5 Facteurs apprentissage

Facteurs écran

Terminologie et feedback du système Capacités du système

Réaction globale envers le système WAMMI Attractivité Contrôlabilité Efficience Serviabilité Apprenabilité Utilisabilité globale SUMI Efficience Affects Serviabilité Contrôle Apprenabilité

Tous les questionnaires présentés ici prennent ancrage au sein des conceptions de l’utilisabilité et de la satisfaction décrites dans la norme ISO 9241-11 (1998). Selon ces conceptions, si un utilisateur d’un système a un avis positif concernant le niveau d’utilisabilité d’un produit, alors il sera satisfait. Mais, un bon niveau d’utilisabilité est-il vraiment garant, à lui seul, de la satisfaction utilisateur ? Certains auteurs prennent davantage de précautions en précisant que ce que vise à évaluer ce type de questionnaire est uniquement la satisfaction liée à l’utilisabilité d’un produit technologique.

Le développement de ces questionnaires a soulevé des débats dans la littérature concernant la place et la validité de ce type d'échelles subjectives en ergonomie (voir notamment Annett,

2002a, 2002b ; Baber, 2002 ; Kirakowski, 2002 ; Salvendy, 2002)3_{. Ces débats mettent finalement}

en confrontation les évaluations subjectives et les évaluations objectives. Néanmoins, Annett (2002b) suggère que le fait d'opposer mesures objectives et subjectives ne constitue pas un débat pertinent. Les préoccupations devraient en effet plutôt se porter, selon cet auteur, sur le nombre optimal d'indicateurs à utiliser et sur les associations appropriées entre outils objectifs et subjectifs. Ainsi, outre la conception de la satisfaction, parfois réductrice, que véhiculent ce type de questionnaires, ils ont le mérite d'avoir donné une place aux mesures subjectives en ergonomie et soulevé des questions centrales en matière d'évaluation.

D'autres auteurs, tels qu’Oliver et ses collaborateurs, développent une conception différente de la satisfaction. Leur appréhension de ce construit est différent notamment car ils exercent leurs recherches dans le domaine de la consommation. Cependant, une partie du cadre théorique utilisé par ces chercheurs provient de la psychologie cognitive et expérimentale. Leurs travaux sont d’un apport considérable. Ils ont notamment développé la théorie de la « disconfirmation » des attentes (Oliver, 1980).

3.3 Les études basées sur la théorie de la « disconfirmation » des