METTRE EN PLACE DES ÉVALUATIONS DE LʼEXPÉRIENCE UTILISATEUR

1

METTRE EN PLACE DES ÉVALUATIONS DE L ʼ EXPÉRIENCE UTILISATEUR

Éric Brangier Professeur des universités Université de Lorraine - Metz

Objectifs :

• Cette conférence se centre sur l’évaluation de l’utilisabilité et

– Vise à prendre en compte lʼenjeu de lʼexpérience utilisateur, de manière à rendre les processus informatiques plus

performants.

• se centrer sur les usages actuels ou futurs.

• évaluer les usages,

• écouter les attentes,

• mesurer lʼefficacité des interactions,

• analyser la performance dʼutilisation

• étudier les niveaux de satisfaction,

• identifier les points à améliorer de manière à préserver et garantir un haut niveau de confort dʼusage des SI.

Eric 3 Bran

Éléments de contenu :

• 1. Mise en situation

– Quizz

• 2. Rappel sur UX-Design

– Rappel démarche d’ingénierie UX – Place de l’évaluation

• 3. Les formes de l’évaluation de l’utilisabilité

– Principes

– Panorama des méthodes

• 4. L’évaluation en laboratoire d’usage

– Principes des tests en laboratoire – Synthèse-recommandation

• 5. L’évaluation en situation d’usage

– Principes

– Techniques et méthodes – Synthèse-recommandation

• 6. L’inspection de l’utilisabilité

– Principes

– Exemple de grille d’inspection – Synthèse-recommandation

• 7. Les méthodes participatives et créatives

– Principes

– Techniques utilisées – Synthèse-recommandation

• 8. Conclusion

1.

Exemples de problèmes d’utilisabilité.

- Quizz

- Introduire le débat sur l’évaluation de

l’utilisabilité

5

Où voyez-vous la vitesse ?

Comment prendre l’ascenseur?

7

Quel écran !!! (1)

Quel écran !!! (2)

Eric 9 Bra

L’utilisateur est-il satisfait?

L’utilisateur est-il heureux de la prestation de l’équipe qui

gère le serveur?

11

Que faut-il évaluer?

• « You know it won't work because you form a conceptual model of the device and mentally simulate its operation. »

Donald Norman.

2.

Rappel:

intégration de données sur

l’expérience utilisateur dans le développement de produits &

services

- 21. Démarche d’ingénierie de l’utilisabilité

- 22. Place de l’évaluation…

Démarche d’ingénierie de l’utilisabilité (ou UX)

1

Planifier

2

Analyser 3

Concevoir 4

Tester

Eric 13 Bran

1. Planifier

1 Planifier

2 Analyser 3

Concevoir 4 Tester

Annoncer les formes

d’évaluation (utilité,

utilisabilité, usage)

2. Analyser

Eric 15 Brang

1 Planifier

2 Analyser 3

Concevoir 4 Tester

Évaluation de l’existant

Évaluation de l’utilisateur Évaluation des relations

entre utilisateurs

Évaluation des tâches

Évaluation de scénarios d’usage Évaluation empirique des

utilisateurs futurs probables

Évaluation des critères qui

seront les critères

d’évaluation

3. Concevoir

1 Planifier

2 Analyser 3

Concevoir 4 Tester

Évaluation empirique des critères de satisfaction des

utilisateurs Évaluation des connaissances

utiles à l’utilisateur

Évaluation cognitive

Évaluation de l’utilisabilité des interfaces

Évaluation possible par test

Évaluation par critères

d’accessibilité

4. Tester

Eric 17 Brang

1 Planifier

2 Analyser 3

Concevoir 4 Tester

Évaluation par tests en laboratoire Évaluation par inspection

selon des critères ergonomiques

Évaluation par système

d’enregistrement des

mouvements perceptifs

22. Synthèse « évaluation »

• A plusieurs étapes du processus de conception.

– Pour penser aux besoins de vos utilisateurs à chaque étape du développement, il faut (faudrait):

• Planifier votre projet

• Collecter les données auprès d'utilisateurs

• Développer des prototypes

• Rédaction de contenu

• Tester l'utilisabilité avec les utilisateurs

• Évaluer =

– Porter un jugement sur la valeur

• Finalité =

– Utilité, utilisabilité, usage

• Si les utilisateurs ne trouvent pas votre système utile et utilisable, ils l'utiliseront mal ou jamais.

– Optimisation des coûts (économiques, sociaux, psychologiques)

• Réduire les coûts d'exploitation et de réaménagement en développant un produit adapté

19

Usage des produits= lieu d’innovation

• Adaptation continue des produits aux caractéristiques du marché et apport de nouveaux

services :

• simplification de nos tâches quotidiennes,

• accent mis sur la sécurité,

• la qualité de la prestation,

• nouvelles fonctionnalités…

• Innovation par l’usage

• Analyse ergonomique des usages

• Ergo-marketing

Usages et adaptation

Usage Adaptation

21

Usages et innovation

Usage Reconception

Adaptation

Usage: « fusion » humain-technologie La situation est source d’innovation Configuration dynamique

Adaptation perpétuelle

Intégration de points de vues…

Innovation continue

23

Innovation dans les IHM

en utilisant la boucle d’évaluation des « usages-

adaptations »

Remarque:

Évolution de l’ergonomie

Eric Brangier

3.

Les formes de l’évaluation de utilisabilité :

- 31 Principes méthodologiques pour l’évaluation

- 32 Panorama des méthodes d’évaluation

Se centrer sur l’usage

• Si vous voulez qu’un utilisateur comprenne votre produit, vous devez d’abord comprendre l’utilisateur.

• Comment comprendre le consommateur, le client, l’usager, l’utilisateur

avec les méthodes de l’ergonomie?

27

L’analyse du consommateur et de ses besoins

• Qu’est-ce que vous voulez que votre produit fasse pour l’utilisateur ?

– Impossible de répondre à cette question!

– Voir film : sumsingturbox3000

• La détermination des caractéristiques du

consommateur

3.1 Principes du recueil de données (évaluation)

• Un nouveau logiciel se présente à vous.

– beau, bon marché et remplit les fonctionnalités que vos attendez.

– Mais que représente-t-il à vos yeux? Aux yeux du concepteur?

est-il facile à utiliser ?

• Critères scientifiques :

– Identification des objectifs de l’évaluation ; – Les formes d’évaluation ;

– Les modalités de constitution de l’échantillon ; – La représentativité des situations ;

– Et les méthodes d’évaluation choisies.

• Selon les objectifs, les types utilisateurs, les situations d’utilisation et les méthodes d’évaluation, les résultats d’une évaluation varieront et conduiront à des interprétations qui pourront s’avérer insuffisantes voire erronées.

Auguste Herbin, 1882-1960

« Femme Nue »

29

Les objectifs de l’évaluation

• Dimensions de l’utilisabilité que l’on souhaite évaluer

– « ISO 9241-11 » : un système est utilisable lorsque l’utilisateur peut accomplir sa tâche (efficacité), avec un minimum de ressources pour le faire (efficience) et que le système est estimé agréable à utiliser (satisfaction).

– la facilité d’apprentissage

– la tolérance du système aux erreurs de l’utilisateur.

• Cycle de développement d’un produit

• Type de besoins que le produit doit satisfaire

• Caractéristiques des utilisateurs ciblés par le produit

• Contexte global d’usage du produit

• Contraintes de coûts ou de temps.

Préciser les dimensions de l’utilisabilité à évaluer (1)

• Efficacité

– Examiner si les buts visés par l’utilisateur sont atteints.

– Vérifier la capacité du système à satisfaire les intentions.

• Efficience

– Mesurer les ressources nécessaires pour atteindre les objectifs.

– Quantifier le nombre de fonctions utilisées.

– Comptabiliser le nombre de modes opératoires effectués pour accomplir une tâche donnée.

– Calculer le temps mis par l’utilisateur pour réaliser la tâche.

• Satisfaction

– Apprécier si le système est agréable à utiliser.

– Mesurer le nombre de fois qu’un utilisateur exprime de la frustration ou de la satisfaction.

– Comptabiliser les remarques positives et/ou commentaires négatifs, à travers un questionnaire ou par l’intermédiaire d’un entretien.

– Observer et comptabiliser les attitudes physiques favorables et/ou défavorables de l’utilisateur (gestes, mimiques, signes d’énervement ou d’agacement…).

31

Préciser les dimensions de l’utilisabilité à évaluer (2)

• Facilité d’apprentissage

– Mesurer la capacité du produit à être découvert naturellement.

– Mesurer le temps de latence entre la consigne de l’évaluateur et le début d’une utilisation correcte.

– Compréhension correcte et assimilation rapide du mode de fonctionnement.

• Tolérance aux erreurs

– Comptabiliser le nombre d’erreurs commises par l’utilisateur et le nombre de récupérations.

– Quantifier le nombre de bonnes ou de mauvaises applications mentionnées par l’utilisateur.

– Mesurer les temps nécessaires à la correction des erreurs.

– Évaluer le système d’aide (compréhension de la documentation, facilité d’usage de l’aide informatisée…).

Types d’évaluation

• Moments de l’évaluation

– Évaluer pour prévoir : l’évaluation prospective.

• anticiper les modes d’usages de produits à partir de l’analyse d’une situation donnée de manière à prévoir de nouveaux usages en concevant de nouveaux objets.

– Évaluer pour valider : l’évaluation consécutive.

• confirmer ou infirmer les orientations prises par la conception.

– Évaluer pour améliorer en continu : l’évaluation itérative.

• les processus de conception et d’évaluation sont liés et mutuellement dépendants

• Évaluation et cycle de vie

• lors de la première phase de la conception.

• maquettage ou du prototypage.

• conception définitive (comparaison avec le cahier des charges)

• sur des produits existants à des fins comparatives(concurrence).

• du produit et sa maintenance.

33

Connaître les utilisateurs cibles et les besoins à satisfaire

• Besoins des utilisateurs :

– l’accessibilité physique, visualisation de données, calculs rapides, l’apprentissage, l’audition, la vision intelligente, la cognition, la communication, l’écriture, la

localisation, la lecture, la mobilité, leur profession, leur santé et soins personnels ou encore leurs besoins récréatifs…

• La connaissance des besoins à satisfaire qui orientera l’évaluation.

– Quel est le degré d’importance de l’amélioration apportée à l’utilisateur final ? – Quel est de degré de satisfaction du besoin par la technologie ?

– Quels nouveaux besoins peuvent apparaître ?

Maîtriser les biais et attitudes de l’évaluateur

• L’évaluateur ne biaise-t-il pas les résultats ?

– Neutralité, bienveillance…

• Qui évalue ?

– Par soucis de validité et de fidélité, l’évaluation de l’utilisabilité doit-elle être réalisée par des spécialistes désengagés de la conception.

• Que doivent indiquer les évaluations?

– Que le produit satisfait l’utilisateur?

• NON!

– Que le produit n’est pas satisfaisant.

• flatter le narcissisme des concepteurs ?

• proposer des recommandations qui l’amélioreront.

35

32. Les méthodes de recueil et d’évaluation des usages

• La source du savoir collecté : utilisateurs/consommateurs ou experts ?

• La situation d’évaluation : artificielle ou réelle ?

La situation d’évaluation

Réelle

Artificielle

Expert Utilisateur La source du savoir collecté

LES

INSPECTIONS LES

ENQUETES D’USAGE

LES TESTS CREATIVES

Les grandes catégories de méthodes

• Impliquer l’utilisateur pour améliorer l’utilisabilité et l’acceptabilité : les tests en laboratoire d’usage

– effectuer des tâches représentatives avec le produit testé.

– rédiger un rapport énumérant les problèmes et énonçant des recommandations basées sur les résultats des expériences.

• Analyser la situation réelle : les enquêtes d’usage.

– déterminer les objectifs et les tâches d’utilisateur, interpréter les conduites et élaborer des préconisations

• Examiner le produit (utilisabilité/acceptabilité) sans le consommateur : les techniques d’inspection.

– examiner, selon des critères éprouvés, l’utilisabilité d’un produit, mais sans utilisateur.

– récapituler les sources de difficultés et proposer des solutions correctrices.

• Imaginer de nouveaux usages : les techniques créatives et participatives

– Élaborer des scénarii d’usages et les tester.

– Dégager des possibilités (usages probables).

Eric Brangier 37

4.

L’évaluation en situation de laboratoire d’utilisabilité :

- 41 Principes des tests en laboratoire

- 42 Recommandations

Les tests en laboratoire d’usage

• Mesure expérimentale de l’adéquation d’un dispositif aux utilisateurs cibles

– Méthode pour évaluer un dispositif qui permet :

• D’observer directement la manière dont des utilisateurs s’en servent ;

• D’identifier les difficultés qu’ils rencontrent ;

• De recueillir leurs verbalisations ;

• De recenser leurs attitudes à l’égard du produit ;

• D’impliquer d’autres partenaires que les utilisateurs.

• Déroulement

– Fixer et justifier les objectifs du test d’utilisabilité

– Préparer le test d’utilisabilité (empiriques et théoriques) – Constituer un échantillon d’utilisateurs

• Pour l’IHM: 5 utilisateurs d’une catégorie donnée suffisent à détecter 80% des problèmes, MAIS parfois 5 utilisateurs ne sont pas suffisants… En prévoir 49 !

• Choisir des consommateurs représentatifs

• Veiller à la représentativité des situations d’utilisation

E. Brangier - Équipe

39

Architecture de Pergolab

• 4 pièces séparées par des miroirs sans tain

• Dispositifs d’enregistrement et d’analyse

Welcom area Technical

area

Observation area Testing area Windows

Corridor

Zone d’accueil

• Réception

• Explications

• Présentation du laboratoire

• Déontologie

• Consentement éclairé

41

Zone de test

Zone d’observation et zone technique

• Observation des utilisateurs et des observateurs

• Local technique

43

Le recueil et l’analyse des mouvements oculaires (1)

• Appareils sophistiqués

d’enregistrement et de traitement

• Identifier les informations prélevées par les utilisateurs ainsi que l’ordre des prélèvements.

• Idée = mouvements oculaires sont des indicateurs des processus cognitifs qui sous-tendent les actes des personnes.

– prise d’information révèle la façon dont l’individu prélève et traite les informations.

Le recueil et l’analyse des mouvements oculaires (2)

• Des indicateurs de l’activité visuelle comme :

– les fréquences globales de fixations dans une zone du champ perceptif ; – l’ordre des fixations dans une zone ;

– la durée d’arrêt en un point ;

– la durée globale d’exploration par zone.

• sont interprétés selon les principes suivants :

– la quantité d’activité oculomotrice déployée correspond environ à la quantité totale d’information que la personne a décidée de recueillir ; – la localisation des pauses de regards reflète la sélection que le sujet fait

parmi toutes les informations dont il dispose ;

– les séquences de fixation constituent la trace de la stratégie cognitive choisie dans la récolte des informations ;

– la durée de fixation pourrait être un indicateur de la plus ou moins grande facilite ou difficulté d’extraire l’information pertinente d’un stimulus donné.

Exemples

• Les points de fixation (ici trop nombreux)

• Les « hot spots »

Eric Brangier 45

Récolter et analyser des données sur l’humain

• Films

• Interviews

• Focus group

• Questionnaires

• Observations

• Monitoring…

TACHE (but)

Sous-t‰che (sous-but)

PROCEDURE 1 PROCEDURE 2

Contraintes temporelles ET

OU

conditions (prˇrequis matˇriels)

prˇrequis

(autre t‰ che) EVENEMENT

PROCEDURAL Post-requis

Action Etat Source Agent instrument Etat Rˇsultat

ET ET ET

I.

ET I.1.

Sous-t‰che (sous-but)

Sous-t‰che (sous-but)

I.2. I.3.

Synthèse: Quand privilégier

l’expérimentation en laboratoire d’usage?

• Les tests s’appliquent quand :

– vous voulez prouver expérimentalement que votre système (ou produit) sera facile à utiliser ;

– Vous voulez qu’utilisateurs et concepteurs se rencontrent;

– Vous voulez que les concepteurs réagissent et intègrent vite les résultats du test;

– vous voulez obtenir des mesures objectives de l’utilisabilité ; – vous souhaitez faire vite et ne disposez que de peu de temps ;

– vous disposez d’un laboratoire d’usage et des compétences pour le faire fonctionner ; – vous avez besoin d’informations pour corriger un produit ;

– vous voulez être aidé pour la mise sur le marché d’un produit fiable qui sera bien accueilli par les clients ;

– vous souhaitez enrichir un produit en confrontant les intelligences de tous ses partenaires : des utilisateurs finaux aux concepteurs.

Eric 47 Bra

5.

L’évaluation en situation réelle : les enquêtes d’usage

- 51 Principes des enquêtes d’usage

- 52 Les techniques de recueil de données

- 53 Recommandations

49

Les enquêtes d’usage

• Découverte de données sur les usages

• Double objectif:

– D’innovation

– D’aménagement

• A la différence des autres méthodes d’évaluation, les enquêtes d’usage insistent sur :

– Le rôle du contexte dans l’apparition d’un comportement d’un utilisateur.

– L’observation de la réalité telle qu’elle est

– L’idée que la technologie n’existe pas en soi, mais se réfère toujours à un

usage.

L’analyse de la situation d’utilisation

• Prend en compte l’ensemble des variables techniques et sociales liées à l’usage

– le contexte de travail des utilisateurs ;

– l’environnement de travail influence la manière dont les personnes utilisent ou pas un produit ; – pratiques de travail des domaines ignorés

– informations subjectives sur l’activité des utilisateurs (vécu, ressenti…).

• Caractéristiques

– sur le terrain

– recherche monographique – négliger aucun paramètre, – l’analyse recense :

• Caractéristiques des utilisateurs, de la technique, des informations, de l’ambiance physique de travail, des actions effectuées, du contexte social…

51

L ’usage (et le non-usage) est lié à la

culture des utilisateurs?

Observations anthropologiques des usages

• La culture permet de comprendre les produits et leurs usages.

– Utilisé avec efficacité – Adapté à l’environnement

– Permettra l’intégration des utilisateurs à une communauté

– Permettra une différenciation sociale entre les utilisateurs et les non-utilisateurs.

• « Psychologue + Ethnologue » : s’immerger dans une culture se décentrer de sa culture d’origine.

– attention portée sur le système technique et ses valeurs :

• Compatibles avec la culture du groupe d’utilisateurs cible

• Tolérantes vis-à-vis des valeurs du groupe

• Capables d’aider pour résoudre les problèmes posés

• Conciliables avec les référents symboliques

• Assimilables sans être une source d’anxiété

• Proches de l’environnement culturel cible et à même de favoriser l’intégration des utilisateurs-cibles à cet environnement

53

Les groupes de discussion

• « focus group »

– 3 à 7 utilisateurs (ou de consommateurs) – 1 animateur du groupe

– Expression libre sur un produit, un logiciel, un service…,

– 2 à 3 heures environ – généralement enregistré

• L’objectif de ce type de méthode

– recueillir des données sur la manière dont les

utilisateurs s’échangent des informations et parlent des produits.

– obtenir leur feedback, leurs réactions initiales

– examiner leurs préférences, leurs buts, leurs besoins.

Les types d’intervention

• Objectifs des interventions :

– Rechercher une information.

– Assurer une écoute attentive.

– Vérifier une hypothèse.

– Proposer un schéma d'explication du fonctionnement de l’utilisateur.

– Manifester un intérêt personnel rassurant.

– Procédures à disposition :

• Favoriser la créativité collective

– Rassembler un groupe de personnes choisies à qui l’on demande d’exprimer librement leurs idées, pensées et intuitions sur un ou plusieurs thèmes

– Absence de censure

– Légitimité de l’expertise de l’utilisateur

– Participants stimulés par un animateur qui encadre le groupe.

55

L’entretien structuré

• Quelques caractéristiques de l’entretien de recueil des connaissances

– Situation de conversation entre deux ou plusieurs acteurs, où l’un exerce la fonction d’interviewer et l’autre (ou les autres) celle d’interviewé.

– Construire une représentation du monde et gérer leurs incompréhensions mutuelles.

– Traces précieuses du fonctionnement mental de l’interviewé.

– Créer une situation de production de discours de laquelle émane des indicateurs de ce que les individus ont dans la tête et qui guide leurs usages des choses.

La conduite d'entretiens

• Trois types d’entretiens :

– l’entretien non-directif, directif, semi-directif.

– Toujours: Non-inductif.

• L’entretien non-directif repose sur un registre d’attitudes de l’interviewer.

– L'empathie

– L'acceptation inconditionnelle – L’attitude non-directive .

– But utopique d'annuler les effets de l'interaction.

• L’entretien directif : structuré, consignes, corpus homogène.

57

Les propriétés de l’entretien

• L’entretien non-inductif permet :

– l’étude de variables complexes comme le traitement de l’information symbolique, car il est souple à utiliser ;

– l’analyse des variables de la connaissance qui ne peuvent être saisies qu'à travers l'élaboration d'un discours ;

– à l’utilisateur de s'exprimer dans ses termes avec le type de raisonnement qui est le sien ;

– d’appréhender la partie inconsciente, confidentielle ou clandestine de

“l’expertise” en abaissant le seuil de la conscience par l'utilisation d'une

relation affective plus ou moins transférentielle.

Objectifs de l’entretien de recueil des connaissances

• Il vise à faire expliciter les concepts et raisonnements de l’opérateur (techniciens, experts, ménagères, etc.).

• Buts :

– la constitution d’un glossaire des termes de l’utilisateur ; – la création d’un répertoire de raisonnements ;

– la détermination des principes ou processus qui régissent l’activité de l’utilisateur ; – la définition des enchaînements logiques suivis par l’utilisateur ;

– l’élaboration d’une modélisation ;

– la validation empirique de la modélisation des connaissances ;

– Analyse des besoins de l’utilisateur en matière d’aide au travail (palliatif ou coopératif).

59

Questionnaire

• Objectifs : Expliquer vs comprendre (entretien)

• Problèmes

– Manipulation de variables figées a priori.

– Remplir à tête reposée, hors du déroulement d’un entretien.

– Rassembler un grand nombre de connaissances.

– Faire le point sur les connaissances développées dans les entretiens.

– Niveau du vécu, de l’opinion

– La confection d’un questionnaire est toujours délicate.

– Échantillon important

• Traitement statistique (Logiciels)

• Critiques de « l’école francophone »

Le questionnaire : exemple

• Les utilisateurs devraient répondre sur une échelle de huit points allant de « Non, pas du tout » à « Oui, Beaucoup ».

– Personnellement, pensez-vous qu’il soit facile de saisir des données avec votre ordinateur ? – Une fois des données saisies, les temps de réponses de l’ordinateur sont-ils satisfaisants ? – Lorsque vous commencez une procédure est-il facile de l’interrompre ou de l’arrêter ? – Les écrans permettent-ils de saisir les données dans n’importe quel ordre ?

– Globalement, estimez-vous que les informations sont bien disposées sur les écrans ? – Trouvez-vous que certains écrans soient difficiles à lire ?

– Avez-vous le sentiment que les informations que vous cherchez soient perdues au milieu d’informations inutiles ?

– Vous arrive-t-il d’avoir besoin, au même moment, d’informations se trouvant sur plusieurs écrans différents ?

– Selon vous, le logiciel vous oblige-t-il à visualiser des écrans qui ne vous servent pas directement ?

…

61

L’observation

• Principes : “consiste à observer le phénomène que l’on étudie dans les lieux et l’instant ou il se produit”.

• Annuler les biais liés aux techniques d’évocation.

• Objectifs

– Repérer les opérations effectuées – Relever toutes les activités

– Observer les relations entre l’activité physique et mentale – Recueil des communications dans les systèmes hommes-

machines

Méthode d’observation

• Quelques recommandations :

– maîtriser les effets de l’observation ;

– échantillonner les sujets et durées d’observation ;

– grille d’observation, mise au point d’une terminologie des faits observés (Logiciels)

• Résultats des observations permettent :

– de quantifier les comportements,

– de repérer des séquences comportementales,

– et de construire un graphe des comportements observés.

• Indicateurs: fréquence, durée, manière de les réaliser, variations, incidents, séquences opératoires, enchaînement des activités mentales, etc.

• Compléter les observations (provoquées, consécutives, tri, etc…)

63

Le monitoring de l’utilisation

• « Tracer » l’utilisateur par des mouchards électroniques.

• Quantifier les durées d’utilisation

– Évaluer les fonctionnalités utilisées ou non – Recenser les difficultés à partir de la

connaissance des opérations qui ne sont pas ou mal faites par l’utilisateur

– Mesurer le taux global d’utilisation

– Visualiser les séquences réelles d’action problèmes

• Problèmes

– déontologique – interprétatif

0 10 20 30 40 50 60

Appel du personnel

soignant

Lire/Ecrire Regarder TV Ecouter CD Verbaliser

environnement digital de téléactions pour handicapés

Synthèse: Quand privilégier l’analyse de la situation d’usage ?

• L’analyse de la situation d’usage est l’une des meilleures méthodes à utiliser quand :

– vous devez comprendre le contexte de travail des utilisateurs ou le contexte d’usage au quotidien ;

– vous voulez comprendre comment l’environnement de travail influence la manière dont les personnes utilisent ou pas un produit ;

– vous devez découvrir les pratiques de travail des domaines que vous ignorez (opérateurs financiers, médecins urgentistes, opérateurs analphabètes…) ; – vous initialisez la conception d’un nouveau projet ;

– vous voulez mener une évaluation lors des premières phases de développement, afin de prendre en compte le contexte social de l’usage dans la conception d’un nouveau

produit ;

– vous avez besoin d’informations subjectives sur l’activité des utilisateurs (vécu, ressenti…).

Eric Brangier

6.

L’évaluation par inspection :

- 61 Principes de l’inspection

- 62 Exemple de grille d’inspection

- 63 Recommandations

Les techniques d’inspection

• Porter un jugement sur ses capacités à être efficace, efficient, tolérant aux erreurs, facile à apprendre et satisfaisant pour ses utilisateurs.

• Évaluateurs experts en facilité d’usage

– l’inspection dépend de la qualité et de la quantité d’évaluateurs.

– à privilégier pour dégrossir les problèmes d’utilisabilité et préparer des tests

• Les techniques d’inspection reposent sur une conception classique de l’ergonomie

– n’intègre ni l’analyse du travail, ni les dimensions organisationnelles, sociales ou culturelles du travail.

– « machine humaine »

• Techniques relatives

– Aux connaissances de l’évaluateur

– A des outils pour appréhender l’utilisabilité du produit – A des modèles et théories de la performance humaine.

Eric 67 Bra

Démarche méthodologique

• Inspecter l’utilisabilité d’un produit consiste

– En un jugement sur ses capacités à être efficace, efficient, tolérant aux erreurs, facile à apprendre et satisfaisant pour ses utilisateurs.

– Ce jugement est réalisé par des « évaluateurs experts ». Ils effectuent une série d’interactions avec le dispositif, et déroulent un ensemble d’approches pour en définir les points forts et les points faibles.

• Les techniques d’inspection diffèrent selon :

– Les approches méthodologiques des experts :

• certaines difficultés seront appréhendées et d’autres minimisées ; – Les critères d’utilisabilité à l’origine de l’évaluation :

• en privilégiant certains critères au détriment d’autres, certains problèmes seront plus ou moins mis en relief.

• Dimensions pragmatiques et hédoniques

– Grille Jordan

Les 10 principes de l’utilisabilité de Jordan

(in Brangier et Barcenilla, 2003).

• 1.- Consistance.

– Concevoir un produit pour que les mêmes tâches soient exécutées de la même façon. Ceci concerne aussi bien les objets manipulés que les procédures utilisées.

• 2.- Compatibilité.

– Concevoir un produit de telle manière que son mode

d’utilisation soit compatible avec les attentes des utilisateurs provenant de l’utilisation d’autres produits.

• 3.- Prise en compte des ressources des utilisateurs.

– Concevoir un produit de telle manière que son mode

d’utilisation prenne en compte les exigences de la tâche et les ressources de l’opérateur pendant l’interaction avec le

produit.

• 4.- Feed-back.

– Concevoir un produit de telle sorte que l’utilisateur sache quelles sont les actions qu’il doit réaliser. Fournir des indications pertinentes sur le résultat des actions.

• 5.- Prévention et récupération des erreurs.

– Concevoir un produit de telle sorte que les erreurs possibles de la part de l’utilisateur soient minimisées, et si des erreurs se produisent, qu’il puisse les récupérer rapidement et facilement.

● 6.- Contrôle de la part de l’utilisateur.

 Concevoir un produit de manière à maximiser le contrôle de l’utilisateur sur ses propres actions, sur le produit, et sur l’état dans lequel se trouve le produit.

● 7.- Clarté visuelle.

 Concevoir un produit de telle manière que l’information affichée puisse être lue facilement et rapidement sans qu’elle prête à confusion.

● 8.- Priorité des fonctionnalités et de l’information.

 Concevoir un produit de telle sorte que les fonctionnalités et les informations les plus importantes soient facilement accessibles à l’utilisateur.

● 9.- Transfert approprié de la technologie.

 Faire une réutilisation appropriée de la technologie développée dans d’autres contextes pour maximiser l’utilisabilité du produit.

● 10.- Transparence (Explicitness).

 Concevez un produit en donnant les indications qui renvoient clairement à ses fonctionnalités et aux procédures disponibles.

69

Illustration des types d’inspection

Synthèse: Quand privilégier l’inspection par des connaissances expertes?

• Les inspections expertes s’appliquent quand :

– vous souhaitez recenser en détail les difficultés d’usage d’un produit, et définir des recommandations permettant de les pallier ;

– vous pouvez construire une grille d’évaluation pertinente pour inspecter votre produit ;

– vous disposez de 2 à 5 experts pour remplir des grilles de critères ergonomiques ; – vous initiez la conception d’un produit et n’avez pas encore d’utilisateurs, ni de

produit achevé ;

– vous souhaitez préparer un test utilisateur et dégrossir les problèmes.

71

7.

L’évaluation prospective ou l’intérêt des méthodes créatives et

participatives :

- 71 Principes méthodologiques - 72 Techniques utilisées

- 73 Recommandations

Techniques participatives et créatives

• Associer les utilisateurs/consommateurs à la conception même de leurs produits et systèmes.

• Pas considéré comme une simple source d’information, mais comme un acteur à part entière du système.

– Dessiner ses interfaces, – Participer à la conception,

– Tester et les faire évoluer les produits.

– Scénario à base de cas.

• « Usability Through Storytelling »

– Apporter la communication des consommateurs/utilisateurs dans l’esprit des concepteurs

– Raconter des histoires personnelles

– Récits d’usages

73

Rappels historiques

• Naissance des méthodes participatives

– Années 1970

– Pays scandinaves sous le nom de « Participatory design »

• Mouvance « culture militante »

– Défense de la démocratisation des lieux de travail – Pouvoir plus important donné aux ouvriers dans les

processus décisionnels de l’entreprise

• Actuellement

– Méthode participative connaît à l’heure actuelle un regain d’intérêt

– Se développe en France à partir de 2000 – Utilisée pour le développement des nouvelles

technologies.

Postulats de la conception participative (1/2)

• Idées d’atelier pour

– Travailler ensemble pour concevoir une solution.

– Donner aux utilisateurs de la voix dans le processus de conception

– Augmenter la probabilité d'une conception utilisable – Augmenter l’acceptation de la solution

– Permettre à tous les participants de s’exprimer de façon égale

– Donner l'occasion aux développeurs

• de rencontrer « des utilisateurs futurs probables »,

• de travailler et de comprendre leurs utilisateurs.

– Fournir un forum pour l'identification des problèmes

L’atelier de Picasso

75

Postulats de la conception participative (1/2)

• Intérêts

– Améliorer l’usage par la participation et l’implication des acteurs

– Amélioration des conditions de travail des utilisateurs – Techniques très productives

– Techniques faciles à apprendre et à appliquer – Maintient la motivation en cours de projet – Augmentation de la satisfaction finale

– Reconnaissance de l’utilisateur/consommateur/expert

– Facilite le changement organisationnel

Qu’est-ce que la méthode participative ?

• Elle consiste

– A associer de manière

• Directe (ils participent réellement)

• Formelle (ils s’engagent effectivement)

• Légitime (ils sont reconnus compétents)

• Négociée (écoute réciproque et ajustement)

– Des personnes

• Utilisateurs directs/indirects

• Concepteurs

– Dans la conception et le développement

• D’un produit

• D’un service.

• La conception participative s’appuie sur une démarche

de conception centrée sur l’utilisateur.

77

Définir des règles pour la participation

• BUT de la participation et de la créativité

– La construction sociale du besoin

• MOYENS de la participation

– Définir le cadre de l’animation

• Modalités (écoute, reformulation…)

• Durée

• Coûts, budget…

– Définir le travail à réaliser

• Représentation des idées (Idéations, fonctionnalités, utilisabilité…)

• Représentations de l’utilisateur (direct, indirect, primaire, secondaire…)

• Représentations du travail futur probable (contenu, condition, organisation)

– Définir le résultat attendu

• Objet (produit, service, technologie…)

• Restitution (orale, écrite…)

• Plan de mise en œuvre (planning, organisation de la suite…)

Les personas

• Un persona est une représentation fictive d’utilisateur probable

– Utilisé pour représenter les besoins et les caractéristiques des différents groupes d'utilisateurs lors de la conception ou l’évolution d’un site web.

– Créé à partir de données réelles.

– Utile pour penser et guider des décisions concernant la conception de systèmes, produits ou services.

• Outil pour comprendre les utilisateurs et leurs buts. Le recours à des personnes offre plusieurs avantages dans le développement des

produits/systèmes/organisations.

79

Les personas

• Un archétype (Jung), une représentation des utilisateurs, qu'on peut utiliser pour guider des décisions concernant la conception de systèmes.

• L'utilisation de la recherche ethnographique aide à la création d'un certain nombre d’archétype utilisateurs.

• Construction prospective

– des utilisateurs futurs probables.

– des approximations utiles remplissant des préoccupations relatives à l'application pratique.

– Donner un visage humain aux utilisateurs ciblés

• La critique

– analyse de la logique sous-jacente

• aucune relation claire de véritables données client. et, par conséquent, il n'existe aucune façon de déterminer combien d'utilisateurs sont représentés par telle ou telle personne

– les préoccupations relatives à l'application pratique,

• Anecdotiques

• Personas sont fictifs – et les résultats empiriques

• personnes n'ont pas de lien avec les données réelles du client et ne peuvent donc pas être scientifique.

• Approximation

Grille d’évaluation/rédaction des personas

• Quelles représentations des utilisateurs?

– Etat civil: âges, sexe, métiers, connaissances…

– Démographie: éducation, nationalités, style de vie…

– Psychographie: classe et origine sociales, statuts sociaux, groupes d’appartenance, image de soi, attitudes, croyances…

– Technographie: usage internet, webographie, modes de connexion, relations psychologiques aux technologies, fréquences d’usage, types de logiciels utilisés…

– Sociographie: relations aux autres, appartenance à des groupes d’action et d’influence, relation de travail ou d’affaire, attitude sociale à l’égard des technologies…

• Quels buts?

– Usage: tâches à réaliser, activités possibles, attentes d’uitilisation…

– Émotion: sources de plaisir, d’ennui, de retrait, d’abandon, frustrations…

– Motivations: recherche de connaissances, niveaux de besoin en connaissances…

• Quels rôles?

– Implication par rapport au domaine: niveau de responsabilité, arrière-plan, implication institutionnelle…

– Contraintes et obligations liées au rôle: crédibilité, sécurité, légalité, satisfaction, accessibilité,…

• Vision pour l’expérience utilisateur:

– Synthèse du persona

– Effets de contraste de persona

81

Scénario

• = Photo + texte explicatif décrivant les interactions prévisibles des types d'utilisateurs (caractères) et des technologies.

• Scénarios incluent des informations sur des objectifs, des attentes, des motivations, des actions et des réactions.

• Technique quasi-projective, utilisée à des fins prospectives.

• Scénarios ne sont pas des prédictions, mais des moyens de réfléchir sur un usage, un portrait ou sur la façon dont une technologie est utilisée en contexte.

• Servent à identifier des besoins fonctionnels pour aménager un système

Le rôle de l’animateur est crucial. Il lance, puis relance la discussion en faisant les reformulations utiles et en recentrant, si nécessaire, le groupe sur sa tâche d’évaluation. L’animateur doit être à même d’interagir pour faciliter les discussions sur

les questions soulevées. La situation est généralement enregistrée de manière à pouvoir ensuite analyser les propos recueillis et à dégager

les thèmes importants.

La technique du tri conceptuel

• Idée : la verbalisation des connaissances s’effectue rarement de façon aléatoire

• Protocole (avec des post-it):

– verbaliser les concepts

– rédiger une fiche d’identification de chacun des concepts – trier les fiches

– classer en groupe, en sous-groupe, définir les caractéristiques communes aux items.

• Résultats :

– création d’un réseau conceptuel ;

– définition de la hiérarchie mnémonique des concepts.

– Cartographie des concepts

• Variante : Posters.

Tris de conceptuel, exemples

Eric 83 Bra

Conférence de consensus

• C’est une consultation des commanditaires afin de

préparer la rédaction de recommandations en vue d’aider à la prise de décision sur le projet.

– Cette méthode trouve surtout son utilité pour donner une certaine cohérence à des données dispersées

– Réaliser un vrai débats entre les concepteurs, les

commanditaires, les restitutions des staffs et les ergonomes

• La conférence implique

• Existence de controverses sur le projet

• Nécessité de répondre à une préoccupation globale

• Disponibilité de données scientifiques

85

Déroulement de la conférence de consensus

• Phases de préparation:

– Première synthèse des résultats de l’analyse des données des staffs

– Choix des thèmes de controverse

• Les arguments avantages/inconvénients sont énoncés et discutés

– Détermination de critères pour les décisions – Transmission et discussion des questions aux

commanditaires

– Élaboration de décisions pour la conception

Synthèse: Quand privilégier les méthodes participatives et créatives?

• Ces méthodes s’appliquent pour :

– Rassembler un groupe de personnes choisies à qui l’on demande d’exprimer librement leurs idées, pensées et intuitions sur un ou plusieurs thèmes

– Expression des besoins – Liberté d’expression – Absence de censure – Légitimité de l’expertise

– Participants stimulés par un animateur qui encadre le groupe d’experts

– Construction sociale du besoin

Eric Brangier

8.

Conclusion

Discussion

La restitution de l’évaluation

• L’analyse des données recueillies

– 1. verbales

– 2. d’observations – 3. quantitatives

• La validation des propositions

• L’élaboration de recommandations

– Produire des connaissances appropriables par l’ensemble des acteurs

• La restitution du rapport d’évaluation

– L’évaluation n’est pas seulement un constat, ce sont des résultats et analyses avec lesquels on décide.

– L’utilisateur est au centre de la restitution.

• le document écrit,

• la présentation orale.

Synthèse en 10 po ints

• 1.

• 2. Liens évaluation-amélioration

– Boucle: usage-adaptation-reconception.

• 3. Présence de l’évaluation lors des étapes du UXD – Planifier, analyser, concevoir, tester.

• 4. Formes de l’évaluation

– Panorama général : quatre grandes méthodes

• 5. L’expérimentation

– Test en laboratoire (équipement important, mesures précises)

• 6. L’analyse des usages en situation

– Méthodes qualitatives (entretien, ethnographie, questionnaires…)

• 7. L’inspection

– Grilles d’inspection

• 8. Participation et créativité

– Construction sociale des besoins, Personas, tri de cartes, scénario.

• 9. Importance de la restitution.

– Réutilisation des savoirs dans le projet.

Eric 89 Bran

10. Quelles méthodes pour quels usages?

• Fonctions managériales de l’évaluation

– Ratifier

• Inspection et expérimentation – Corriger

• Itération durant tout le projet…

– Recueillir et débuter

• Analyse des usages…

– Avoir de nouvelles idées et prospecter

• créativité…

– Labéliser

• Expérimenter – Avoir des indicateurs

• Inspecter, questionner (satisfaction), expérimenter (temps et erreurs)

– Améliorer

Synthèse sur la démarche « User-Centered Design »

• Pour penser aux besoins de vos utilisateurs à chaque étape du développement, il faut (faudrait):

– Planifier votre projet

– Collecter les données auprès d'utilisateurs – Développer des prototypes

– Réaliser la rédaction de contenu (manuel, notice, rapport) – Tester l'utilisabilité avec les utilisateurs

• Méthodologie structurée qui associe les utilisateurs à travers toutes les étapes de création de systèmes.

– Répondre aux besoins des utilisateurs.

– Tenir compte des objectifs commerciaux d'une organisation et les besoins des utilisateurs, des limitations et préférences.

– Équilibrer les besoins des utilisateurs et les besoins de votre organisation.

– Si les utilisateurs ne trouvent pas votre système utile et utilisable, ils l'utiliseront mal ou jamais.

– Réduire les coûts d'exploitation et de réaménagement en développant un produit adapté

Eric 91 Bran

Niveaux de maturité dans le développement de l’expérience utilisateur

Ignorance

Incertaine

Considérée

Implémentée

Intégrée

Institutionnalisée

Usability Maturity Model, Jonathan Earthy (1998),

Ignorance

• UX n’est pas discutée.

– Elle est inconnue.

• Conception techno-centrée de l’humain: c’est à l’utilisateur de s’adapter !

– L’utilisateur est stupide et on se moque de ses « erreurs absurdes »

– L’utilisateur a toujours tord – L’utilisateur est ignorant – L’utilisateur doit se former – L’utilisateur fait exprès…

Eric 93 Bran