Nous avons mis en œuvre notre proposition de méthodologie d’évaluation dans le
cadre du projet çATED Autisme. Celle-ci a eu lieu d’avril 2014 à juin 2015 dans une ULIS TED accueillant cinq enfants âgés de 6 à 11 ans, encadrée par une institutrice et deux AVS (Auxiliaire de Vie Scolaire). L’évaluation de la version initiale de l’application a eu lieu d’avril 2014 à mars 2015 (sur 36 semaines au total), le
développement d’août 2014 à mars 2015, l’évaluation de la nouvelle version d’avril à
juin 2015 (sur 12 semaines). Les élèves des ULIS TED présentent généralement des profils relativement proches. Sur les cinq enfants de l’étude, un était non verbal tandis que les quatre autres arrivaient à échanger verbalement. Tous rencontraient des difficultés plus ou moins importantes au niveau des interactions sociales.
4.1 Déroulement de la mise à l’essaide la méthodologie d’évaluation proposée
Suite aux conseils de l’équipe pédagogique et du CRA (Centre de Ressources Autisme) d’Angers, la maîtrise d’ouvrage (ingénieure en informatique de la société de
service qui a développé l’application çATED) a tout d’abord réalisé une phase d’immersion et de mise en confiance pendant deux mois, à raison d’une demi-journée
par semaine. Pendant cette phase elle participait à l’ensemble des activités de la classe
et en co-encadrait certaines.
Des ateliers de travail ont ensuite été organisés afin de permettre à la maîtrise
eux. Un atelier était encadré par la maîtrise d’ouvrage avec un élève, sur la tablette de ce dernier, au calme dans un coin de la classe ou dans une des salles annexes (laissé
au choix de l’enfant), pendant à peu près 20 minutes (durée moyenne des autres
activités de la classe), durant lesquelles l’élève réalisait son emploi du temps sur sa tablette (figure 2)(1). Des échanges occasionnels avec les élèves (4) pouvaient avoir également lieu en dehors des ateliers. Durant le restant de la semaine seule l’équipe
pédagogique observait (2) et échangeait (3) avec les élèves.
Les échanges entre la maîtrise d’ouvrage et l’équipe pédagogique (5) avaient lieu
chaque semaine avant le démarrage des activités. L’équipe pédagogique s’est
rapidement investie, posant des questions et notant quotidiennement ce qu’elle
observait. À la fin des sessions de travail, la maîtrise d’ouvrage et l’équipe
pédagogique ont mis en commun leurs informations (6) et ont repris ces dernières une à une afin de les présenter et de les commenter (7 et 8). La maîtrise d’ouvrage a
ensuite rédigé le cahier d’exigences de la nouvelle version de l’application çATED en vue de son développement.
4.2 Bilan de la mise à l’essai de la méthodologie d’évaluation proposée
La phase de mise en confiance a démontré sa nécessité. Il a en effet fallu en moyenne deux séances pour que chaque élève soit à l’aise avec la maîtrise d’ouvrage, et se
comporte avec elle comme avec l’équipe pédagogique, sans crainte ni blocage.
L’ensemble des contributeurs, équipe pédagogique et élèves, se sont fortement investis, les élèves allant au-delà de ce qui leur était proposé au départ (comme par
exemple participer volontairement à la rédaction du mode d’emploi de l’application
sur leur temps de loisir).
Lors de l’analyse croisée des données récoltées, il est apparu que les types
d’informations recueillies sont fortement liés à la source et qu’il n’y a que peu de redondance d’information. Ainsi, les élèves produisaient des retours portant principalement sur le visuel de l’application (esthétisme, placement et taille des
composants) critiquant parfois en se référant aux visuels auxquels ils étaient habitués
avec d’autres outils. L’équipe pédagogique a fourni des informations sur la charge de
travail, l’homogénéité et la cohérence de la tâche, argumentant ses remarques des
connaissances qu’elle a du public, comme par exemple la fatigue que les élèves
peuvent avoir à réaliser ce type d’activitéou encore leurs besoins d’avoir des actions
découpées en tâches précises et cohérentes. La maîtrise d’ouvrage, quant à elle, a apporté des informations sur le guidage et la gestion des erreurs.
La nouvelle version de l’application çATED a ensuite été évaluée dans la même classe en suivant le même protocole (mêmes acteurs, format de sessions de travail et de réunions). La seconde évaluation s’est déroulée plus rapidement, la phase de mise
en confiance n’étant pas nécessaire et les élèves connaissant déjà l’application. Les retours ont été positifs : toutes les modifications et ajouts de fonctionnalités ont répondu aux problèmes et besoins identifiés lors de l’évaluation de la version précédente de l’application. Ce résultat nous permet de valider la complétude des informations recueillies lors de la première évaluation. Enfin, l’équipe pédagogique a
Cette mise à l’essai de la méthode d’évaluation proposée nous a permis de vérifier la légitimité de la place et rôle de chacun des trois types d’acteurs. Les informations
recueillies par chacun se complètent et permettent un recueil de retour plus complet que si celui-ci avait eu lieu avec uniquement la maîtrise d’ouvrage et l’équipe
pédagogique ou encore la maîtrise d’ouvrage et les élèves.
5 Conclusion
Le public avec TSA, pour lequel a été créée l’application çATED, est jeune et a des difficultés dans les domaines de la communication et des interactions sociales. Une
approche classique d’évaluation reposant sur la communication ne pouvant pas être mise en œuvre, il a été nécessaire de trouver une alternative, tout en gardant une place
pour l’utilisateur dans le processus d’évaluation. L’objectif est de permettre au public utilisateur de participer activement à l’évaluation de l’application qui lui est proposée, de lui donner la possibilité d’exprimer, sous différentes formes, son avis et ses
préconisations sur l’outil. Notre proposition méthodologique s’inspire du principe de
prise en compte du contexte humain environnant l’utilisateur. Elle combine plusieurs
techniques d’évaluation dans le cadre d’un protocole précis et repose sur la
contribution de trois types d’acteurs : utilisateurs (dans notre étude, des élèves avec TSA), interlocuteurs médiateurs (dons notre étude, l’équipe pédagogique) et maîtrise
d’ouvrage (dans notre étude une ingénieure informatique). L’adaptation des techniques permet de conserver la finalité de l’évaluation de logiciel tout en prenant en considération le contexte d’usage réel : les tests utilisateurs sur le prototype sont réalisés in situ avec le public cible, les phases d’analyse des usages sont effectuées
avec les interlocuteurs médiateurs sur la base d’observations issues du terrain, la mise en perspective des résultats est effectuée selon les points de vue de chacun.
Comme nous l’avons annoncé en introduction, si nous nous sommes intéressés ici tout particulièrement aux élèves avec TSA dans un contexte de classe, nous pensons que notre proposition méthodologique est plus générique, d’une part, autour du
trépied utilisateurs-interlocuteurs médiateurs- maîtrise d’ouvrage chacun de ces rôles pouvant être joué par des acteurs différents mais ayant comme contexte commun, à celui étudié ici, un public d’apprenants ayant des difficultés de communication ou des troubles du comportement et, d’autre part, du type d’application à visée éducative
développée : application d’aide à l’apprentissage du type de çATED ou des EIAH dédiés à des apprentissages plus disciplinaires. Nous avons d’ailleurs pour
perspectives de transposer notre méthode d’évaluation d’application à des publics vieillissant, malades d’Alzheimer ou en perte d’autonomie.
Remerciements. Cette recherche est effectuée dans le cadre du projet « çATED-autisme » mené par une équipe de chercheurs en éducation et en informatique du Centre de Recherche en Éducation de Nantes, par les professionnels du Centre de Ressources Autisme des Pays de la Loire, par une équipe hospitalo-universitaire de l'Université d'Angers et par des ingénieurs de la société SII Ouest Centre Atlantique. Nous tenons aussi à remercier les enfants, l’institutrice et les AVS de l’ULIS, de nous avoir si chaleureusement accueillis et de s’être investis dans ce projet.
Références
1. Murray, Dinah K.C. “Autism and Information Technology: Therapy with Computers.” Edited by Stuart Powell and Rita Jordan, Autism and Learning - A guide to good practice, (1997) 100–115.
2. Rajendran, Gnanathusharan, and Peter Mitchell. “Computer Mediated Interaction in Asperger’s Syndrome: The Bubble Dialogue Program.,” Computers and Education, 35, no. 3 (2000) 189–207.
3. Bosseler, Alexis, and Dominic W. Massaro. “Development and Evaluation of a Computer -Animated Tutor for Vocabulary and Language Learning in Children with Autism,” Journal of Autism and Developmental Disorders, 33, no. 6 (December 2003) 653–72.
4. Senach, B. Evaluation ergonomique des interfaces homme-machine : une revue de la littérature (report). INRIA. (1990)
5. Ezzedine, H., Trabelsi, A., Tran, C. D., & Kolski, C. Critères et méthodes d’évaluation des systèmes interactifs, Application à un poste de régulation dans le domaine des transports. In Ingénierie du transport et des services de mobilité avancés (HERMES Science Publishing Ltd). (2012) 213‑293.
6. Norman, Donald A., and Stephen W. Draper. User Centered System Design; New Perspectives on Human-Computer Interaction. Hillsdale, NJ, USA: L. Erlbaum Associates Inc., (1986).
7. Antona, Margherita, Stavroula Ntoa, Ilia Adami, and Constantine Stephanidis. “Chapter 15 - User Requirements Elicitation for Universal Access.” In The Universal Access Handbook, (2009) 15-1-14.
8. Davies, Rhian, Skip Marcella, Joanna McGrenere, and Barbara Purves. “The Ethnographically Informed Participatory Design of a PD Application to Support Communication.” In Proceedings of the 6th International ACM SIGACCESS Conference on Computers and Accessibility, Assets ’04. New York, (2004) 153-160.
9. Hill, Vivian, Abigail Croydon, Scot Greathead, Kenny Lorcan, Rhiannon Yates, and Elizabeth Pellicano. “Research Methods for Children with Multiple Needs: Developing Techniques to Facilitate All Children and Young People to Have ‘a Voice,’” Educational & Child Psychology, 33, no. 3 (September 2016) 26–43.
10. Manrique, A. Chinea, Carmen D. Jiménez de Espinoza, and Jose Gonzàlez-Mora. “A Fast Automated Diagnosis System for Autism Spectrum Disorders Based on Eye Tracking Technology.” In THE LANCET Neurology Conference 2016. London (UK). (2016). 11. De Leo, Gianluca, and Gondy Leroy. “Smartphones to Facilitate Communication and
Improve Social Skills of Children with Severe Autism Spectrum Disorder: Special Education Teachers As Proxies.” In Proceedings of the 7th International Conference on Interaction Design and Children, IDC ’08 (2008) 45-48.
12. Fails, Jerry Alan, Mona Leigh Guha, and Allison Druin. “Methods and Techniques for Involving Children in the Design of New Technology for Children,” Foundations and Trends in Human–Computer Interaction, 6, no. 2 (2012) 85–166.
13. Frauenberger, Christopher, Judith Good, and Alyssa Alcorn. “Challenges, Opportunities and Future Perspectives in Including Children with Disabilities in the Design of Interactive Technology”, (2012).
14. Hirano, Sen H., Michael T. Yeganyan, Gabriela Marcu, David H. Nguyen, Lou Anne Boyd, and Gillian R. Hayes. “vSked: Evaluation of a System to Support Classroom Activities for Children with Autism”, (2010) 1633-1642.
15. Vygotsky, Lev. “The Instrumental Method in Psychology.” In The Concept of Activity in Soviet Psychology, (1981) 134–143.
16. Engeström, Yrjö. “Towards an Expansive Methodology.” In Learning by Expanding: An Activity - Theoretical Approach to Developmental Research, (1987) 247–257.