Apports et limites des deux recherches quasi-expérimentales comparant l’utilisation de SISMO avec des modalités d’identification différentes

Poole (2012)

Poole justifie également son étude par des considérations analogues à celles qu’utilisent en conclusion Latham et Hill, indiquant (p. 102) : « The literature did not reveal previous studies examining the effectiveness of anonymous use of SRSs (Student Response Systems) compared to assigned use of the devices197. ».

Elle ne teste pas une modalité anonyme, même si elle pense le faire en donnant une définition de l’anonymat (Op. cit, 2012, p. 102) qui correspond à la non-traçabilité, puisqu’elle écrit ce que nous traduisons comme suit : «…Le logiciel associé aux terminaux dédiés offre la possibilité… que les réponses ne soient pas liées aux individus ».

Poole compare pour deux cours différents deux groupes indépendants. Chacun des deux cours où a lieu l’expérimentation compte donc à un groupe de traitement et un groupe de contrôle. Le groupe de contrôle n’est pas traçable par l’enseignant.e (distribution aléatoire des terminaux à chaque session) au contraire du groupe de traitement où les étudiant.e.s se voient assigner le même terminal identifié par un numéro de série. Dans les deux cas, les étudiant.e.s sont considéré.e.s comme non-traçables entre pairs. En revanche, le groupe de contrôle est totalement non-traçable à la différence du groupe de traitement, traçable par l’enseignant.e (traçabilité partielle). Il s’agit donc d’une étude originale puisqu’elle manipule la traçabilité par rapport à l’enseignant.e et non par rapport aux pairs.

C’est également une étude qui recourt aux SISMOspour toutes les unités expérimentales, de telle sorte que les différences éventuelles observées peuvent être imputées au seul facteur différenciant les unités expérimentales : la traçabilité/non-traçabilité par rapport à l’enseignant.e.

Poole, dans cette recherche quasi-expérimentale étudie, non pas la participation visible (taux de réponse), mais la performance résultant de cette participation visible en comparant le taux de réponses justes entre les deux unités expérimentales, traçables ou non par

197 _{Notre proposition de traduction : « La littérature ne contient pas de recherche antérieure examinant}

l’enseignant.e. Ce choix, inédit dans la littérature, malgré son intérêt, n’est pas sans poser de problèmes.

En comparant le taux de réponses justes entre les deux unités expérimentales, Poole fournit une information qui nous semble complexe à analyser car cette variable (nombre de réponses justes/nombre de questions) représente le produit de deux variables :

- le taux de participation visible (taux de réponses = nombre de réponses / nombre de questions) qui est une variable d’activité ;

- une variable de performance relative avec un ratio que l’on peut désigner comme un taux de conversion (nombre de réponses justes / nombre de réponses).

On a la relation suivante :

nombre de réponses justes nombre de questions posées=

nombre de réponses fournies nombre de questions posées x

nombre de réponses justes nombre de réponses fournies Taux de réponses justes = taux de participation visible x taux d’exactitude

Poole constate que le taux de réponses justes a été plus fort pour l’unité expérimentale dont les réponses étaient traçables par l’enseignant.e, ce qu’elle interprète ainsi (p. 109, notre traduction) : « Le fait que l’enseignant.e puisse voir les niveaux de performance a peut-être incité certain.e.s élèves à passer plus de temps à revoir les questions avant le cours. Les étudiant.e.s qui ont utilisé le SISMO de façon anonyme... puisque leur performance n'a pas pu être suivie par l'instructeur, … ont peut-être abordé les questions différemment de leurs pairs appartenant au groupe de traitement, et n'ont donc pas obtenu autant de bonnes réponses.198 _»

Mais les unités expérimentales ont-elles autant participé ? Le taux de correction est-il différent entre étudiant.e.s traçables et non-traçables ? Est-ce que la traçabilité des réponses par l’enseignant.e a attiré surtout les meilleur.e.s étudiant.e.s qui veulent montrer de façon ostentatoire leur compétence, quand bien même celle-ci n’est pas prise en compte de façon certificative (p. 106) ? Est-ce que la non-traçabilité a dissuadé dans l’autre unité expérimentale leurs homologues cherchant à prouver leur performance de participer

198 _“Perhaps the fact that the instructor could see performance levels motivated some students to spend more time reviewing the questions prior to class. The students who used clickers anonymously … since their performance could not be tracked by the instructor… may have approached the questions differently than their treatment group peers, and subsequently did not get as many correct answers”:

parce que ces étudiant.e.s sont frustré.e.s à l’idée que leur performance et/ou leur engagement individuel puissent être ignorés par le dispositif pédagogique ?

Autrement dit, Poole explique ses observations en invoquant l’importance pour certain.e.s étudiant.e.s d’être reconnu.e.s, non par leurs pairs mais par l’enseignant.e. Ces propos rejoignent les observations effectuées par Latham et Hill qui signalent, comme nous l’avons vu, l’importance d’une reconnaissance individuelle de la performance et de l’engagement, au point que certain.e.s étudiant.e.s préfèrent l’interrogation orale traditionnelle pour la singularisation qu’elle permet.

A la fin de son article, Poole qui s’est intéressée à la performance (taux d’exactitude) plus qu’à la participation, prolonge son étude sur la comparaison des résultats obtenus aux examens finaux et certificatifs, montrant une absence de différences entre les deux unités expérimentales. Cependant, compte tenu de son dispositif de recherche, on ne sait pas si les étudiant.e.s, selon que leurs réponses ont été traçables ou non, ont participé visiblement de façon identique ou pas, de telle sorte que l’on ne peut à partir de cette recherche en déduire l’existence ou l’inexistence d’un lien entre participation visible et performances obtenues lors de l’examen final.

Il nous semble que Poole aurait dû organiser son étude autour des trois questions suivantes : L’identification traçable ou non-traçable influe-t-elle sur la participation visible ?

1) Existe-t-il un lien entre la participation visible et le taux de réponses justes en classe ? 2) Existe-t-il une relation entre le taux de réponses justes obtenu en classe et la note de l’examen final ?

3) Poole conclut son article (p. 111) en indiquant que le coût de l’organisation de la traçabilité des réponses ne se justifie pas, faute de générer des performances

meilleures lors des évaluations certificatives199_{. Mais ce coût peut être très faible et égal à}

celui qui consiste à rendre non-traçables les apprenant.e.s selon le fournisseur de SISMO utilisé, de telle sorte que si la traçabilité n’entrave pas la participation visible, elle pourrait être utilisée pour mettre à la disposition des élèves les informations individuelles qu’ils ont produites, ce que

199 _{Il s’agit d’une confusion de l’auteure, très répandue comme nous l’avons évoquée dans l’annexe 1.3, entre}

évaluation certificative et évaluation sommative. Poole pratique déjà avec son dispositif pédagogique une évaluation sommative puisqu’elle calcule des taux de réponse juste. Cette évaluation en classe est non- certificative à la différence de l’évaluation finale.

Kruse et al. considèrent comme des analytiques d’apprentissage (voir page 135). Il serait ainsi intéressant de comparer deux modalités permettant la traçabilité des réponses avec mise à disposition ou non des réponses produites par les élèves.

La recherche de Poole est donc quasi-expérimentale mais la variable comparée, le taux de réponses justes obtenue avec un SISMO, ne nous paraît pas la plus appropriée pour étudier la participation visible, à moins de la décomposer en deux variables comme nous le suggérons page 163.

L’article de Faillet et al. s’intéresse à la participation visible, telle qu’elle est perçue par des lycéen.ne.s, alors que la littérature des SISMOs se focalise sur l’enseignement supérieur.

Faillet et al. (2013)

Cet article intitulé L’élève invisible : recherche sur l’utilisation des boitiers de vote au lycée est, à notre connaissance, l’unique article en français sur les SISMOs traitant de « l’anonymat » qui est indiqué comme mot clé. Il propose comme l’article de Poole de comparer deux modalités de traçabilité avec un SISMO mais avec des groupes appariés, alors que Poole utilise des groupes indépendants.

L’étude ne mesure pas la participation visible alors que les SISMOs le permettent aisément. Elle s’intéresse à la participation perçue par les apprenant.e.s et à leurs préférences en matière de traçabilité, qu’il aurait été intéressant de comparer à la participation visible effective, mesurée par l’artefact.

Cette expérimentation recourt à un protocole dont nous sommes désormais familier puisque des terminaux dédiés sont utilisés, dans une première période avec une distribution aléatoire des terminaux lors de chaque session, alors que dans la seconde période, un même terminal, identifié par un matricule est assigné à un.e élève par l’inscription sur le boîtier du nom de l’élève.

Une fois de plus, insistons sur le fait qu’un matricule est un identifiant et qu’il assure une traçabilité relative à ce code200_{, même si la correspondance durant une session entre le}

200 _{Pour se convaincre de la pertinence de cette traçabilité, nous pouvons citer un article du New York Times,}

jouant brillamment sur une ambiguïté de dénomination, pour lequel il nous a fallu lire les 148 premiers mots avant de comprendre que les neuf assassinats évoqués n’étaient peut-être pas imputables à la même personne

matricule du terminal et l’identifiant patronymique de l’apprenant.e n’est pas connue, et que ce terminal est redistribué d’une session à l’autre.

La deuxième partie de l’expérimentation, comme l’indique implicitement l’article, oppose une traçabilité totale, pairs et enseignant.e, à la non-traçabilité totale de la première partie de l’expérimentation. En effet, Faillet et al. indiquent (p. 10) : « … au moment de l’affichage des résultats, outre le taux de participation et la réponse correcte, il était fait état des résultats individuels avec notamment l’affichage d’un classement nominatif en fonction du nombre de bonnes réponses. ».

Ainsi, la deuxième modalité diffère de la première par rapport au fait que les étudiant.e.s sont totalement traçables, au point que les auteurs introduisent une interaction compétitive en sus de l’interaction coopérative proposée par les SISMOs.

Notons que le processus de rattachement de l’identifiant du terminal et du patronyme n’est pas expliqué dans l’article, pas plus que la façon dont le classement est produit. S’agit-il d’un classement cumulé sur l’ensemble des réponses, où pour chaque question ?

Le fait de répondre est présenté par les auteurs dans les deux phases de l’expérimentation comme facultatif (p. 10). Cependant le fait de classer les élèves selon le taux de réponses justes, peut faire douter les apprenant.e.s du caractère optionnel de la participation visible, car un classement constitue une motivation extrinsèque comme le souligne Deci (1971) dans son article Effects Of Externally Mediated Rewards On Intrinsic Motivation201_{. En s’appuyant}

sur les travaux de deCharms, Deci écrit (p. 105): « … the person perceives that the locus of control or the knowledge or feeling of personal causation shifts to an external source, leading him to become "a pawn" to the source of external rewards202. ».

Les deux modalités testées alternativement s’opposent du point de vue de la traçabilité ; dans la deuxième phase, les lycéen.e.s sont désormais traçables entre pairs et par l’enseignant.e alors qu’ils ou elles étaient totalement non-traçables. A ces deux facteurs de

mais que Briana y avait participé de façon visible ; Briana est, en effet, un Browning de calibre 9 mm dont le numéro de série est 245PN70462, et le nom/surnom que lui donne la police jamaïcaine. (Ahmed & Hicks, 2019, consulté le 27/08/2019).

201 _{Le lecteur pourra également se référer aux travaux ultérieurs de Deci, Koestner et Ryan (1999).}

202 _{Nous proposons la traduction suivante : « La personne perçoit que le} locus de contrôle ou la connaissance

ou le sentiment de causalité personnelle se déplacent vers une source externe, ce qui la conduit à devenir "un pion" vis-à- vis de la source des gratifications externes.

différenciation s’ajoute, compte tenu de l’établissement du classement entre élèves, un troisième facteur.

Il aurait fallu, à notre sens, manipuler un seul destinataire de la traçabilité, soit les pairs, soit l’enseignant.e. Par ailleurs, si la volonté avait été d’étudier spécifiquement l’influence d’un classement sur la participation, il aurait fallu, en identifiant totalement les participant.e.s puisque c’est une condition nécessaire au classement, comparer la participation de deux unités expérimentales totalement traçables, l’une qui donne lieu à un classement des répondant.e.s selon la justesse de leur réponse et l’autre non.

Nous allons maintenant présenter les résultats obtenus par les auteurs.

L’interrogation des lycéen.ne.s quant à l’impact de l’utilisation d’un SISMO, désigné dans l’article par le terme BVE (boîtiers de vote électronique), révèle une conception de la participation qui ne correspond pas à la participation visible que mesure un SISMO.

Faillet et al. montrent dans le tableau ci-dessous que les lycéen.ne.s ne déclarent pas participer plus en classe du fait de l’utilisation d’un SISMO. 48 % (6 % + 42 %) déclarent participer respectivement toujours et souvent sans BVE (BVE-Boîtier de Vote Electronique) alors que le pourcentage équivalent est de 33 % (7 % et 26 %) avec un SISMO.

Au sujet de la participation en classe, avant l’utilisation des BVE, les élèves :

Participent toujours Participent souvent Participent rarement Ne participent jamais

6 % 42 % 41 % 11 %

Au sujet de la participation en classe, après l’utilisation des BVE, les élèves :

Participent toujours Participent souvent Participent rarement Ne participent jamais

7 % 26 % 54 % 13 %

Tableau 2.0.16 - Reproduction du tableau 2 extrait de l’article de Faillet et al. (p.11) présentant la perception de participation avant et après utilisation des boîtiers de vote électronique (BVE)

Ces chiffres nous paraissent intrigants car une interrogation orale conventionnelle ne laisse que peu de participant.e.s verbaliser leur réponse, en comparaison avec le nombre de réponses que peut collecter un SISMO.

Au sujet d’une question sans BVE, les élèves prennent le risque de répondre :

Jamais Rarement Souvent Toujours

22 % 53 % 23 % 2 %

Au sujet d’une question avec BVE en mode anonyme, les élèves prennent le risque de répondre :

Jamais Rarement Souvent Toujours

1 % 10 % 23 % 66 %

Au sujet d’une question avec BVE en mode non-anonyme, les élèves prennent le risque de répondre :

Jamais Rarement Souvent Toujours

3 % 16 % 21 % 60 %

Tableau 2.0.17 - Reproduction du tableau 4 extrait de l’article de Faillet et al. (p.12) présentant la perception des risques de répondre à une question, sans et avec BVE

On voit donc que ces lycéen.ne.s se déclarent bien plus enclin.e.s à répondre via un SISMO que lors d’une interrogation orale conventionnelle mais pour eux/elles, le fait de répondre ne constitue pas une forme de participation.

Les auteurs, prenant en compte les tableaux 2.0.16 et 2.0.17, écrivent (p. 11) : « …il serait intéressant de réfléchir aux raisons qui manifestement font, du point de vue des élèves, de la participation un acte exclusif d’expression orale ». Nous ne pouvons qu’approuver ces propos. La prise de parole est-elle la condition nécessaire pour que les élèves considèrent qu’ils et elles participent ? Mais est-ce la parole qui compte ou ce qu’elle implique, une affirmation individuelle excluant les autres dont les réponses divulgâchées ? Et au-delà d’une éventuelle rivalité par rapport aux autres, n’est-ce pas l’attention exclusive de l’enseignant.e et son retour individuel qui, pour les élèves, atteste de la participation ?

Par ailleurs, quand on observe l’utilisation dite anonyme et non-anonyme des SISMOs, les auteurs la commentent comme suit (p. 13) : « L’effet anonymat qui pourrait être observé en comparant les réponses suivant que l’utilisation des BVE est anonyme ou non-anonyme n’est pas significatif (χ2 = 2,74 ; P = 0,43). ». Autrement dit, sur la base d’un déclaratif, la non- traçabilité ne suscite pas une propension supérieure à répondre chez ces lycéee.ne.s. On peut s’étonner que la mesure effective de la participation n’ait pas été effectuée ou qu’elle ne figure pas dans l’article alors qu’il s’agit généralement d’une fonctionnalité native des SISMOs qui dénombrent les réponses avant de les agréger pour permettre leur affichage à l’issue d’une interrogation.

Fies, se fondant sur des verbatim propose un construit plus large de la participation telle que se la représentent les apprenant.e.s. Elle écrit (2005, p. 82) : « Les verbatim des étudiant.e.s illustrent des conceptions différentes de la participation. Certain.e.s étudiant.e.s considèrent que leur participation est bonne parce qu'ils/elles sont présent.e.s en classe, ou parce qu'ils/elles lisent le manuel scolaire et font leurs devoirs (24). D'autres relient strictement leur participation à la contribution apportée lors d’une discussion générale (130)203_{. ».}

Fies en parlant de contribution à la discussion générale montre l’importance de la verbalisation dans un contexte où les étudiant.e.s sont souvent en position de spectateurs/spectatrices à qui la parole n’est pas donnée. Mais elle souligne une dimension collective collaborative, alors que Latham et Hill indiquent l’importance pour certain.e.s d’une réponse individuelle préemptive.

Accaparer la réponse, en faire un bien rival, va à l’encontre de ce qu’est la participation car participer, c’est prendre part, c’est à dire une part et non l’intégralité, comme l’indique sans ambiguïté l’étymologie de participer204 _{: « xives. estre participans de [aucun] ‘ être solidaire,}

allié de ‘ (Psautier de Metz, éd. F. Bonnardot, CXVIII, 63, p. 344). Empr. au lat. participare ‘ faire participer ‘ (sens empr. par le m. fr.: 1355, Bersuire ds Gdf. Compl.), ‘partager, répartir ‘ (d'où le part. passé m. fr. participé ‘ donné en partage’» 1552 ds Hug.) et ‘ avoir sa part’. On trouve donc l’idée du partage, de la solidarité dont nous avions souligné dans le chapitre I en citant Durkheim, qu’elle est le propre de la coopération et de la collaboration, alors que répondre seul.e, avant les autres et peut-être contre les autres, relève de la compétition.

La participation peut aussi bien être compétitive que coopérative et/ou collaborative comme l’expliquent parfaitement Johnson et al. prolongeant les travaux de Deutsch (1949). Ils écrivent (1979, p. 58) : « A cooperative context exists when people perceive that they can

203 _« Student notes indicate that there is a diverse understanding of what participation is. Some wrote that their participation is good because they attend class meetings, or because they read the textbook and complete homework (24). Others linked their participation strictly to how much they contributed to the overall discussion (130). »

obtain their goal if and only if the other people with whom they are linked can obtain their goals… (Deutsch, 1962)205_{. ».}

Il faudrait, comme l’écrivent Roschelle et al. dans leur article intitulé Theorizing the Transformed Classroom: Sociocultural Interpretation of the Effects of Audience Response Systems in Higher Education, que la participation soit perçue comme un processus collectif. Les auteurs écrivent (2006, p. 194, notre traduction) : « Les théories socioculturelles contemporaines définissent l'apprentissage et le développement comme un processus de transformation de la participation en activités socioculturelles valorisées (Rogoff, 1995, 2003 ; Rogoff, Baker-Sennett, Lacasa et Goldsmith, 1995)206_{. ».}

Faillet et al. adressent de nouveau, sous forme déclarative et de manière directe, la question de la préférence pour la (non-)traçabilité qui a déjà été abordée dans le Tableau 2.0.16 (page 167). Ils présentent les résultats dans le tableau ci- après.

Au sujet d’une question avec BVE, les élèves : Préfèrent que la session

soit en mode anonyme

Préfèrent que la session soit en mode non-

anonyme

Classe 1 12 6

Classe 2 13 6

Classe 3 19 10

Classe 4 5 23

Tableau 2.0.18 - Reproduction du tableau 6 extrait de l’article de Faillet et al. (p.14) présentant la préférence pour le mode (non-)anonyme pour quatre classes de lycéen.e.s

Si l’on observe, comme l’indiquent Faillet et al., les résultats agrégés des préférences déclarées par les élèves, on voit que 52,12 % (49/94) préfèrent les sessions durant lesquelles la non-traçabilité est utilisée quand 47,88 % (45/94), au contraire, préfèrent la traçabilité de leur réponse.

La dispersion de la distribution isolant le comportement de la classe 4 par rapport aux trois autres a incité les auteurs à approfondir le tableau ci-dessus en interrogeant l’enseignante

205 _{Notre traduction : « Un contexte coopératif existe lorsque les gens perçoivent qu'ils/elles peuvent atteindre}

leur but si et seulement si les autres personnes avec qui ils/elles sont lié.e.s peuvent atteindre le leur…