Les modalités de passation

La cartographie conceptuelle étant une activité relativement multiforme, il existe un nombre quasi infini de modalités de passation et conséquemment, il est difficile, voire

37

impossible, de toutes les énumérer. Dans leur recension des écrits, Ruiz-Primo et Shavelson (1996) décortiquent une tâche de cartographie conceptuelle en deux dimensions, à savoir la tâche comme telle et le format de réponse, qui sont elles-mêmes divisés en sous-dimensions. Les études répertoriées dans la présente recension ont été analysées systématiquement à l’égard de ces dimensions et de leurs sous-dimensions respectives.

3.5.1 La tâche

La première dimension, la tâche, est décrite en matière d’exigences, de contraintes et de structure du contenu. Les exigences d’une tâche correspondent tout simplement à ce qui est demandé à l’individu. Dans leur recension, non seulement Ruiz-Primo et Shavelson (1996) considèrent les tâches lors desquelles la personne évaluée doit produire ou compléter une carte conceptuelle, mais ils tiennent compte aussi de tâches d’évaluation apparentées, comme des tâches d’organisation (ou de mise en ordre d’importance) de cartons sur lesquelles sont inscrits des énoncés de concepts, des tâches d’appréciation du degré de connexité de plusieurs paires de concepts ou des tâches de production écrite (Ruiz-Primo et Shavelson, 1996). Au contraire de Ruiz-Primo et Shavelson, la présente recherche écarte un bon nombre de ces modalités et ne prend en considération que les tâches lors desquelles l’individu interagit directement avec la carte conceptuelle.

La deuxième sous-dimension, c’est-à-dire les contraintes de la tâche, correspond aux degrés de liberté (ou de restriction) qu’ont les répondants lors de la réalisation de la tâche. Le type de tâche promue par Novak et Gowin (1984), qui consiste à produire une carte à partir de zéro, est en toute fin pratique la modalité connue la plus ouverte. Cette liberté conduit généralement à des productions plus diversifiées, ce qui est intéressant dans certaines situations, mais ce qui a aussi un prix. Dans un contexte d’évaluation des apprentissages, il est parfois préférable de restreindre les possibilités d’une tâche, notamment en donnant certaines consignes ou en fournissant certains éléments aux répondants, comme des énoncés des concepts ou des expressions de liaison, de sorte à uniformiser un peu plus leurs productions et ainsi à faciliter la correction (Ruiz-Primo, Schultz, et coll., 2001).

Le Tableau VIII donne le portrait des types de tâches, des exigences et des contraintes préconisées dans les études recensées. La grande majorité des tâches, soit environ 90 % d’entre

38

elles, ont requis de produire une carte. Ces tâches se répartissent à peu près en parts égales entre la modalité ouverte recommandée par Novak et Gowin (1984), c’est-à-dire la production d’une carte à partir de zéro, et une modalité un peu plus restrictive qui consiste à produire une carte conceptuelle à partir d’une liste de concepts. Quelques études (N=20, 12 %) ont également demandé de produire une carte conceptuelle à partir d’une liste de concepts et de mots de liaison. En revanche, les tâches du type « compléter une carte » sont plutôt rares. Le Tableau VIII fait aussi état de deux autres modalités qui s’apparentent aux tâches du type « compléter les trous ». Plutôt que de remplir des composantes laissées vides, les répondants dans ces modalités doivent soit corriger les erreurs préalablement identifiées par l’évaluateur soit trouver les erreurs et les corriger (Correia, Cabral et Aguiar, 2016).

Tableau VIII. Distribution des variantes de tâches dans les études recensées

Variante de tâche Dispositif

d’évaluation des apprentissages Apprécier les propriétés psychométriques Total (N=173*)

Production d’une carte 94 % 83 % 90 %

à partir d’une liste de concepts 41 % 41 % 41 %

à partir de zéro 46 % 20 % 36 %

à partir d’une liste de concepts et d’une liste de mots de liaison 6 % 20 % 12 %

à partir d’une structure fixe 0 % 2 % 1 %

à partir d’une liste de concepts et d’une structure fixe 1 % 0 % 1 %

Compléter une carte 2 % 14 % 6 %

Compléter les nœuds d’une carte à partir d’une liste de concepts 1 % 11 % 5 % Compléter les arcs d’une carte à partir d’une liste de mots de

liaison

1 % 3 % 2 %

Autres 0 % 3 % 1 %

Corriger les erreurs d’une carte 0 % 2 % 1 %

Trouver les erreurs et les corriger 0 % 2 % 1 %

Non indiqué 4 % 0 % 2 %

Le Tableau VI compare également la distribution des modalités de passation entre les deux objectifs ciblés par la présente recherche. Étant naturellement plus exploratoires, les études au sujet des propriétés psychométriques ont mis à l’essai une plus grande variété de tâches de cartographie conceptuelle et certaines de ces études se sont penchées sur des modalités de passation qui sont très peu utilisées dans la pratique. En contrepartie, la production d’une carte à partir de zéro, qui est en fait la modalité la plus populaire pour évaluer les apprentissages des individus, ne semble pas avoir reçu autant d’attention de la part des chercheurs.

La dernière sous-dimension de la tâche considérée par Ruiz-Primo et Shavelson (1996), soit la structure du contenu, concerne l’interaction entre les contenus disciplinaires et les deux dimensions précédentes. Cette interaction peut prendre plusieurs formes, mais la hiérarchisation des connaissances et des concepts est une caractéristique d’une tâche qui incarne bien ce qui est entendu par la structure du contenu. Comme il a été mentionné au deuxième chapitre, Novak (Cañas et Novak, 2008; Novak et Gowin, 1984) prône l’organisation (semi-) hiérarchique du contenu d’une carte conceptuelle. Or, selon plusieurs (Ruiz-Primo, Schultz, et coll., 2001; Ruiz- Primo et Shavelson, 1996; Ruiz-Primo, Shavelson, et coll., 2001; Yin et coll., 2005), il n’y aurait aucune raison de demander à tout coup aux individus d’organiser hiérarchiquement leurs concepts. Certains domaines de connaissances, par exemple des branches de la biologie s’y prêtent peut-être, mais d’autres domaines ne s’y accommodent pas. Qui plus est, il est parfois très difficile d’identifier les niveaux hiérarchiques d’une carte lors de la correction de cartes produites par des individus (Watson, Pelkey, Noyes et Rodgers, 2016; West, Pomeroy, Park, Gerstenberger et Sandoval, 2000).

3.5.2 Le format de réponse

La deuxième composante du cadre conceptuel de Ruiz-Primo et Shavelson (1996) concerne le format de réponse et se divise en trois sous-dimensions. La première de ces sous- dimensions, le « mode de réponse », désigne le support avec lequel l’individu manifeste ses connaissances. Dans la présente recherche, deux supports sont pris en considération : le support papier et le support informatisé. Ruiz-Primo et Shavelson (1996) ont considéré quant à eux un troisième mode de réponse qui ne répond pas aux conditions de cette thèse : la production orale. Dans ce mode de réponse, une autre personne, souvent un chercheur, a comme responsabilité

41

de tracer une carte à partir des connaissances verbalisées par l’individu lors de la réalisation de la tâche. Il n’est donc pas certain que la carte finale, tracée par une autre personne, reflète exactement l’organisation des connaissances de la personne qui fait l’objet de l’évaluation. C’est pourquoi ce mode de réponse a été écarté dans cette recension.

Même si le support de passation est une dimension importante d’une tâche de cartographie conceptuelle, il n’est pas toujours évident d’établir lequel a été privilégié dans les études antérieures. En fait, le support de passation n’est précisé que dans 58 % des études. Comme le Tableau IX l’indique, les cartes conceptuelles ont été tracées de manière traditionnelle sur support papier la majorité du temps, et ce quel que soit l’objectif de la recherche. Dans quelques rares études, les participants ont également eu la liberté de choisir entre le support informatisé ou le support papier. La tendance observée au Tableau IX est vraisemblablement appelée à évoluer : les études recensées s’étalent sur une période de plus de trente ans et les chercheurs n’avaient pas nécessairement accès aux mêmes logiciels et ressources informatiques que celles auxquelles ils pourraient avoir accès maintenant et dans les années à venir.

La variété des supports de passation soulève toutefois des enjeux différents selon le contexte d’évaluation des apprentissages. Le choix d’un ou plusieurs supports suscite d’abord des enjeux en matière de formation préalable à la cartographie conceptuelle. La personne qui construit une carte conceptuelle doit évidemment se familiariser avec les outils et ressources mis à sa disposition (Weinerth et coll., 2014). Dans certaines situations, le support de passation soulève aussi des enjeux relativement à la comparabilité des notes. En contexte d’évaluation à grande échelle, par exemple, il n’est peut-être pas possible d’offrir les mêmes supports et les mêmes conditions de passation à toutes les personnes et dès lors, il faut s’assurer que le support de passation n’avantage ni ne désavantage pas certains groupes de candidats à l’examen (Raikes et Harding, 2003). À ce jour, l’étude de Brandstädter et coll. (2012) est la seule qui a comparé les notes d’élèves qui ont subi une tâche de cartographie conceptuelle à l’ordinateur ou à la main. Ils en sont arrivés à la conclusion que les supports ne sont pas équivalents : les participants ont obtenu des notes plus élevées lorsqu’ils construisent leur carte à l’ordinateur.

42

Tableau IX. Distribution des supports de passation dans les études recensées

Support Apprécier les propriétés

psychométriques Dispositif d’évaluation des apprentissages Total Papier-crayon 74 % 65 % 69 % Informatique 26 % 31 % 29 % Papier- crayon/Informatique 0 % 5 % 3 %

La seconde dimension du format de réponse correspond à la personne qui trace la carte conceptuelle, ce que Ruiz-Primo et Shavelson (1996) nomment le « cartographe ». Dans les articles analysés dans leur recension, la carte peut être produite directement par la personne évaluée, tout comme elle peut aussi être tracée par une autre personne ou par un groupe de personnes. Au risque de se répéter et conformément aux conditions énoncées précédemment, seule la première situation est prise en considération dans cette recherche. La personne évaluée doit rendre une carte conceptuelle à la fin de la tâche.

Les caractéristiques du format de réponse constituent la troisième et dernière dimension du format de réponse. Cette dimension correspond aux spécificités de la tâche et des ressources mises à la disposition des individus. Ces caractéristiques varient donc d’une étude à l’autre et il est très difficile de les répertorier. Quelques exemples peuvent pourtant en illustrer la variété. L’utilisation d’étiquettes amovibles, communément appelées des Post-its™, lors de la production d’une carte conceptuelle sur support papier est un premier exemple de caractéristiques du format de réponse. Ces étiquettes permettent de déplacer plus facilement les nœuds de la carte (Cañas et Novak, 2008), ce qui est pratique autant lors de la phase d’élaboration d’une carte que lors de sa révision. L’utilisation de feuilles optiques dans les modalités du type « compléter les trous » est un deuxième exemple (Schau et Mattern, 1997; Schau, Mattern, Zeilik, Teague et Weber, 2001). Dans cette approche, il est attendu que les répondants retranscrivent leur réponse sur la feuille optique, c’est-à-dire qu’ils noircissent les numéros correspondant aux énoncés du concept qu’ils ont inscrits dans chaque trou, avant que les tâches soient corrigées et notées.

43

En somme, cette analyse pointue des modalités de passation, en se basant sur le cadre conceptuel de Ruiz-Primo et Shavelson (1996), a mis en lumière la diversité des manières de collecter des données à partir de cartes conceptuelles. Même s’il existe une certaine cohérence pour ce qui est des exigences générales de la tâche, il y a plusieurs facteurs et consignes spécifiques de la tâche qui sont différents d’une étude à l’autre. Nul doute, la variété des modalités de passation amène à se poser des questions au sujet de la comparabilité de celles-ci. Ces questions seront approfondies à la section 3.8.