Considérations méthodologiques de la recension des écrits

Une recension systématique des écrits4 _{a été réalisée dans le but d’assurer la plus grande} représentation possible des études concernant la cartographie conceptuelle. Pour ce faire, une recherche par mots-clés a été effectuée dans trois champs (le titre, les sujets et le résumé) de trois bases de données (PsychINFO, Scopus et ERIC) pour répertorier tous les textes en anglais qui concernent à la fois le domaine de l’évaluation des apprentissages et celui de la cartographie conceptuelle (voir les termes recherchés dans le Tableau III). La collecte de données comprend tous les textes publiés avant janvier 2018.

Tableau III. Termes considérés lors de la recherche de textes dans les bases de données

Concept Termes

Évaluation des apprentissages assessment, assess, measurement, measure, evaluation, evaluate

Carte conceptuelle concept map, concept maps, concept mapping, knowledge map, knowledge maps, knowledge mapping

4 _{Par recension systématique des écrits, il est entendu que la collecte de textes a été faite de manière systématique}

en examinant tous les documents repérés dans les bases de données considérées, et ce dans le but de brosser le portrait des études portant sur les usages de la carte conceptuelle comme outil de collecte de données en vue de l’évaluation des apprentissages. La méthode suivie lors de cette recension ne suit pas de normes particulières, comme la norme PRISMA (Moher, Liberati, Tetzlaff et Altman, 2009), même si elle partage plusieurs principes de base.

26

Par souci de contrôle de qualité, seuls les documents révisés par des pairs, c’est-à-dire les rapports de recherche avec comité de lecture, les articles publiés dans les actes de conférence, les articles publiés dans les revues scientifiques et les thèses ont été retenus. Au total 2481 références ont été répertoriées dans les trois bases de données, soit 581 références dans ProQuest, 515 dans PsychINFO et 1385 dans Scopus. Les résultats de recherche des trois bases de données ont été mis en commun et les doublons ont été éliminés. Ce sont finalement 1984 références distinctes qui ont été traitées par la suite.

L’étape suivante a consisté à colliger les textes. Certains textes n’ont plus être collectés pour l’une des quatre raisons énumérées dans le Tableau IV. Puis s’en sont suivis une première lecture des résumés et un travail de filtrage des documents restants (N = 1885).

Tableau IV. Description des facteurs d’exclusion lors de la récupération des textes Facteur

d'exclusion

Description Fréquence

Non disponible Soit le texte est introuvable, soit il existe uniquement en version papier et celle-ci n’est pas disponible.

49 Accès payant La revue scientifique requiert un accès payant qui n’est

couvert pas dans les catalogues de l’Université de Montréal 36 Langue

étrangère

Le texte est rédigé dans une langue autre que le français ou l’anglais.

13 Très mauvaise

qualité du document

La copie disponible du texte est illisible. 1

La stratégie de recherche documentaire de départ étant très ouverte, un grand nombre de textes a été répertorié dans les bases de données, dont plusieurs qui ont fini par ne pas être retenus pour cette recension. Le Tableau V dresse la liste des facteurs d’exclusion à la suite de l’analyse de contenu des résumés ou des textes. En fin de compte, ce sont seulement 7,6 % des textes répertoriés (150 sur 1984) au départ qui ont fini par faire l’objet des analyses plus détaillées.

27

Comme il est possible de le constater, la majorité des textes a été exclue parce qu’ils n’étaient pas d’intérêt pour le présent projet, et ce même si les champs de recherche renfermaient les mots-clés. Les termes associés à l’évaluation et à la cartographie conceptuelle sont en effet assez généraux et polysémiques, de telle sorte que plusieurs textes d’autres domaines de connaissances ont été identifiés par les moteurs de recherche. Ces textes ont été exclus de la liste finale à la suite d’une première lecture de leurs résumés. Le Tableau V dresse l’inventaire des autres raisons pour lesquelles les textes ont été écartés des analyses.

Tableau V. Description des facteurs d’exclusion lors de l’analyse du contenu des textes répertoriés Facteur d'exclusion Description Fréquence Texte non pertinent

Même si les champs sondés lors de la recherche contiennent au moins une référence aux termes liés à l’évaluation et une référence aux termes associés à la cartographie conceptuelle, le texte ne concerne pas le domaine de connaissances de la recension. Par exemple, il peut faire référence à la méthode de recherche de « concept mapping » de Trochim (1989).

1434

Définition non conforme

La définition de la carte conceptuelle n’est pas conforme à celle présentée au deuxième chapitre ou le chercheur ne définit pas clairement ce qui est entendu par une carte conceptuelle.

85

Aucune étude empirique

Le document ne présente pas d’étude empirique. 70 Informations

manquantes

Plusieurs informations relatives aux considérations théoriques ou méthodologiques sont absentes du texte.

57 Modalités de

passation non conformes

La méthode de collecte de données n’exige pas que la personne évaluée produise ou complète une carte conceptuelle ou la carte est produite en équipe.

28 Facteur d'exclusion Description Fréquence Automatisation de la production d’une carte conceptuelle5

Le texte traite de méthode pour générer une carte

conceptuelle de manière semi-automatisée ou automatisée, à partir de sources de données variées (réponses aux tests, textes produits par les répondants, textes issus d’ouvrage de référence). Il ne traite pas nécessairement de

l’évaluation des apprentissages.

19

Absence de modalité de notation

Les chercheurs procèdent à un traitement strictement qualitatif du contenu des cartes, souvent sous la forme d’une analyse de contenu. L’étude n’a pas directement comme objectif d’apprécier le niveau d’apprentissage des personnes évaluées.

17

Duplicata Le texte est quasi identique à un autre document ou il présente la même étude empirique.

12

Les 150 textes retenus ont donc été analysés selon plusieurs dimensions, plusieurs trouvant leur source d’inspiration dans le cadre conceptuel de Ruiz-Primo et Shavelson (1996). Ces derniers ont étudié quatre dimensions des tâches de cartographie conceptuelle : les modalités de passation, les modalités de notation, les estimations de la fidélité des scores et les preuves de validité. Ce chapitre aborde ces quatre dimensions en plus d’en ajouter deux nouvelles : les objets d’évaluation et les modalités de formation. Toutes ses dimensions se divisent elles-mêmes en sous-dimensions, qui sont définies dans leur section respective.

D’autres dimensions et sous-dimensions ont été considérées au cours du traitement des données, mais faute d’information dans les textes, elles ont été abandonnées. L’une de ces dimensions est d’ailleurs la fonction de l’évaluation. Même si certains chercheurs mentionnent que la carte conceptuelle peut servir de dispositif d’évaluation formative (par ex., Berlanga, van Rosmalen, Boshuizen et Sloep, 2012; Cathcart, 2016; Conlon, 2006; Joseph, Conradsson,

5 _{La recherche documentaire ne visait pas directement cette thématique qui, il faut le rappeler, concerne le deuxième}

article de cette thèse. Cela dit, ces textes ont été consultés et certains d’entre eux ont été considérés lors de l’écriture de cet article. Les autres textes n’ont pas été retenus parce qu’ils ne répondaient pas aux critères choisis dans cet article.

29

Nilsson Wikmar et Rowe, 2017) ou de dispositif d’évaluation sommative (par ex., Rice, Ryan et Samson, 1998), c’est assez rare qu’ils situent leurs travaux de recherche par rapport à l’une ou l’autre des fonctions d’évaluation. Cela s’explique probablement par le fait que les données collectées au moyen de tâche de cartographie conceptuelle servent essentiellement aux fins de la recherche et qu’en fin de compte, le ou les enseignants n’exploitent pas les données en salle de classe.