Les mesures de la composante de surveillance (monitoring)

Il existe au moins 2 sortes de processus de surveillance ou monitoring du contenu de la mémoire qui sont fonction du moment de l’évaluation.

L’évaluation est prospective lorsque le sujet émet une prédiction sur la performance future de mémoire ; elle est rétrospective lorsqu’il estime sa performance après la tâche (« postdiction ») ou évalue la qualité de ses réponses lors d’une tâche de récupération.

Dans le cas de l’évaluation prospective, on peut identifier une diversité de jugements. Nelson et Narens (1994) décrivent trois catégories de jugements prospectifs de performance :

- les jugements de « facilité d’apprentissage » (judgements ease-of-learning, E.O.L.), - les jugements d’apprentissage (judgements of learning – JOL),

Dans ce cas de jugement prospectif, un jugement de certitude ou de confiance dans la réponse est délivré. Il s’agit pour la personne de déterminer si les éléments restitués correspondent aux données effectivement apprises dans une phase antérieure. Le sujet peut également évaluer de manière globale la qualité de sa performance ou prédire de façon globale cette performance. Nous décrirons chacune de ces mesures (EOL, JOL, FOK, sentiment de confiance, prédiction globale) ainsi que leurs modes de calcul.

3.2.1.1. EOL

Les jugements de « facilité d’apprentissage » (judgments ease-of-learning, E.O.L.) ont lieu avant l’acquisition, alors que le sujet découvre pour la première fois les informations à retenir, et portent sur chaque item à apprendre, ou sur l’ensemble des items (jugement global). Classiquement, il est demandé aux sujets de juger de la facilité ou non de l’apprentissage d’un item en répondant par oui ou non, ou en répondant sur une échelle de Likert en plusieurs points.

3.2.1.2. JOL

Les jugements d’apprentissage (judgments of learning – JOL) ont lieu pendant ou après l’apprentissage et permettent d’estimer le degré d’apprentissage de chaque item. Ces jugements consistent en une prédiction de performance future pour des informations qui viennent juste d’être apprises, qui viennent ou non d’être testées et qui ne sont pas nécessairement accessibles au moment du jugement.

Le JOL est une prédiction de rappel qui s’effectue item-par-item lors de l’apprentissage. Elle permet de mesurer la connaissance du sujet sur sa capacité à rappeler des items précis. Il s’agit pour le sujet de prédire le rappel futur d’un item particulier. Par exemple, au moment de la phase d’encodage (présentation des items), on va demander au sujet de prédire sa capacité d’apprentissage de chaque item sur une échelle de Likert (de 0% de chance de le rappeler dans un test de rappel futur à 100% de chance). Cette prédiction est ensuite comparée à la performance effective ; un indice de précision est calculé. Celui-ci permet de déterminer si les sujets évaluent avec justesse leurs compétences mnésiques (voir description du mode de calcul des indices de précision chapitre 2 partie 3.2.1.3).

3.2.1.3. FOK

Dans la littérature, les jugements de « sentiment de savoir » (feeling-of-knowing judgments – FOK) sont les plus étudiés des jugements métacognitifs. Les jugements FOK ont attiré l’attention pour mieux comprendre comment il est possible de savoir que l’on connaît une information alors que l’on est incapable de récupérer en mémoire cette information, situation au cours de laquelle les sujets échouent dans le recouvrement d’une cible recherchée mais peuvent néanmoins juger si elle est stockée en mémoire ou non. De tels phénomènes, comme le phénomène du mot sur le bout de la langue (voir Brown & McNeill, 1966 ; Koriat & Lieblich, 1974 ; Brown, 1991), sont déconcertants parce qu’ils combinent 2 aspects apparemment contradictoires, la conviction subjective qu’on connaît l’information sollicitée et l’actuelle incapacité à la produire.

Les jugements FOK surviennent pendant ou après l’acquisition et portent sur les éléments d’information non accessibles au rappel. Le plus souvent, les jugements FOK sont relevés au cours d’un test de mémoire (par exemple, le rappel) et consistent en une prédiction de la performance lors d’un autre test de mémoire sur les mêmes éléments (par exemple, la reconnaissance). Ainsi, les jugements FOK consistent en une prédiction de reconnaissance, intéressant les items non récupérés lors de la phase de rappel. Cette prédiction est effectuée item-par-item, lors de la phase de récupération. Elle permet d’évaluer la capacité du sujet à prédire la reconnaissance d’items non directement accessibles en mémoire. Par exemple, lorsqu’un item n’est pas récupéré en phase de rappel, on va demander au sujet s’il pense reconnaître l’information cherchée parmi plusieurs réponses soit en répondant par oui ou non ou alors sur une échelle de Likert (0% à 100% de chance de reconnaître la bonne réponse).

Le principe est identique à celui du JOL à savoir prédire la reconnaissance future d’un item particulier. Les mesures sont les mêmes que le JOL (indice de précision). Ainsi, lors de jugements métacognitifs, il est important de distinguer les prédictions de FOK de la précision de ces prédictions. Ainsi, la prédiction correspond au jugement porté par le sujet sur sa capacité à récupérer un item en mémoire lors d’une tâche de reconnaissance à venir. La précision, quant à elle, correspond à l’exactitude des prédictions.

- mesures de prédiction :

Pour évaluer la prédiction, Souchay (2000) propose de calculer la proportion d’items prédits être reconnus [(nombre d’items prédits être reconnus / nombre de prédictions) x 100], et la proportion d’items prédits être non reconnus [(nombre d’items prédits être non reconnus / nombre de prédictions) x 100].

- mesures de précision :

La précision des prédictions est classiquement mesurée en comparant les prédictions à la performance obtenue lors du test appelé « test critère » car proposant plusieurs alternatives dans un test de reconnaissance (il existe également des conditions dites de prédiction absolue ou de prédiction relative développées par Nelson & Narens (1990)). Trois mesures de précision sont décrites dans la littérature sur la métamémoire.

La première a été proposée par Hart (1965, 1967). Elle correspond à la comparaison de la proportion de reconnaissances correctes pour les items prédits être reconnus (prédiction oui) à la proportion de reconnaissances correctes pour les items prédits ne pas être reconnus (prédiction non). La formule de calcul utilisée est alors la suivante : [a/(a+b)]-[c/(c+d)] avec :

Reconnaissance

Yes No

Yes A B

FOK

No C D

Les items (a) et (d) correspondent aux prédictions correctes ou concordantes, les items (b) et (c) correspondent aux prédictions incorrectes ou discordantes.

Dans le cas d’un jugement FOK précis, on s’attend à ce que le nombre de reconnaissances pour les items prédits être reconnus soit supérieur au nombre de reconnaissances pour les items non reconnus. Ainsi, selon Schacter (1983), plus la différence entre les items prédits reconnus et effectivement reconnus (a) et les items prédits non reconnus et reconnus (c) est grande, et plus le jugement FOK peut être considéré comme précis.

Par la suite, une seconde mesure a été utilisée dans la littérature, elle a été proposée par Nelson (1984) et décrite sous le nom d’indice Gamma (ou corrélation Gamma). Cet indice a été obtenu en corrélant le jugement FOK et la reconnaissance. De manière plus précise, la mesure consiste à comparer, pour les différentes formes de prédictions, les réponses concordantes avec les réponses discordantes (voir tableau précédent de correspondance des items). Cet indice se calcule de la façon suivante : (Concordances - Discordances) / (Concordances + Discordances), c’est-à-dire (ad – bc) / (ad + bc).

La troisième mesure de précision est le coefficient Hamman (Romesburg, 1984), recommandé par Schraw (1995) pour pallier aux problèmes méthodologiques inhérents au calcul de l’indice Gamma (calcul parfois impossible) et lorsque le nombre d’observations par

individu est faible. Ce coefficient correspond à la différence entre les proportions de réponses correctes et incorrectes fournies par les sujets. Ce coefficient se calcule de la façon suivante : (a + d) – (b+c) / (a+d) + (b+c). Son interprétation est semblable à celui de l’indice Gamma.

Ces 2 scores de précision du jugement FOK sont compris entre –1 et +1. Une valeur positive élevée correspond à une association forte entre les performances en reconnaissance et la prédiction de jugement FOK. Dans ce cas, le nombre de concordances, ou bonnes prédictions, est supérieur au nombre de discordances, ou mauvaises prédictions. Une valeur proche de zéro correspond à l’absence d’associations, discordances et concordances étant équivalentes en nombre. Dans cette situation, la précision du jugement FOK est indéterminée. Enfin, une valeur négative correspond à une relation inverse, le nombre de discordances étant supérieur au nombre de concordances. Dans ce cas, on parlera d’imprécision du jugement FOK.

3.2.1.4. Sentiment de confiance

La confiance du sujet dans ses propres réponses mnésiques est relevée après l’épreuve mnésique plutôt qu’en anticipation. Classiquement, on demande au sujet de juger de son degré de confiance dans sa réponse sur une échelle de Likert.

Ensuite diverses mesures peuvent être calculées en fonction des études et du type de questionnement. Par exemple, une mesure de calibration peut être calculée. Prenons l’exemple d’une échelle de probabilité en 6 points allant de 0% à 100% et traduisant le sentiment de confiance de la réponse donnée à un test de rappel. Pour chaque item d’une liste, les sujets sont invités à fournir une valeur en utilisant cette échelle. On calcule ensuite, pour chaque valeur de probabilité estimée, la proportion réelle de rappels corrects. En principe, dans le cas d’une calibration optimale, la probabilité donnée à un ensemble d’items d’un même niveau devrait être la même que la probabilité d’avoir une bonne réponse sur ce même ensemble : les items jugés avec une probabilité de 0% devraient tous être oubliés, 20% des items jugés avec une probabilité de 20% devraient être effectivement rappelés…, tous les items jugés comme sûrs à 100% devraient effectivement être retrouvés (Oskamp, 1962).

Il peut également être calculé la moyenne des pourcentages de confiance des items rappelés correctement et celles des items non rappelés. La difficulté des items peut également être prise en compte.

3.2.1.5. Mesures de prédictions globales

La connaissance des individus relative à leurs compétences mnésiques a également été évaluée par des mesures de prédictions globales de performance (Cavanaugh & Perlmutter, 1982). Il s’agit pour le sujet de prédire sa performance, avant (prédictions) ou après (postdictions) la réalisation de la tâche. Par exemple, le sujet peut avoir à prédire le nombre de mots qu’il pense pouvoir rappeler sur une tâche donnée. Selon Cavanaugh et Perlmutter (1982), plus la prédiction est précise et plus la connaissance des individus sur leur mémoire est juste.

Lorsque ces prédictions sont effectuées avant l’exécution de la tâche, Hertzog (1992) suggère de les considérer comme des jugements d’efficacité spécifique à un contexte immédiat de mémorisation. Par contre, lorsqu’elles sont réalisées après la tâche, Connor, Dunlosky & Hertzog (1997) proposent de les envisager davantage comme des mesures de la fonction de monitoring (Nelson & Narens, 1990). La précision des prédictions est évaluée par différents scores. Le score le plus utilisé est un score de différence, consistant à soustraire la performance effective à la prédiction (Hertzog, Dixon & Hultsch, 1990). Ainsi, plus un sujet est précis, plus le score de différence entre prédiction et performance doit être faible. Cette mesure d’exactitude permet notamment d’évaluer l’existence de jugements optimistes (surestimations), pessimistes (sous-estimations) et justes. Il existe plusieurs indicateurs de l’exactitude de prédiction (Hasselhorm & Hager, 1989) :

- la différence « simple » entre prédiction et performance permet de distinguer la surestimation et la sous-estimation de la performance. Toutefois, en cas de moyennage des différences (différences positives et négatives), on peut avoir l’illusion d’une bonne capacité de prédiction au niveau du groupe alors que tel n’est pas le cas à un niveau individuel.

- La différence absolue entre prédiction et performance permet mieux de saisir l’exactitude sans considérer le signe des écarts. Avec cette mesure, le même statut est attribué aux surestimations et aux sous-estimations ; on estime en fait l’intensité de l’erreur d’estimation, indépendamment de sa direction.

- L’écart d’exactitude relatif à la performance totale permet de clarifier la notion d’exactitude de prédiction. En effet, un écart identique entre prédiction et performance n’aura pas la même signification en terme d’exactitude selon le niveau de performance atteint. Un sujet qui surestime sa performance de 3 items n’est pas aussi exact dans sa prédiction s’il rappelle au total 4 items ou s’il en rappelle 12. Dans le premier cas, son inexactitude de prédiction représente 75% de sa

performance alors que dans le second cas, son inexactitude en représente seulement 25%.

C’est pourquoi dans les travaux utilisant des mesures de prédiction, il est conseillé d’utiliser divers calculs d’une même mesure pour obtenir à la fois une évaluation de l’exactitude de la prédiction et du sens de celle-ci en terme de sous-estimation et de surestimation.