L’intégration texte-illustration

L’intégration texte-illustration consiste à présenter les différentes sources d’informations (texte et illustration) sur un même document. Selon de nombreux auteurs, comme V. Gyselinck87, W.H. Levie et R. Lentz88, M. Hegarty, P.A. Carpenter et M.A. Just89, la présentation d’images conjointement au texte faciliterait la construction d’un modèle mental. Un modèle mental est une forme de représentation analogique de la connaissance et qui peut être construit suite à une représentation propositionnelle. Il permet de rendre explicite la structure des situations telles que nous les imaginons ou les percevons. Il est une représentation de la situation évoquée par un texte. Le modèle mental est à la fois source et produit d’inférences et sa construction n’est pas automatique. Les lecteurs ne réalisent pas systématiquement sa construction. Il dépend des capacités limitées de la mémoire de travail qui permet de contribuer à la facilité ou non à construire ce modèle.

A. Tricot90 et J. Sweller91 ont effectué de nombreux travaux sur l’intégration texte-illustration et mettent en évidence les bénéfices de l’intégration spatiale des éléments textuels et illustrés.

De même, M. Hegarty et ses collaborateurs (Hegarty, Carpenter et Just, 199692 ; Hegarty et Just, 198993, 199394) ont examiné l’intégration d’illustrations dans un texte. Les résultats suggèrent que les illustrations peuvent aider à construire une représentation de la structure. Les illustrations peuvent présenter sous un autre format les propriétés (visuelles et spatiales) de l’information textuelle et constituer une nouvelle source d’information en apportant de nouvelles informations non délivrées dans le texte. Elles permettent également d’agir comme un aide-mémoire en réactivant des connaissances qui ne se trouvent plus en mémoire de travail.

87 Gyselinck, V. (1996). Op. cit.

88 Levie, W.H., Lentz, R. (1982). Effects of text illustrations : A review of research, Educational Communication &

Technology Journal, 30(4), 195-232.

89 Hegarty, M., Carpenter, P.A., Just, M.A. (1996). Diagrams in the comprehension of scientific texts. In R. Barr, M.L. Kamil, P. Mosenthal, & P.D. Pearson (Eds.), Handbook of reading research, vol. II, p. 641-668, Mahwah, N.J. : Lawrence Erlbaum Associates.

90 Tricot, A. (1998). Charge cognitive et apprentissage. Une présentation des travaux de John Sweller. Revue de

Psychologie de l’Éducation, 3, 37-64.

91 Sweller, J. (1999). Op. cit.

92 Hegarty, M., Carpenter, P.A., Just, M.A. (1996). Op. cit

93 Hegarty, M., Just, M.A. (1989). Understanding machines from text and diagrams. In H. Mandl & J.R. Levin (Eds.), Knowledge acquisition from text and pictures (pp. 171-194). Amsterdam : North-Holland.

94 Hegarty, M., Just, M.A. (1993). Constructing mental Models of Machines from Text and Diagrams. Journal of

54 Levin et al. (cités dans Gyselinck, 199695) proposent une méta-analyse des résultats observés sur 150 expériences qui ont été menées (Levin et al., 1987) sur le rôle des illustrations sur la mémorisation de textes. L’analyse comparative des résultats observés a montré un effet bénéfique sur la mémorisation de textes accompagnés d’illustrations par rapport à des textes présentés seuls. Ce résultat varie selon la fonction que l’illustration remplit, aussi bien lorsque le texte est écrit que oralement.

Les illustrations ayant une fonction de transformation apportent un bénéfice plus substantiel par rapport aux autres types d’illustrations. Ce type d’illustration permet à l’apprenant de recoder le texte sous une forme plus mémorisable et de se focaliser sur l’information critique. Viennent ensuite les illustrations ayant une fonction d’interprétation, d’organisation, de représentation et enfin de décoration. Ces autres types d’illustrations ayant pour rôle de répéter l’information textuelle, de rendre un texte plus cohérent, d’accompagner un texte difficile à comprendre ou de rendre plus esthétique la présentation d’un cours, apportent moins au niveau de la mémorisation.

De nombreuses recherches ont été menées sur le traitement de cette intégration et plusieurs approches ont vu le jour. L’approche d’une voie unique de Z.W. Pylyshyn96 suggère que les phénomènes perceptifs peuvent être expliqués par des raisonnements tacites de type symboliques, sans faire appel à des hypothèses d'imagerie mentale, ou de processus analogiques de traitement de l'information visuelle.

L’approche multi-niveaux de W. Schnotz97 intègre la construction d’une représentation issue de textes (écrits ou lus) et d’illustrations. Il établit une distinction entre les représentations

descriptives (définies comme des suites de symboles pouvant représenter un texte ou une

représentation verbale) et les représentations dépictives (constituées de signes visuels concrets ou abstraits). Cette catégorisation permet de distinguer le type de média parvenant à l’apprenant. Un message verbal (un texte, par exemple) est une représentation descriptive alors qu’un message visuel (un histogramme, par exemple) est une représentation dépictive. Nous nous intéresserons plus particulièrement à l’approche du double codage (Paivio, 197198, 198699) qui postule des traitements séparés ainsi qu’une représentation séparée de

95 Gyselinck, V. (1996). Op. cit.

96 Pylyshyn, Z.W. (1973). What the mind’s eye tells the mind’s brain : a critique of mental imagery, Psychological

Bulletin, 80, 1-24, 1973.

97 Schnotz, W., Bannert, M. (2003). Construction and interferences in learning from multiple representations. Learning and Instruction, 13, 141-156.

98 Païvio, A. (1971). Imagery and Verbal Process. New York, Holt, Rinehart & Winston.

55 chaque média. Il distingue deux représentations ; les « logogènes » pour le langage et les « imagènes » pour les images. Sa théorie repose également sur trois connexions : représentationnelles (activation des représentations verbales et imagées), référentielles (connexions entre les deux systèmes) et associatives (activation de représentations à l’intérieur d’un même système). Selon l’auteur, les performances dans les épreuves de rappel et de reconnaissance sont plus élevées pour les images que pour les mots. Par exemple, une image d’un cheval permet un codage double du fait que le cheval est codé et stocké en mémoire sous une forme verbale (mot désignant le cheval) et sous une forme imagée. Par ailleurs, le mot cheval est essentiellement codé de façon verbale.

De même, les mots ayant une forte valeur d’imagerie (exemples : pomme, voiture, chemise) sont mieux encodés que les mots ayant une faible valeur d’imagerie (exemples : conscience, politique, morale). La théorie du double codage met ainsi en évidence que l’information encodée en logogène et imagène favorise la mémorisation et la compréhension. Néanmoins, il lui est difficile de rendre compte des processus mis en jeu lors de la compréhension de textes (Denis, 1989)100.

Figure 6 : Représentation schématique du double codage de Païvio (1971, 1986).

Les systèmes de traitements séparés pour les informations visuelles et auditives, propres à A. Paivio, ont inspiré de nombreux chercheurs pour développer leur théorie (Mayer, 2001)101.

100 Denis, M. (1989). Image et cognition, Paris, PUF.

56 Cependant, la notion de modèle mental semble plus adaptée en proposant un rôle de l’illustration situé sur l’élaboration de représentations mentales plus pertinentes. Un document comportant des illustrations et un texte utilise ainsi la même source visuelle et peut avoir des effets sur le traitement de l’information. Pour comprendre le traitement de l’information de la part de l’apprenant et les effets du format de présentation, J. Sweller propose sa théorie de la charge cognitive que nous développerons dans la partie 2.