La deuxième étude a fourni des valeurs pour 3 596 noms en français pour deux variables sémantiques basées sur l'expérience perceptuelle: la force perceptuelle visuelle et auditive.
136
L'analyse de fiabilité intra-étude (entre les participants) a montré que nos nouvelles valeurs étaient cohérentes entre les évaluateurs. L'analyse de fiabilité inter-études (entre notre étude et d’autres études précédentes) a révélé que nos valeurs étaient cohérentes avec celles de la base de données française de Bonin, qui a évalué l’expérience sensorielle en général (Bonin et al., 2015). Ainsi, nous avons élaboré des normes fiables en franco-canadien pour la force perceptuelle dans les modalités visuelles et auditives.
De plus, notre étude a affirmé la nature sémantique de la force perceptuelle visuelle et auditive en démontrant son lien avec les variables sémantiques, comme l’âge d’acquisition, l’imageabilité et la concrétude. Cette affirmation est cohérente avec Bonin et ses collègues (2015). Les scores visuels élevés sont associés à des mots plus imagés et à un âge plus précoce d'acquisition du mot. La force perceptuelle visuelle était étroitement associée à l'imageabilité, ce qui suggère que la force perceptuelle visuelle et l'imageabilité partagent certaines représentations sémantiques visuelles / imagées. La force perceptuelle et l'imageabilité sont considérées comme des variables sémantiques subjectives, car elles sont basées sur les expériences personnelles et les connaissances de l'individu. Le chevauchement de la variable de force perceptuelle visuelle et de l’imageabilité est prévu puisque les deux variables se basent sur des représentations visuelles mentales. La correction forte mais imparfaite entre la force perceptuelle et l’imageabilité prouve ce chevauchement dans notre étude (r = .862, p<.01) et dans d’autres études en langues différentes, comme en russe, r = .775, p<.01 (Miklashevsky, 2017), en anglais, r = .496, p<.01 (Connell & Lynott, 2012), et en italien, r =.66, p<.01 (Vergallito et al., 2019). La différence consiste dans l’expérience sensorielle avec le stimulus. Dans l’évaluation de la force perceptuelle, on demande au participant de focaliser toute son
137
attention sur l’expérience visuelle qu’il a eu avec le concept (Connell & Lynott, 2014). Par contre, pour l’imageabilité, les notations ne tiennent pas compte d’une modalité sensorielle en particulier, même si nous parlons d’ « image mentale ».
D'autre part, la variable âge d’acquisition est également considérée comme ayant une composante sémantique puisqu’elle a montré son effet dans des tâches sémantiques, telles que la décision lexicale et la dénomination des mots (Brysbaert & Ghyselinck, 2006; Cuetos & Barbón, 2006; Davies, Wilson, Cuetos, & Burani, 2014; Ghyselinck et al., 2004). En conséquence, nous avons constaté que plus un mot est appris tôt, plus sa force perceptuelle visuelle est forte. L'association entre la force perceptuelle visuelle et la concrétude, telle que celle que nous avons trouvée ici, a été expliquée en termes de représentations verbales et imagées des concepts concrets (Crutch et al., 2009; Crutch & Warrington, 2005; Holcomb et al., 1999; Jessen et al., 2000). Il a été démontré que les concepts concrets ont des liens plus directs avec les représentations imagées, tandis que les concepts abstraits n'ont que des liens indirects avec les images via d'autres codes verbaux (Binder et al., 2005; Crutch et al., 2009; Crutch & Warrington, 2005).
D'autre part, la force perceptuelle auditive était liée, mais plus faiblement que la force perceptuelle visuelle, à d'autres variables sémantiques. Ce n'est pas surprenant. Les instructions utilisées pour obtenir les valeurs de concrétude ne mentionnent pas explicitement que les évaluateurs devraient considérer toute expérience sensorielle, autre que celle visuelle, comme une forme de concrétisme. D'un autre côté, les instructions utilisées pour obtenir les cotes d'imageabilité mentionnent explicitement que les évaluateurs devraient principalement se fier à l'image mentale suscitée par le mot. Ces instructions sont susceptibles de créer un biais envers
138
la modalité de perception visuelle. Prises ensemble, ces données semblent corroborer l’hypothèse qui soutient que les évaluations de la concrétude et de l'imageabilité capturent principalement les aspects visuels de l'expérience sensorielle (Bonin et al., 2015; Juhasz & Yap, 2013).
Nous avons ensuite conduit des analyses de régression par étapes afin d’explorer la contribution de la force perceptuelle visuelle et auditive au-delà d’autres variables psycholinguistiques. Six modèles de régression ont été mis en place. Dans tous les modèles de régression, nous avons regroupé dans le premier pas les variables orthographiques (nombre de syllabes), lexicales (OLD20, fréquence de livres et fréquence subjective). Une fois l’effet des variables orthographiques et lexicales contrôlées, les variables sémantiques (imageabilité ou concrétude ou SER) étaient rajoutées dans un pas successif dans chaque modèle. Dans le dernier pas, la force perceptuelle visuelle et auditive était incluse respectivement dans des modèles différents. Les résultats ont montré que la force perceptuelle visuelle et auditive explique une partie de la variance des temps de réaction en décision lexicale, au-delà de la contribution de l’imageabilité et de la concrétude. La force perceptuelle visuelle a montré aussi sa contribution au-delà de celle de l’expérience sensorielle (SER), tandis que la force perceptuelle auditive n’a pas montré cet effet.
De plus, la relation entre les deux modalités, visuelles et auditives, confirme la multimodalité des concepts représentés par les mots écrits. En italien, la même corrélation négative entre la modalité visuelle et la modalité auditive a été retrouvée et l’explication donnée se base sur l’exclusivité de certaines modalités et sur le fait que les concepts qui peuvent être expérimentés par l’ouïe sont considérés comme plus abstraits et moins visuels (Vergallito, Petilli
139
& Marelli, 2019). Les noms fortement auditifs font souvent référence à des choses que l'on peut également voir (par exemple, le mot « chanteuse » a une cote visuelle de 72,5 et auditive de 77 sur 100; voire Annexe 7) (Lynott & Connell, 2013). Bien que la grande majorité des concepts de notre échantillon soient visuellement dominants, l’analyse de corrélation a montré que beaucoup de ces mots avaient également une grande force perceptuelle auditive et devaient donc être qualifiés de bimodaux (par exemple, « ambulance » a une cote visuelle de 89,40, et auditive de 87,14 sur 100; voire Annexe 7).
Le fait que la force perceptuelle, visuelle et auditive, ait un rôle autre que celui de la concrétude et de l’imageabilité dans l'explication des temps de réponse en décision lexicale a déjà été signalé dans une étude en anglais (Connell & Lynott, 2012). Cependant, il est important de noter qu'ils ont utilisé une variable de force perceptuelle similaire à la nôtre, mais légèrement différente. La mesure de leur variable de force perceptuelle était basée sur la modalité perceptuelle dominante d'un concept (force de perception maximale). Par exemple, si le concept « citron » avait une cotation gustative très élevée par rapport à d’autres modalités, c’est cette cotation-là qui a été utilisée comme mesure de la force perceptuelle. Donc, leurs résultats étaient avantagés par la modalité la plus forte et, par conséquent, nos résultats fournissent d’autres preuves spécifiques à deux modalités, soit la visuelle et l’auditive.
L'absence d'effet de la force perceptuelle auditive, au-delà de l’effet de la SER, pourrait être due à différents facteurs. Premièrement, l’analyse a été effectuée sur un petit sous-ensemble de mots de notre base de données puisque les cotations communes avec celles de Bonin pour la SER ne sont disponibles que pour 542 mots. Deuxièmement, une autre explication possible pourrait provenir de la distribution de ces 542 mots en termes de propriétés visuelles et auditives.
140
Pour tester cette hypothèse, nous avons effectué une analyse par grappes (cluster analysis) afin de déterminer s'il existait différents modèles de mots dans notre base de données, en fonction de leurs évaluations de la force perceptuelle visuelle et auditive. Les résultats de l'analyse par grappes ont montré que les mots étaient répartis dans trois groupes (Annexe 5). Le groupe 1 (N = 774 mots) comprenait des mots avec une forte force perceptuelle visuelle et auditive. Le groupe 2 (N = 1 468) regroupait les mots ayant une faible force perceptuelle visuelle et auditive. Enfin, le groupe 3 (N = 1 354) était composé de mots ayant une forte force visuelle, mais une faible force perceptuelle auditive. Ces résultats sont en accord avec ceux d'autres études qui ont montré que les modalités visuelles et tactiles ont tendance à être regroupées et que la modalité auditive n'a été incluse dans aucun des deux groupes (Lynott & Connell, 2013; Tsaparina et al., 2011). Si nous considérons le sous-ensemble de 542 mots avec les évaluations SER, 445 mots (82% du total) appartenaient au groupe de forte force de perception visuelle et auditive (groupe 1). Ainsi, le fait que la grande majorité des mots inclus dans la base de données par Bonin et ses collègues pour les SER aient une faible force perceptuelle auditive pourrait, en partie, expliquer pourquoi la force perceptuelle auditive n'explique pas de variance des temps de réponse de la décision lexicale. Des études futures sur une base de données plus vaste comprenant des concepts plus fondés sur des caractéristiques auditives, nous aideraient à mieux comprendre le rôle de la force perceptuelle auditive dans le traitement visuel de mots. L’absence d’un groupe « faible visuel, fort auditif » montre aussi la prépondérance de la modalité visuelle. La plupart des concepts auditifs seraient également expérimentés dans les modalités visuelles (telles que les instruments de musique ou les oiseaux). Les sons purement auditifs sont aussi imageables, mais ils sont probablement très rares (sirène, musique, par exemple), alors que le contraire est plus fréquent (insectes ou meubles). Dans une étude en IRMf, pendant le traitement d’éléments
141
dominants visuellement, les chercheurs ont observé une corrélation négative entre l’activation des aires visuelles primaires et les aires auditives bilatérales, y compris le planum temporal et le gyrus de Heschl (HG, localisation du cortex auditif primaire) (Amedi, Malach & Pascual- Leone, 2005). Ceci soutient la corrélation négative retrouvée dans nos analyses et dans les analyses d’études similaires.