The maintenance of cross-domain associations in working memory

(1)

Thesis

Reference

The maintenance of cross-domain associations in working memory

LANGEROCK, Naomi

Abstract

La mémoire de travail est le système responsable du maintien et traitement des informations simultanément. Nous faisons appel à cette capacité en continu dans notre vie quotidienne.

Par exemple, lors d'une conversation, il faut retenir le sujet de la conversation, pendant qu'on continue à traiter de nouvelles informations rajoutées par les interlocuteurs. De nombreuses études ont essayé de révéler le fonctionnement de la mémoire de travail. La plupart de ces études se sont concentrées sur le maintien des informations simples, comme des couleurs ou des formes. Notre environnement est par contre plutôt composé d'objets constitués de plusieurs caractéristiques. Dans cette thèse, nous avons essayé de comprendre comment sont maintenues ces informations associées. Plus spécifiquement, nous avons étudié la capacité, les ressources et les représentations des informations inter-domaines, composées alors de caractéristiques de différents domaines, comme par exemple le nom d'une ville et sa localisation.

LANGEROCK, Naomi. The maintenance of cross-domain associations in working memory. Thèse de doctorat : Univ. Genève, 2015, no. FPSE 603

URN : urn:nbn:ch:unige-744586

DOI : 10.13097/archive-ouverte/unige:74458

Available at:

http://archive-ouverte.unige.ch/unige:74458

Disclaimer: layout of this document may differ from the published version.

1 / 1

(2)

Section de Psychologie

Sous la direction du Prof. Pierre Barrouillet

THE MAINTENANCE OF CROSS-DOMAIN ASSOCIATIONS IN WORKING MEMORY

THESE

Présentée à la

Faculté de psychologie et des sciences de l’éducation de l’Université de Genève

pour obtenir le grade de Docteur en Psychologie

par

Naomi LANGEROCK

de Belgique

Thèse No 603

GENEVE

Juin 2015

N° étudiant: 08-345-118

(3)

(4)

MERCI

* first of all to my thesis supervisor, Pierre Barrouillet. I want to thank you for the opportunity you have given me to develop my research qualities throughout these years, for guiding me when necessary while in the meantime leaving me enough freedom to explore the directions I found interesting myself. I have enormously learned from this collaboration and am very grateful for this experience.

* next to the members of my jury: Candice Morey, Matthias Kliegel, Richard Allen and Valérie Camos. I want to thank you first of all for the time you have taken to evaluate this PhD thesis, and secondly for being present on the day of my PhD defense, which I hope will reveal some interesting discussions.

* to all of my current as well as former colleagues: Annalisa, Aurore, Caro, Caroline, Carotte, Catherine, Claudio, Evie, Fleur, Françoise, Gaën, Isa, Juliette, Kim, Morgane, Nico, Sandrine and Seb: I want to thank all of you for the stimulating environment you have provided me on a scientific level, as well as for the great moments of entertainment we have experienced together. I couldn’t have imagined a nicer environment to work in.

* an additional thank you goes out to Evie: I want to thank you for your important contribution in my scientific career. Moving to Geneva has been possible through your networking, inviting me to join the research team you worked in was another great

opportunity for me. I have enjoyed our collaboration and hope this will continue in the future.

* a last but not least personalized thanks is addressed to my partner Bram: I value high the sacrifices you have made for my career, including moving to Geneva, taking care of our little family, etcetera. Without you, I couldn’t have made it.

* I would like to address a final thank you to all of my friends and family, who have in these latest years been there for me, in any possible way.

(5)

(6)

Abstract

Working memory refers to the capacity to maintain and process information

simultaneously. For example, during a conversation one keeps in mind what the conversation is about while continuously updating his point of view as the adverse speaker adds new information. The functioning of the working memory system has initially been studied by investigating the maintenance of simple types of information (e.g., letters, colors, or locations) in the presence of other processing activities. Nonetheless, the information to be maintained in real life is much more complex than these single features. In order to

understand more profoundly how our working memory acts in everyday situations, research has started to investigate the maintenance of more complex information, for example feature associations. Up until now, the different lines of research on the topic have not yet reached a general consensus. The goal of this research project was to contribute to the understanding of our working memory system when it comes to the maintenance of more complex information.

This has been achieved by investigating the maintenance of cross-domain associations (letters in locations), in the presence of processing activities. We have focused on the capacity limits, the implemented resources and the underlying representations for the maintenance of these cross-domain associations. The results of the eight experiments we ran have taught us that presenting information as integrated associations presents a capacity advantage in terms of the amount of feature information that can be maintained. The maintenance of these associations is spontaneously achieved in an integrated object-based format, which additionally maintains the link between the components of these associations. The integrated maintenance of cross- domain associations is mainly dependent on domain-general attentional resources, without the involvement of domain-specific verbal (e.g., verbal rehearsal) or visuo-spatial resources (e.g., visualization). In case of an intentional maintenance of the association as an object, the link between the features is automatically maintained. In case of maintenance of the information focused on the composing features and not the association as a whole, the availability of attentional resources will be decisive on the maintenance of the link between the features.

Further details of our findings are described and discussed in the present thesis, which has elaborated our understanding of the maintenance of cross-domain associations.

(7)

I

Le maintien des associations inter domaines en mémoire de travail

La mémoire de travail est l’un des systèmes les plus importants pour la cognition humaine. En effet, ce système permet de combiner le maintien de certaines informations et le traitement d’autres informations. Par exemple, lors d'une conversation, il est nécessaire de maintenir le sujet et les opinions des locuteurs, tout en continuant à réfléchir et traiter les nouvelles informations ajoutées au fur et à mesure de la conversation. Une grande partie de nos activités quotidiennes fait appel à nos capacités en mémoire de travail. Il n’est alors pas surprenant qu’un nombre considérable de recherches ait été menées pour comprendre le fonctionnement de la mémoire de travail. Le plus ancien modèle de mémoire de travail est le modèle à composantes multiples de Baddeley et Hitch (1974). Malgré de récentes

modifications, cette conception correspond jusqu’à présent globalement à notre conception de la mémoire de travail. Baddeley et Hitch (1974) ont proposé que la mémoire de travail

fonctionne à l’aide de plusieurs composantes: deux systèmes de maintien et un administrateur central responsable du traitement des informations mais également de la supervision des systèmes de maintien. Les deux systèmes de maintien que sont la boucle phonologique et le calepin visuo-spatial prennent respectivement en charge le maintien des informations verbales et le maintien des informations visuo-spatiales. Ce modèle a suscité un grand nombre d’études visant à expliquer le fonctionnement de la mémoire de travail. Ces études se sont intéressées au maintien de simples informations verbales ou visuo-spatiales pendant le traitement d’autres informations, ou à l’impact du maintien de ce type d’information sur les processus du

traitement.

Récemment, cette stricte séparation entre le maintien des informations verbales et des informations spatiales, comme proposée dans le modèle à composantes multiples, a été remise en question. Plus spécifiquement, les études ont cherché à savoir comment des informations qui sont à la fois verbales et visuo-spatiales sont maintenues en mémoire de travail. Par exemple, comment maintenir les noms de villes et leur localisation sur une carte ? Dans sa première version, le modèle à composantes multiples de Baddeley et Hitch (1974) ne pouvait pas rendre compte de la mémorisation de ce type d’information. Pour faire face à ce

problème, un nouveau composant a été intégré dans le modèle, le buffer épisodique. Ce

(8)

II

système permettrait d’intégrer tout type d’information, peu importe son domaine ou sa modalité, et de maintenir ces informations de manière intégrée. Malgré le fait que le buffer épisodique ait été conceptualisé pour pouvoir maintenir des associations de composants issus de différentes modalités, les premières études se sont surtout intéressées au maintien des associations intra domaines, notamment dans le domaine visuo-spatial (e.g., comment maintenir des informations comme un triangle jaune, ou un carré bleu).

Parallèlement à l’évolution du modèle à composantes multiples, d’autres approches théoriques ont été proposées, chacune avec ses spécificités propres. Dans notre exposé, afin d’illustrer comment peuvent être abordées les mêmes questions par différents modèles, nous avons étudié le modèle des processus imbriqués (embedded process model) de Cowan (Cowan, 1988, 1999) et le modèle de partage temporel des ressources (time-based resource sharing model) de Barrouillet et Camos (Barrouillet, Bernardin, & Camos, 2004; Barrouillet

& Camos, 2012; Barrouillet & Camos, 2015). En effet, ces deux modèles se sont intéressés à la question actuelle de savoir comment sont maintenues des associations d’informations en mémoire de travail. Pour l’instant, une réponse unanime à cette question n’a pas été apportée.

Le but de cette thèse est d'explorer plus amplement trois thèmes majeurs de la mémoire de travail concernant le maintien d'informations associées: les représentations, les ressources et la capacité. Nous avons choisi de mener notre recherche en utilisant des

associations inter domaines, c'est-à-dire combinant des informations de domaines différents, i.e., des lettres (domaine verbal) dans des localisations (domaine spatial). Ce choix a été fait tout d’abord car ce type de maintien a été largement laissé de côté, en comparaison du nombre d’études sur le maintien des associations intra domaines. Deuxièmement, du point de vue du modèle à composantes multiples, ces associations inter domaine seraient les plus susceptibles de nous renseigner sur le fonctionnement du buffer épisodique, la structure conceptualisée afin de pouvoir accueillir des informations associées.

Nous allons brièvement situer les discussions en cours concernant les trois thèmes de recherche. Ensuite, nous présenterons les expériences que nous avons conduites dans le but de résoudre certains points de discussion. Pour finir, nous préciserons quelle a été la contribution de notre projet de recherche quant aux connaissances concernant le maintien des associations d’informations en mémoire de travail.

(9)

III

Les représentations d'informations associées en mémoire de travail

Les options théoriques concernant les représentations d'informations associées en mémoire de travail peuvent être classées selon deux points de vue différents. Certains travaux favorisent l’idée que ces associations sont maintenues sous forme d’objets. Ainsi, Luck et Vogel (1997) et Vogel, Woodman, et Luck (2001) ont montré qu’autant d’objets, composés de plusieurs traits comme par exemple des bâtons colorées et orientées, pouvaient être maintenus que de traits simples, comme par exemple des couleurs seules. Ces objets seraient maintenus dans un système pouvant contenir des informations associées, comme le buffer épisodique. Cependant, ce point de vue a largement été critiqué notamment par Wheeler et Treisman (2002) qui ont suggéré que les unités de maintien en mémoire de travail consistent en des traits simples. Ces traits seraient maintenus dans des systèmes de maintien spécifiques à chaque domaine, comme le modèle à composantes multiples l’a toujours proposé. A l’aide de l’attention, des associations de traits peuvent être créées et maintenues. Par contre, sans attention, ces associations se décomposent de nouveau en traits simples.

Ces deux points de vue ont ensuite été critiqués chacun de leur côté. Les travaux de Luck et Vogel ont surtout été dévalorisés par l'échec de plusieurs tentatives de réplication (e.g., Hardman & Cowan, 2015; Wheeler & Treisman, 2002). Malgré quelques études appuyant le point de vue de Wheeler et Treisman (e.g., Brown & Brockmole, 2010; Fougnie

& Marois, 2009), un grand nombre de recherches ont contesté le rôle que l’attention jouerait dans le maintien des informations associées (e.g., Allen, Baddeley, & Hitch, 2006; Johnson, Hollingworth, & Luck, 2008).

Il est à noter que toutes les études évoquées précédemment ont porté sur le maintien d'associations visuo-spatiales. Néanmoins, certaines études se sont intéressées à la

représentation d’associations inter domaines, par exemple le maintien de lettres dans des localisations. Ces études ont clairement montré que ces informations associées sont

maintenues de manière intégrée (e.g., Elsley & Parmentier, 2009; Morey, 2009; Prabhakaran, Narayanan, Zhao, & Gabrieli, 2000). Cependant, le rôle de l’attention dans ce maintien intégré n’a pas été clairement établi. Cette question est au cœur des expériences que nous avons menées.

Etudier les associations inter domaines comme instances d’informations associées devrait nous permettre de mieux comprendre la structure de la mémoire de travail. Pour rappel, le modèle à composantes multiples propose que des systèmes de maintien spécifiques

(10)

IV

sont dédiés au maintien des informations verbales ou visuo-spatiales. Ainsi, si les associations inter domaines sont maintenues comme des objets, elles ne peuvent pas être maintenues dans l’un ou l’autre de ces systèmes spécifiques, mais obligatoirement dans le buffer épisodique.

Le modèle de processus imbriqués et le modèle du partage temporel des ressources ne proposent qu’une structure générale qui peut accueillir tout type d’information et cette dernière question s’applique donc moins à ces modèles.

Les ressources impliquées dans le maintien des informations inter domaines

En lien avec la question concernant les représentations, nous nous intéressons aussi aux ressources impliquées dans le maintien des informations associées. Nous avons

mentionné dans la section précédente le point de vue de Wheeler et Treisman (2002) et autres qui suggèrent que l'attention permet de maintenir de simples traits comme des associations.

Les ressources attentionnelles seraient donc particulièrement impliquées dans le maintien des associations. Cependant, ce point de vue n’a pas été confirmé par la majorité des études, qui au contraire, ont montré que le maintien des associations d’information ne dépend pas plus des ressources attentionnelles que le maintien des simples traits. Une seule étude a abordé ce point de discussion pour les associations inter domaines. Elsley et Parmentier (2009) ont observé, en accord avec Wheeler et Treisman, que le maintien des informations inter domaines dépendrait effectivement des ressources attentionnelles. Malheureusement, une comparaison avec les ressources attentionnelles nécessaires pour le maintien des traits simples n’était pas inclue dans le paradigme utilisé. Une confirmation des résultats d’Elsley et

Parmentier est donc indispensable car leurs résultats sont en contradiction avec la majorité des études sur le maintien des associations visuo-spatiales, lesquelles suggèrent que le maintien de représentations intégrées ne nécessite pas de ressources attentionnelles particulières.

Les études qui se sont concentrées sur les ressources impliquées dans le maintien des informations associées se sont presque toutes intéressées uniquement aux ressources générales de type attentionnel. Qu’en est-il des ressources spécifiques aux domaines ? Les associations inter domaines se prêtent plus facilement à ce genre d’investigation que les associations intra domaine, par exemple en utilisant un paradigme d’interférence sélective. Ceci a été fait dans quelques études et les résultats montrent que des ressources spécifiques verbales semblent être impliquées, mais il n’y a pas d’évidence pour une implication des ressources spécifiques visuo-spatiales (e.g., Guérard, Morey, Lagacé, & Tremblay, 2013; Guérard, Tremblay, &

(11)

V

Saint-Aubin, 2009; Morey, 2009). Néanmoins, ces recherches ne permettent pas de conclure de manière certaine quant à l'implication de ressources spécifiques seulement pendant

l’encodage ou également pendant le maintien. Plus de recherches sont donc nécessaires afin de confirmer et préciser ces conclusions.

Les limites de capacité pour le maintien des informations associées

Les études de Luck et Vogel (1997) et Vogel et al. (2001) ont montré qu’environ quatre traits simples peuvent être maintenus en mémoire de travail, mais également que quatre objets, chacun composé de quatre traits maximum, pouvaient aussi bien être maintenus en mémoire de travail. Ils ont donc suggéré que les associations d’informations étaient

maintenues en mémoire de travail comme des objets et que les unités de maintien étaient des objets. Les limites de capacité seraient donc identiques, que l’on doive maintenir des

orientations des bâtons ou des orientations et leur couleur. Par contre, aucune étude n’a pu répliquer ces résultats (e.g., Delvenne & Bruyer, 2004; Olson & Jiang, 2002; Wheeler &

Treisman, 2002). Au contraire, il a été montré que l’on ne peut pas maintenir en mémoire de travail autant d’objets que de traits simples (Hardman & Cowan, 2015; Oberauer &

Eichenberger, 2013). Ces études ont également mis en évidence que plus de traits simples pouvaient être maintenus quand ceux-ci avaient été présentés comme des objets plutôt que lorsqu’ils le sont en présentation isolée. Les limites de la capacité de la mémoire de travail seraient donc à la fois imposées par le nombre d’objets et par le nombre de traits simples par objet. Des études sur le maintien des associations inter domaines ont confirmé que notre capacité de rétention de traits simples est améliorée si ces traits font partie d’un seul objet plutôt que s’ils ont été montrés de manière isolée (Morey, 2011; Prabhakaran et al., 2000).

Néanmoins, tant que nous ne savons pas exactement comment sont représentées les

associations d’information en mémoire de travail, il reste difficile de comprendre ces limites de capacités.

Comme mentionné auparavant, nos connaissances actuelles sur le maintien des

informations associées restent assez limitées et toujours en débat. La plupart des études sur le sujet se sont concentrées sur les associations intra domaines, notamment sur les associations d’informations visuo-spatiales. Le but de notre recherche est plus globalement de comprendre

(12)

VI

comment sont maintenues en mémoire de travail des informations associées. Nous avons choisi d’atteindre ce but en nous concentrant sur des associations inter domaines. En ce sens, nous avons donc étudié les représentations, les ressources et la capacité de la mémoire de travail concernant le maintien des informations inter domaines, i.e. des lettres dans des localisations.

La méthodologie

Nous nous sommes écartés sur plusieurs points des standards utilisés dans la recherche sur les associations d’informations. En premier lieu, nous avons choisi d’utiliser un

paradigme de rappel plutôt qu’une tâche de détection du changement. Cette dernière est la plus souvent utilisée dans l’étude des associations d’information et consiste en la présentation d’un nombre d’items suivi d’un délai de rétention et d’un test de reconnaissance. Lors de la phase de présentation et de reconnaissance, un ou plusieurs items sont présentés. En phase test, le sujet doit décider si le ou les items présentés est (ou sont) identique à l’un des items (ou l’arrangement d’items) présenté au moment de la mémorisation. Malgré une abondante utilisation de ce paradigme, nous estimons qu’une procédure de rappel est plus appropriée.

Celle-ci permet d’évaluer directement les capacités de la mémoire de travail sans devoir faire des suppositions sur le taux de bonnes réponses dues au hasard. Nous avons utilisé ce

paradigme de rappel dans une procédure d’empan. Ceci nous a donc permis de graduellement augmenter le nombre d’items à maintenir afin de constater à partir de quelle longueur de série le participant échoue.

Une deuxième différence entre notre méthodologie et celles plus classiquement utilisées concerne le délai de rétention pendant lequel le participant doit maintenir des associations en mémoire de travail. Un délai de 900 ms est habituellement utilisé, les études utilisant des délais dépassant les 3000 ms étant très rares. Dans notre recherche, nous avons choisi d’utiliser des délais compris entre 4000 et 65000 ms, ceci dans le but d’étudier principalement les processus de maintien, ce que ne permettent pas des délais de rétention plus courts. Ces délais de rétention prolongés ont été intégrés dans des tâches classiques de mémoire de travail telles que le paradigme de Brown-Peterson et l’empan complexe (voir Figure 1). Dans les deux paradigmes, nous avons procédé à une manipulation du coût cognitif de la tâche concurrente à exécuter pendant les délais de rétention afin de vérifier les

conséquences d’une diminution des ressources attentionnelles sur le maintien des

(13)

VII

informations associées. Le coût cognitif a été manipulé en augmentant le nombre d’items à traiter dans un même intervalle de temps ou bien en diminuant le temps de l’intervalle pour un même nombre d’items à traiter. Ceci est également présenté dans la Figure 1.

Figure 1: Exemple d’un essai dans lequel doivent être maintenues deux associations inter domaines dans a) un paradigme Brown-Peterson et b) un paradigme d’empan complexe. Les essais montrent également la manipulation du coût cognitif. CC = Coût cognitif, trait = item de traitement.

Les expériences

Dans une première expérience, nous avons étudié les limites de la capacité de la mémoire de travail pour des associations inter domaines composées d’une lettre et une localisation. Plus précisément, nous avons comparé cette limite aux limites pour le maintien des traits simples, i.e., des lettres ou des localisations. Un même nombre d’associations ou traits simples étaient donc présentés comme items à mémoriser. Nous avons manipulé le coût cognitif de la tâche concurrente afin de vérifier le rôle des ressources attentionnelles dans ces limites de capacités. Les résultats sont présentés dans la Figure 2, volet a. Comme on peut le constater, les participants maintiennent en mémoire de travail moins d’associations inter domaines que de traits simples. Quand le coût cognitif de la tâche concurrente augmente, le nombre d’items maintenu diminue. Les associations et les traits simples sont pareillement sensibles à la variation de cout cognitif. Apparemment, les ressources attentionnelles ne jouent donc pas un rôle particulier dans le maintien intégré des associations inter domaines.

(14)

VIII

Figure 2 : Score d’empan dans a) Expérience 1 et b) Expérience 3 par domaine et coût cognitif et dans l’Expérience 3 également par mode de présentation. Les barres d’erreurs représentent l’erreur standard.

Cette dernière conclusion a été confirmée dans les deuxième et troisième expériences.

Dans ces deux expériences, nous avons comparé le nombre de traits qui pouvait être maintenus si ces traits étaient présentés intégrés ou isolés. Le coût cognitif de la tâche

concurrente était également manipulé pour évaluer l’impact de la disponibilité des ressources attentionnelles. Nous avons tout d’abord observé une plus grande capacité de maintien des traits en mémoire de travail lorsque la présentation était intégrée plutôt qu’isolée. De nouveau, il n’y avait pas d’impact du coût cognitif sur ces différences, ce qui contredit l’hypothèse d’un rôle particulier des ressources attentionnelles dans le maintien intégré de ces traits. Les

résultats de l’Expérience 3 sont montrés dans le volet b de la Figure 2.

Nous avons ensuite continué à étudier la nature les ressources impliquées dans le maintien des associations inter domaines. Les expériences précédentes avaient déjà montré l’implication des ressources attentionnelles, les scores d’empan diminuant systématiquement avec l’augmentation du coût cognitif. L’expérience 4 s’est donc concentrée sur les ressources spécifiques aux domaines. Nous avons testé si des ressources verbales ou visuo-spatiales étaient impliquées dans le maintien de ces associations en manipulant le domaine de la tâche concurrente. Le maintien des associations inter domaine était donc combiné à une tâche verbale, une tâche spatiale ou une tache neutre. Le coût cognitif était également manipulé pour les trois tâches afin de confirmer l’implication des ressources générales de type

(15)

IX

attentionnel. La Figure 3 montre que le domaine de la tâche concurrente n’a pas d’effet sur le maintien des associations inter domaines, l’effet de la nature de la tâche concurrente n’était pas significatif. Apparemment, les ressources spécifiques aux domaines ne sont donc pas impliquées dans ce maintien. Cependant, en augmentant le coût cognitif de la tâche concurrente, les performances de rappel diminuaient, ce qui confirme donc à nouveau l’implication des ressources attentionnelles. On pourrait imaginer que lorsque les ressources attentionnelles sont drastiquement diminuées, les ressources spécifiques aux domaines prendraient alors la relève pour favoriser le maintien des traits en mémoire de travail.

Toutefois, cette hypothèse est infirmée par le fait que des différences entre la tâche de traitement neutre et les tâches verbales ou spatiales n’étaient significatives dans aucune des conditions de coût cognitif. Nous concluons donc que, contrairement aux ressources générales attentionnelles, les ressources spécifiques aux domaines ne semblent pas impliquées dans le maintien des associations inter domaines. Une cinquième expérience a permis de renforcer cette conclusion en établissant la validité des tâches concurrentes qui ont un effet spécifique dans leur domaine respectif.

Figure 3 : Résultats de l’Expérience 4 : Empan par domaine de tâche de traitement et coût cognitif. Les barres d’erreurs représentent l’erreur standard.

Jusqu’ici, toutes les expériences semblent confirmer le maintien intégré des

informations inter domaines qui a été suggéré à plusieurs reprises (e.g., Elsley & Parmentier, 2009; Maybery et al., 2009; Morey, 2009; Prabhakaran et al., 2000). Les expériences 2 et 3 ont montré de meilleures performances en termes de traits pour des informations présentées intégrées plutôt qu’isolées. Ceci pourrait être expliqué par un maintien des associations en tant qu’objet unique, au lieu de deux traits simple à maintenir. Les performances de

(16)

X

l’expérience 1 montrent que moins d’associations complètes pouvaient être maintenues que de traits simples. Par contre, si nous comptons le nombre de traits rappelés indépendamment des associations (en tenant compte des traits rappelés isolément), nous voyons qu’au moins autant de traits provenant d’une présentation intégrée peuvent être maintenus que de traits présentés isolément (voir Figure 2, 3 associations = 6 traits versus 4 traits visuo-spatiaux ou 6 traits verbaux). De plus, il convient de tenir compte du fait que, pour les associations, nous avons compté uniquement les associations qui étaient rappelées de manière entièrement correcte.

Cependant, un certain nombre de traits ont également été rappelés sans leur homologue. Si nous comptons le nombre d’associations pour lesquelles au moins l’un des deux traits était rappelé correctement, le score d’empan pour les associations augmente de 3 à 4.79. Ceci est donc la preuve qu’un certain nombre de traits ont été rappelés de manière isolée et que le nombre de traits qui pouvait être maintenus en cas de présentation d’associations inter domaines est donc bien supérieur à six.

Ces trois premières expériences nous ont également montré une pente de déclin en fonction du coût cognitif similaire pour le maintien des informations inter domaines et le maintien des traits simples. Ceci nous laisse donc aussi penser qu’une association inter

domaine correspond à un seul item en mémoire de travail, de la même façon qu’un trait isolé.

Les expériences 4 et 5 ne contredisent pas non plus l’hypothèse d’un maintien intégré.

Une forte implication des ressources spécifiques aux domaines aurait suggéré le maintien séparé des informations verbales et spatiales, avec éventuellement un lien entre les deux. Au contraire, nous avons observé que ces ressources n’étaient pas réellement impliquées dans le maintien de ces associations. L’hypothèse concernant la plus stricte séparation des traits est donc invalidée. Néanmoins, ce résultat ne prouve pas non plus que ces associations soient bel et bien maintenues en tant qu’objets uniques.

Nous avons donc obtenu plusieurs pistes qui nous suggèrent que les associations inter domaines, présentées intégrées, sont ensuite maintenues intégrées comme un seul objet.

Cependant, une autre interprétation pourrait aussi bien expliquer ces résultats. Plusieurs auteurs (e.g., Ceraso, 1985; Duncan, 1984; Woodman & Vogel, 2008) ont suggéré qu’une présentation intégrée des traits résultait en un encodage simultané de ces informations, tandis qu’une présentation isolée aboutirait à un encodage séquentiel. Dans nos expériences 2 et 3, les participants auraient donc pu profiter d’un temps d’encodage ou de consolidation plus long dans la condition intégrée que dans la condition isolée. De plus long temps d’encodage ou de

(17)

XI

consolidation engendrent typiquement de meilleures performances en mémoire (Karlsen, Allen, Baddeley, & Hitch, 2010; Oberauer & Eichenberger, 201; Bayliss, Bogdanovs, &

Jarrold, 2015). Nous avons testé l’hypothèse que les meilleures performances de rappel dans la condition de présentation intégrée étaient dues à un plus long temps d’encodage et/ou de consolidation dans les expériences 6 et 7.

Dans les expériences 2 et 3, le temps de présentation total était égal pour la

présentation intégrée et isolée (voir Figure 4). Une présentation intégrée de deux traits était montrée pendant 1500 ms dans la condition intégrée. Pour une présentation isolée des traits, une localisation était présentée pendant 750 ms, suivie de la présentation d’une lettre pendant 750 ms. Cela faisait donc 1500 ms au total pour présenter les deux traits. Si la présentation intégrée donne effectivement lieu à un encodage simultané des traits, la présentation intégrée constituerait donc un vrai avantage en termes de temps car chaque trait pourrait être encodé pendant 1500 ms. Dans les expériences 6 et 7, nous avons neutralisé cet avantage. Nous avons manipulé les temps de présentation afin que le temps de présentation par trait soit équivalent (voir Figure 4). Ceci a été mis en place en doublant le temps de présentation dans la condition isolée. Nous avons pu observer qu’en cas de temps de présentation par trait égal, les

performances en mémoire étaient équivalentes dans les conditions de présentation intégrée ou isolée. A nouveau, la manipulation du coût cognitif n’avait pas d’impact différentiel sur les conditions intégrée ou isolée et ces performances équivalentes étaient donc observées dans les différentes conditions de coût cognitif. Tandis que les expériences 2 et 3 avaient laissé penser qu’une présentation intégrée résultait en un maintien intégré des informations, les résultats des expériences 6 et 7 montrent qu’une autre explication des effets peut aussi bien convenir.

Figure 4 : Temps de présentation des traits lorsque le temps total ou le temps par trait sont égalisés.

(18)

XII

Afin de résoudre la question concernant les représentations sous-jacentes pour le maintien des associations inter domaines, nous avons mis en place une huitième expérience.

Cette expérience se basait sur un paradigme de reconnaissance que nous avons combiné avec notre paradigme de rappel dans une même expérience. Le paradigme de reconnaissance a été utilisé dans plusieurs études pour montrer un maintien intégré des informations inter

domaines (e.g., Elsley & Parmentier, 2009; Morey, 2011; Prabhakaran et al., 2000). Afin de mettre en évidence un tel type de maintien, un pattern particulier de résultats doit être observé.

Quand on montre des associations intégrées, plusieurs types d’items de test (probes) peuvent être utilisés pour tester le maintien des traits. On peut présenter des items de test exactement comme ils ont été présentés précédemment (items intacts) ou recombiner des traits qui ont été présentés, mais en combinaison avec un autre trait (items recombinés). Pour ces deux types d’items de test, le participant doit répondre OUI, car il a vu lors de la phase d’étude les deux traits présentés dans l’item de test. On peut également présenter des items de test au sein desquels l’un des deux traits est nouveau (la lettre ou la localisation) ou dans lesquels les deux le sont. Dans ces cas-là, le participant doit répondre NON. Une comparaison du taux de réponses correctes et des temps de réaction pour les items de test intacts et les items de test recombinés nous permet d’en savoir plus sur les représentations impliquées. Si le taux de réponses correctes est plus élevé et les temps de réaction plus courts pour les items intacts que pour les items recombinés, ceci suggère un maintien intégré. Ces items de test intacts

pourraient notamment être comparés directement aux représentations maintenues intégrées, tandis que les items recombinés demanderaient une réorganisation des informations. Cette réorganisation demanderait donc du temps et accroîtrait le risque d’erreur. Si les

représentations des associations inter domaines ne correspondaient pas à des représentations intégrées, il ne devrait pas y avoir de différence en termes de taux de réponses correctes ou de temps de réaction car les deux types d’items de test susciteraient les mêmes processus de comparaison.

Nos résultats ont clairement montré que quand nous avions présenté des associations inter domaines intégrées, cela engendrait le pattern de résultats attendu dans le cas d’un maintien intégré. Ce pattern était significatif pour les temps de réaction (voir Figure 5) et les taux de réponses correctes ne contredisaient pas ce résultat. Les résultats concernant les taux de réponses correctes allaient dans la direction du pattern attendu mais sans être significatifs.

Par contre, quand nous avions présenté ces mêmes informations de manière isolée, aucune différence entre les taux de réponses correctes ou les temps de réaction n’était observée. De

(19)

XIII

plus, ces deux observations ont été constatées indépendamment de la condition de coût cognitif. Nous en concluons donc que des associations inter domaines sont maintenues intégrées et que ce type de maintien se fait indépendamment des ressources attentionnelles disponibles. Une présentation séparée de ces mêmes informations ne résulte donc pas spontanément en un maintien intégré.

Figure 5 : Résultats de l’Expérience 5 : temps de réaction pour les items de test intacts et recombinés, en fonction du mode de présentation et le coût cognitif. Les barres d’erreurs représentent l’erreur standard.

En termes de performance de rappel, nous avons à nouveau observé que lorsque le temps de présentation par trait avait été égalisé dans les deux conditions de présentation (intégrée et isolée), les performances de rappel étaient similaires. Néanmoins, la présentation intégrée de ces associations comporte deux avantages. En premier lieu, un temps de

présentation total plus court des informations est nécessaire pour arriver au même niveau de rappel. Deuxièmement, les liens entre les associations sont maintenus.

Discussion

Les conclusions principales de nos expériences peuvent être résumées de la manière suivante. Nous avons observé que moins d’associations inter domaines pouvaient être maintenues que de traits simples. Néanmoins, en termes de nombre de traits maintenus, le maintien des associations présente un réel avantage. Des ressources spécifiques aux domaines ne semblent pas impliquées dans le maintien des associations inter domaines, contrairement aux ressources générales de type attentionnel. Ces ressources sont impliquées dans le maintien général de ces associations mais pas particulièrement pour maintenir des associations dans un format intégré. Une présentation intégrée des associations inter domaines résulte en une

(20)

XIV

représentation intégrée en mémoire de travail, indépendamment du niveau de disponibilité des ressources attentionnelles. Une présentation isolée des traits de ces associations ne résulte pas spontanément en un même type de maintien intégré.

En intégrant nos résultats dans la littérature concernant le maintien des associations d’information, nous avons pu élaborer notre point de vue sur le maintien des informations associées et plus particulièrement les associations inter domaines. Un premier point de discussion dans la littérature concernait les représentations de ces associations. Les deux points de vue opposés consistaient soit en des représentations d’objets (e.g., Luck & Vogel, 1997), soit en des représentations de traits maintenus ensemble à l’aide de l’attention (e.g., Wheeler & Treisman, 2002). Nos résultats semblent plus en accord avec le point de vue d’un maintien en termes d’objets. Il a notamment été observé qu’une présentation intégrée des associations résultait en une représentation intégrée, et ceci même si les ressources

attentionnelles étaient fortement diminuées. Selon le point de vue de Wheeler et Treisman, cette diminution des ressources auraient dû résulter en un fractionnement des traits

composants. Nos résultats ne montrent aucune indication allant dans ce sens.

Cependant, la seule étude s’intéressant à l’implication des ressources attentionnelles sur les représentations sous-jacentes pour des associations inter domaines (Elsley &

Parmentier, 2009) avait montré que l’attention était fortement impliquée dans ces

représentations intégrées. Deux différences entre cette étude et la nôtre pourraient cependant être à la base de cette divergence des résultats. Tout d’abord, nos deux études diffèrent en termes d’intentionnalité de maintien du lien entre les traits. Dans l’étude d’Elsley et

Parmentier, les participants devaient maintenir des traits sans que leur lien n’ait d’importance.

Nous pouvons donc imaginer que lorsque beaucoup de ressources attentionnelles sont

disponibles, celles-ci sont engagées automatiquement pour enregistrer et maintenir ce lien. Par contre, quand peu de ressources attentionnelles sont disponibles, celles-ci sont tout d’abord engagées pour maintenir les traits. Si des ressources restent disponibles, les liens peuvent être maintenus, mais comme le maintien du lien n’est pas requis par la tâche, il sera le premier abandonné en cas de besoin. Strictement parlant, notre étude n’obligeait pas non plus les participants à maintenir ces liens. Ils auraient très bien pu faire la tâche en s’appuyant sur le maintien séquentiel des informations verbales et spatiales et en les recombinant au moment du rappel. L’expérience 4 a par contre montré que des ressources spécifiques aux domaines ne semblaient pas impliquées pour le maintien des associations inter domaines, ce qui jette donc un doute sur un supposé maintien séparé des traits. Nous supposons que le rappel sous forme

(21)

XV

d’objets a dû inciter les participants à maintenir ses associations intégrées¹. Un maintien intentionnel des liens entre les traits ne dépend donc pas forcément des ressources attentionnelles. Si le maintien des liens est intentionnel, dans le cas où les ressources attentionnelles seraient réduites, nous supposons que ce qui va être négligé sera plutôt une association entière que tous les liens entre les traits. L’intentionnalité du maintien des liens peut donc être un facteur très important dans l’explication des résultats. Il s’avère d’ailleurs que les études sur les associations intra domaine se sont toutes intéressé à ce "binding" fait de manière intentionnelle, et ce ne serait donc pas par hasard que la majorité de celles-ci ne montrent pas de rôle particulier de l’attention dans le maintien des informations intégrées.

Une deuxième différence entre l’étude de Elsley et Parmentier (2009) et la nôtre concerne les processus pendant lesquels les ressources attentionnelles sont diminuées. Dans notre étude, les participants avaient toutes les ressources attentionnelles à disposition pendant l’encodage des associations et ce n’était que lors des phases de maintien que moins de

ressources attentionnelles étaient disponibles. Dans l’étude d’Elsley et Parmentier, les

ressources attentionnelles étaient déjà diminuées au moment de l’encodage de l’association et également pendant le maintien. Il est donc bien possible que le lien entre les traits n’ait pas été encodé correctement, ce qui expliquerait un maintien séparé des traits. Des études

additionnelles seraient nécessaires afin de valider cette hypothèse.

Malgré le fait que nous n’ayons pas trouvé d’implications des ressources

attentionnelles spécifiques pour le maintien des associations sous format intégré dans nos études, des ressources attentionnelles étaient bien impliquées à un niveau plus global. Il était ainsi clair dans toutes les expériences qu’une augmentation du coût cognitif de la tâche concurrente menait systématiquement à une diminution des performances en mémoire pour les associations inter domaines. Cette diminution de performance était similaire pour les associations inter domaines et les traits simples (voir Figure 1, volet a). Ceci est bien en lien avec une représentation intégrée des associations inter domaines. Le maintien d’une

1 Nous avons d’autres raisons pour supposer que le maintien intégré était fait de manière intentionnelle.

Morey (2011) avait montré qu’une même présentation des associations inter domaines donnait de meilleures performances en mémoire si ces informations avaient été maintenues intégrées intentionnellement plutôt que de manière incidente. Dans une expérience non reportée ici, nous avons manipulé l’intentionnalité de ce maintien au-delà de notre procédure habituelle de rappel. Nous rajoutions donc une tâche qui nécessitait ou pas un maintien intégré des traits. Si notre tâche de rappel n’incitait pas en soi à un maintien intégré, l’addition de cette tâche incitant explicitement au maintien intégré aurait donc dû booster les performances de mémoire comparé à la condition avec la tâche qui ne nécessitait pas spécialement un maintien intégré. Ceci n’était par contre pas du tout le cas et nous en concluons que notre tâche de rappel par objet incitait déjà suffisamment un maintien intégré.

(22)

XVI

association dépend autant des ressources attentionnelles que le maintien d’un trait simple.

Pourquoi les limites des capacités en mémoire de travail sont-elles alors quand même moins élevées pour des associations que pour des traits simples ? Nous allons aborder cette question après avoir discuté l’implication des ressources spécifiques aux domaines.

Dans nos études, nous n’avons pas trouvé d’implication des ressources spécifiques aux domaines. Ceci était déduit de l’effet non différentiel du domaine de la tâche concurrente sur les performances de rappel des associations inter domaines. Le peu d’études nous renseignant là-dessus avait pourtant indiqué une participation des ressources spécifiques verbales dans le maintien des associations inter domaines, et effectivement pas de participation des ressources visuo-spatiales (e.g., Guérard et al., 2013; Guérard et al., 2009; Morey, 2009; Morey,

Guérard, & Tremblay, 2013). Comme pour la différence entre notre étude et celle d’Elsley et Parmentier (2009), cette divergence peut être liée à une implication de ces ressources au moment de l’encodage et non pendant le maintien. Dans les études montrant une implication des ressources spécifiques verbales, ces ressources étaient déjà diminuées au moment de l’encodage (par une suppression articulatoire ou similarité phonémique). Il est donc bien possible que ce soit plutôt l’encodage qui ait été gêné par ce manque de ressources spécifiques que le subséquent maintien.

Une autre explication pour cette divergence de résultats quant à l’implication des ressources spécifiques verbales concerne l’évaluation des performances de rappel. Les études citées ci-dessus ont toutes évalué cette performance en termes de traits, tandis que nous avons évalué le maintien des associations en entier. Nous jugeons possible que les associations en tant qu’objets sont maintenues uniquement par des ressources attentionnelles, tandis que les traits maintenus sans leur homologue dépendent essentiellement des ressources spécifiques à chaque domaine. Quand on évalue les performances par les traits maintenus, nous devrions donc observer un effet des ressources générales ainsi que des ressources spécifiques. Dans nos études, nous n’avons évalué que les performances sur les associations entières, lesquelles dépendraient donc essentiellement des ressources attentionnelles. Comme suggéré par l’étude de Morey sur le maintien des liens de manière intentionnelle ou incidente (Morey, 2011), différents niveaux d’intégration entre traits pourraient être possibles. Selon notre explication sur l’implication des différentes ressources dans le maintien des associations, ceci voudrait alors dire que les associations avec le plus haut niveau d’intégration seraient maintenues principalement par des ressources attentionnelles et pas par des ressources spécifiques aux domaines. Des associations représentant un plus faible niveau d’intégration (par exemple dans

(23)

XVII

le cas d’un maintien du lien de manière incidente) seraient donc progressivement plus

dépendantes des ressources spécifiques aux domaines et moins des ressources attentionnelles.

Compte tenu des discussions sur l’existence des ressources visuo-spatiales, nous imaginons que l’appui sur ces ressources serait donc moins important que l’appui sur les ressources verbales.

Revenons maintenant à la question soulevée antérieurement, à savoir si autant de ressources sont nécessaires pour maintenir une association qu’un trait simple, pourquoi la limite de capacité des associations inter domaines est-elle inférieure à cette limite pour des traits simples? Un simple principe pourrait expliquer cette observation. Prenons l’exemple d’un modèle à capacité fixe contenant quatre cases. Ces cases peuvent être remplies soit d’un trait simple, soit d’une association. Nous avons observé que, de temps à autre, des traits d’une association sont rappelés sans leur homologue. Dans ces cas-là, la case serait donc remplie par un seul trait et n’est pas comptabilisée dans notre calcul de la capacité. Nous avons eu la possibilité de calculer l’empan pour les associations inter domaines, en comptant le nombre de cases comprenant au moins un trait. Cet empan était de 4.79, 4.40 et 4.07 dans les conditions de coût cognitif faible, moyen et élevé respectivement et se retrouve donc à mi- chemin entre l’empan de localisations et l’empan de lettres. Nous considérons donc que les limites de capacité pour les associations inter domaines sont les mêmes que pour les traits simples. Dans notre cas, la limite a été évaluée plus élevée que pour des localisations, grâce aux ressources spécifique verbales. Comme on peut le constater dans la Figure 1, volet a, l’empan de lettres était également plus élevé que pour les localisations.

Un principe similaire à notre proposition de perte d’un seul trait pour expliquer la capacité moins élevée pour le maintien des associations a été proposé par Cowan, Rouder, Blume, et Saults (2012) sous le nom de "chunk decomposition", la décomposition des associations. Ils proposent qu’une association qui est censée n’occuper qu’une case peut en effet en occuper deux si le lien entre les deux traits est perdu. Les deux traits d’une même association occuperaient alors deux places au lieu d’une en mémoire de travail.

Le principe de la décomposition des associations, ou la perte occasionnelle d’un trait de l’association, expliquerait donc la différence entre les limites de capacité des associations et des traits simples, ainsi que les pentes de déclin similaires en fonction du coût cognitif. Si la perte de cases en fonction des ressources attentionnelles se fait en fonction du poids de la case avec les plus lourdes d’abord, ceci expliquerait pourquoi les pentes sont identiques. Si, par

(24)

XVIII

contre, la perte des cases se fait de manière aléatoire, une légère interaction pourrait quand même être observée. Néanmoins, il est possible que nos méthodes ne soient pas assez précises pour observer de si petites différences.

Conclusion

L’ensemble de nos études et des études antérieures nous permet de conclure que présenter des informations sous forme d’associations présente certaines avantages. Tout d’abord, moins de temps de présentation totale est nécessaire pour atteindre les mêmes

performances que dans le cas d’une présentation isolée des informations. Par ailleurs, les liens entre les traits sont maintenus en plus. Le rôle que joue l’attention dans le maintien intégré a pu être éclairci dans cette recherche. Un maintien des liens entre les traits de manière

incidente dépend probablement de l’attention. S’il y a assez d’attention, ce lien est maintenu, mais s‘il n’y a que peu de ressources attentionnelles disponibles, le maintien des traits est priorisé. Quand le lien est maintenu intentionnellement parce que nécessaire à la tâche, il ne dépend pas fortement de la quantité de ressources attentionnelles disponibles. Autant d’associations intégrées que possibles seront maintenues ainsi, et si une économie doit être faite, elle le sera sur une association entière plutôt que sur l’ensemble des liens entre les traits.

De plus, un maintien intentionnel augmenterait les performances de mémoire.

Nous pouvons donc conclure que la présentation intégrée des informations plus une incitation à maintenir le lien présente un vrai avantage en termes de capacité. Il a été suggéré que montrer l’importance des associations au moment du test serait nécessaire pour faire ressortir ces performance améliorées (Morey, et al., 2013). Nos études n’ont pas pu vérifier cette proposition, mais c’est un point auquel il faudra prêter attention à l’avenir.

(25)

(26)

Chapter 5: Working memory capacity for cross-domain associations________ 103 5.1. Cross-domain associations versus single features (Experiment 1) 103 5.2. Integrated versus isolated feature presentation (Experiment 2) 110 5.3. Integrated versus isolated feature presentation, a change of paradigm

(Experiment 3) 114

5.4. Discussion 120

Chapter 6: The resources for the maintenance of cross-domain

associations in working memory_____________________________ 123

6.1. The involvement of domain-general resources 123

6.2. The involvement of domain-specific resources (Experiment 4) 125 6.3. The validity of the processing tasks (Experiment 5) 129

6.4. Discussion 132

Chapter 7: The nature of the representations of cross-domain

associations in working memory_____________________________ 135 7.1. Integrated maintenance versus feature encoding advantage

(Experiment 6) 136

7.2. The role of feature encoding time replicated (Experiment 7) 140 7.3. Representations derived from the recognition paradigm (Experiment 8) 145

7.4. Discussion 158

(28)

Chapter 8: General discussion________________________________________ 160 8.1. The representations of cross-domain associations in working

memory 160

Evidence in favor of object-based maintenance 160 The default maintenance strategy for cross-domain associations 161 8.2. The resources for integrated cross-domain maintenance 165 No involvement of domain-specific resources 165 No involvement of attentional resources to maintain the link

between the features 168

The general involvement of attentional resources 170 8.3. The capacity limits for cross-domain maintenance 172 The capacity advantage of an integrated presentation 172 The capacity advantage of an intentionally integrated 174 maintenance

Capacity fluctuations 175

8.4. A model of cross-domain maintenance 177

8.5. Limits and drawbacks 180

Conclusion 182

References 184

(29)

(30)

1

PREFACE

General introduction

Human beings can make use of a certain number of skills that are indispensable for the continuous progress they make in their daily lives; e.g. to reasonably communicate with one another, to think logically and reason, to anticipate, to solve problems, … All of these skills make use of a common central capacity: working memory. In its most general form, working memory is defined as the system responsible for the simultaneous maintenance and

processing of information. One has to keep information in mind, while processing or transforming information in the meantime. For example during a conversation, one has to keep in mind what the conversation is about while processing incoming information of the adverse speaker and update his point of view as a result of new information. The same holds for problem solving. The goal has to be kept alive in one’s mind, while searching for a solution. If the goal is lost, a quest without utility is delivered to find a solution to an unknown problem.

As working memory is thus of a crucial importance to the human species, a lot of research has been dedicated to it. The first evidence for a working memory system as we know it nowadays was gathered by Baddeley and Hitch (1974). They questioned the argument made by Atkinson and Shiffrin (1968, 1971) that short term memory is the driving factor for general information processing. According to Atkinson and Shiffrin, cognitive activities would rely principally on short term memory for their execution, hence the name “working memory”. A series of experiments drove Baddeley and Hitch however to propose an alternative working memory structure, which combined diverse domain-specific memory stores with a central processing unit. Whenever a memory store is completely occupied, the central processing unit or “central executive” could take over the remaining maintenance activities, although this would hence result in less efficient processing. The other way round, when priority is given to processing activities, maintenance would be less efficient. This interplay between maintenance and processing, representing the concept of working memory, has continued to intrigue researchers. During the 40 years that separate us from the

introduction of the concept of working memory, alternative working memory models have been developed, the initial model of Baddeley and Hitch (1974) has been adapted and several different paradigms have been elaborated to study the functioning of working memory.

(31)

2

Research goals

Working memory can be approached from two points of view: the impact of a memory load on the processing of information or the impact of processing activities on memory

performance. Baddeley and Hitch (1974) had started the working memory research by investigating the influence of a memory load on processing activities, while further research has rather concentrated on the maintenance of information in the presence of interfering processing activities. Focusing on maintenance, the most recurrent research questions concern the structure of working memory, its resources and its capacity. It is quite evident that these three issues are largely intertwined and advances in the understanding on one of them have direct consequences for the others. Although research has exponentially progressed over the years and many propositions have been made to elucidate the functioning of working memory, as many questions remain unanswered.

The goal of the current research project frames within a very actual research trend within working memory investigations: the binding problem. This specific subpart of working memory research focusses on the encoding and maintenance within working memory of complex information, i.e. information composed of multiple features like for example a green circle. Earlier working memory research has especially concentrated on the maintenance of single features such as letters, shapes or locations. This was a necessary step to get

information about the basics of working memory. However, the world around us isn’t made up of simple letters, shapes and locations. More complex problems have hence become the topic of investigation, like the maintenance of associated information. What does it take to remember that a particular circle was green and not blue? Several working memory models have proposed a certain structure or framework for the working memory system. However the representation of complex information within this structure is often poorly defined. The same is true for its capacity. Capacity estimates exist mainly for the maintenance of simple letters, numbers, shapes or locations, but what about the capacity of working memory when it has to deal with complex information. Can only a fixed number of features be maintained? Or does one object composed of several features counts only as much as one simple feature? Next, the multi-component model of Baddeley and Hitch (1974) has suggested domain-specific

resources to exist to maintain information belonging to different domains. For example verbal resources are assumed to be responsible to maintain verbal information, while shapes are rather maintained by a visuo-spatial resource. But what resources come into play when

(32)

3

maintaining complex information that is built up of information belonging to different domains?

The goal of this thesis is to increase our understanding of working memory when dealing with complex information. Our research on the maintenance of complex information has concentrated on the same questions that were asked when dealing with single features, namely 1) how is this information represented within the working memory structure 2) what resources does its maintenance depend on 3) what is its capacity limit. As a typical instance of complex information, we will focus in the present research project on the maintenance of cross-domain information that is composed of a verbal and a spatial component. Although this concerns just one instance of complex information limiting as such general conclusions, it will become clear while reading through the introduction that this particular combination of verbal and spatial information is at the moment the most appropriate to reach conclusions that are generalizable.

Within this thesis we sought first of all to find answers to our questions on the maintenance of cross-domain information, as well as to broaden our existing knowledge on the bases of working memory. As stated before, many questions on the foundations of working memory remain to be elaborated. A narrow focus on these issues has not resulted in general consensus among researchers. By tackling more complex problems, we adapt to a broader point of view on working memory which might possibly shed new light on the more basic questions. Though the research questions as addressed here are quite theoretical, practical implications are manifold and of all sorts. One might for example wonder how, when and where traffic signs should best be presented in order to avoid confusion leading to accidents on the road. Traffic signs are typical example of our dependence on working memory as the information presented on it has to be maintained until the moment we need it, while in the meantime stimuli from everywhere around us keep coming and need to be adequately processed. Should we present all information on one and the same traffic sign or spread them over multiple traffic signs presented every now and then as we advance our trajectory? The answer on this kind of questions depends thus on our more theoretical

questions on the capacity limits of working memory and more precisely on the capacity limits for complex information. Another example of the utility of this kind of studies is for example within a learning context. How can we increase the opportunity for information to be

maintained? The goal of learning is to get as much information maintained as possible, within a minimum of time and with a minimum of effort. Knowing how the working memory system

(33)

4

operates could be a real help to obtain this objective. (Who wouldn’t be grateful if he or she could automatically and unlimitedly maintain all the information he or she wanted to?)

Overview

The three main research goals addressed within this thesis: 1) How is cross-domain information represented within the working memory structure? 2) What resources does the maintenance of cross-domain information depend on? 3) What is the capacity limit of

working memory for cross-domain information? will first be addressed in light of the existing literature in order to elucidate the need of the present research project. To do so, we will mainly rely on three working memory theories: the multi-component model (e.g., Baddeley, Allen, & Hitch, 2011; Baddeley & Hitch, 1974), Cowan’s embedded process model (e.g., Cowan, 1988, 2005) and the time-based resource sharing model (e.g., Barrouillet, Bernardin,

& Camos, 2004; Barrouillet & Camos, 2015). These three models are all three well known theories within the field of working memory and have elaborated considerations concerning the representations, the resources and the capacity limits of working memory. Next to the fact that they represent “great theories” of working memory, they are complementary for the goals of this thesis as each one of them has particularly elaborated one of the three research topics.

While the multi-component model is very detailed in terms of its architecture, the time-based resource sharing model is more detailed in terms of the application of the resources and the embedded process model has especially elaborated the capacity limits of working memory.

In the first chapter of this thesis we will discuss the representation of information within the working memory system. For each of the three to-be-presented working memory models, we will start by introducing the basics of the model and how single feature

information is represented. We will then continue by discussing how the question of the representation of associated features has been tackled. In the second chapter we will discuss the resources necessary to maintain working memory representations. As in the first chapter, we will start by discussing the resources used to maintain single features within working memory and subsequently discuss the resources for the maintenance of associated features.

The third chapter concerns working memory capacity. This chapter follows the same structure as the previous ones, attending first to the capacity limits for the maintenance of single features within working memory, followed by a discussion on the capacity limits for

(34)

5

associated features. In the fourth chapter we will explain the rationale and hypothesis for the upcoming experiments, based on the observations discussed in the first three chapters. The experimental plan will also briefly be introduced. The fifth, sixth and seventh chapter will exhaustively explain the methodology of the executed experiments and the obtained results concerning the working memory capacity, resources and representations for the maintenance of cross-domain associations respectively. A brief discussion will be presented after each experiment and at the end of each of the three chapters. In the eighth chapter, we will discuss the totality of obtained results and relate them to the observations on the maintenance of associated features discussed in the first three chapters. A final conclusion regrouping the most important findings of this research project will be presented at the end.

(35)

6

CHAPTER 1:

WORKING MEMORY REPRESENTATIONS

In this first chapter, we will focus on how different working memory models represent the information to be maintained within a proposed working memory structure. Each model proposes at least a basic structure in which single features can be represented. Some of these models have however necessitated adaptations to be able to adequately represent feature associations within the proposed framework. For each of the models we will discuss here, we will accordingly start by describing the representation of single features, followed by a discussion on the representation of feature associations. This approach also allows explaining the different models going from their bases to more complex matters.

Many different working memory models exist and describing all of them would lead us too far from the research goals of this thesis. That is why we have limited the discussion of the representations within the working memory structure to three models. These three models differ in terms of their proposed structure as well as in their level of detail. We will start by describing the multi-component working model of Baddeley (and Hitch, 1974; Baddeley, 1986, 2000; Baddeley et al., 2011; Baddeley & Logie, 1999), the model that is at the origin of the majority of modern working memory models and that has briefly been presented in the general introduction. This model gives a detailed account of the different subcomponents of working memory. Its description might hence be more elaborated than for the subsequent models described. The second working memory model that will be discussed is the

embedded-process model of Cowan (1988, 1995, 1999, 2005). The proposed architecture is very different from the multi-component model and both models might thus seem quite incompatible the one with the other. In comparison to the multi-component model, its

architecture is less defined, but this is compensated by a more detailed description of general working memory principles with a strong emphasis on capacity limits. The third working memory model to be discussed, the time-based resource sharing model by Barrouillet and Camos (Barrouillet et al., 2004; Barrouillet, Bernardin, Portrat, Vergauwe, & Camos, 2007;

Barrouillet, Portrat, & Camos, 2011; Barrouillet & Camos, 2015) has even more focused on the functioning of working memory and less on the underlying working memory

representations. Though the model is thus less detailed and also less innovative in terms of its

The maintenance of cross-domain associations in working memory

Thesis

Reference

The maintenance of cross-domain associations in working memory

THE MAINTENANCE OF CROSS-DOMAIN ASSOCIATIONS IN WORKING MEMORY

THESE

MERCI

Abstract

Le maintien des associations inter domaines en mémoire de travail

TABLE OF CONTENTS

PREFACE

General introduction

Research goals

Overview

CHAPTER 1:

WORKING MEMORY REPRESENTATIONS