Understanding the early human visual system through modeling and temporal analysis of neuronal structures

Thesis

Reference

Understanding the early human visual system through modeling and temporal analysis of neuronal structures

BURGI, Pierre-Yves

Abstract

Bien qu'actuellement l'on puisse connaître avec une précision remarquable le fonctionnement d'un neurone, l'élément de base du traitement de l'information dans le cerveau, il est difficile, voir même impossible d'utiliser toutes ces connaissances afin de prédire les propriétés de larges structures composées de telles unités de base: la complexité en serait trop grande.

Pour cette raison, il faut modéliser d'une part l'élément de base, le neurone, et d'autre part les fonctions visuelles. C'est donc en accord avec ces principes que ce travail de thèse a été élaboré. Premièrement, la compréhension du système visuel humain s'est restreinte à l'étude de la rétine et du cortex visuel primaire. Avec le thalamus, ces régions visuelles forment ce que l'on appelle en anglais « the early visual system », traduit par "le système visuel primaire". La fonction précise du thalamus n'étant pas encore connue, et étant généralement considéré comme un relais de l'information visuelle, le thalamus n'a donc pas nécessité une étude particulière. Deuxièmement, le neurone a été modélisé selon des [...]

BURGI, Pierre-Yves. Understanding the early human visual system through modeling and temporal analysis of neuronal structures . Thèse de doctorat : Univ. Genève, 1992, no. Sc. 2536

DOI : 10.13097/archive-ouverte/unige:5165

Available at:

http://archive-ouverte.unige.ch/unige:5165

Disclaimer: layout of this document may differ from the published version.

1 / 1

Remerciements

Je remercie tout particulikrement Prof. Thieny Pun pour son support, sa constante dispo- nibilitk et son encouragement durant ce travail. Je dksire rernercier le jury, c'est-h-dire Prof.

Murat Kunt et Prof. C h s t i a n Pellegrini, ainsi que Dr. Simon Thorpe pour avoir accept6 de lire et de juger ce travail. J'ai kt6 particuliitrement heureux de partager de profondes et, parfois, phi- losophiques discussions ayant pour sujet la perception visuelle avec Claude Briffod, Ernesto Durante, et Philippe Narbel. Un grand merci aussi au Dr. Olivier Koenig pour sa contribution aux exptriences psychologiquesl, aux membres du groupe d'intelligence artificielle et de vi- sion pour ses conseils, ;2 Lawrence Chachere pour sa contribution dans la chasse aux erreurs de syntaxe, B Dorothke Hauser pour son aide dans la recherche bibliographique, i David Wagnik- res pour son dessin illustrant la couverture, et A tous ceux qui m'ont aid6 rnoralement et prati- quernent dans ce travail.

1. Pas pr6senths dans ce travail puisque ces exp&iences n'ont pas encore Ctk achevkes.

Acknowledgments

I am especially grateful to Prof. Thierry Pun for his support, his constant availability, and encouragement during this work. I wish to thank the advisers, Prof. Murat Kunt, Prof. Christian Pellegrini, and Dr. Simon Thorpe for having accepted to read and judge this work. I was par- ticularly pleased to share deep and, sometimes, philosophical discussions about visual percep- tion with Claude Briffod, Ernesto Durante, and Philippe Narbel. Many thanks also to Dr. Oliv- ier Koenig for his contribution to psychological experiments1, to the artificial intelligence and vision group members for their advises, to Lawrence Chachere for his contribution in chasing syntactic mistakes, to Dorothke Hauser for her help in bibliographical researches, to David Wagniitres for his drawing illustrating the cover, and to all people who helped me morally and practically in this work.

1. Not presented in this work as these experiments have not yet been completed.

Contents

...

Remerciernents

i

... ...

Acknowledgments

¹¹¹

...

Contents

v

. . .

1. Introduction

¹

. . .

1.1 Modeling: a reductionist approach

2

...

1.1.1 Methodology to deal with the brain 2

...

1.1.2 Why modeling? 2

. . .

1.1.3 Is there a limit in modeling? 2

...

1.1.4 Neuronal structure versus connectionism 3

1.2 Temporal analysis of static images: incompatibility? ...

⁴

...

1.2.1 Static image 4

...

1.2.2 Time aspects 4

1.3 Work organization ...

5 1.3.1 Background

...

5

...

1.3.2 Temporal analysis: models and applications 5 1.3.3 Conventions

. . . + . . . a

5

2 . Primate Early Visual System ...

7

...

2.1 Visual pathways

8

...

2.1.1 Retino-geniculo-striate pathway 8

2.1 -2 Major centers

...

8

...

2.1.3 Visual pathway segregation 9

...

2.2 Retina

9

3.5.4 Linear recurrent LIN

...

48

3.5.5 Nonlinear (shunting) nonrecurrent LIN

...

50

3.5.6 Responses to patterns

...

51

...

3.5.7 Contrast perception 54

...

3.5.8 Lateral inhibitory network and second derivative 57

3.6 The winner-take-all structure ...

59

...

3.6.1 Principle 59 3.6.2 Equations

. . .

59

3.6.3 Simulations

. . .

60

3.7 Conclusions . . .

61

3.7.1 Modeling

. . .

61

3.7.2 Extension of the model

. . .

⁶¹

4 . Temporal Analysis . . .

⁶³

4.1 Neuronal latency: mathematical evidence . . .

63

4.1.1 Introduction

. . .

63

4.1.2 Mean frequency

. . .

64

...

4.1.3 Cell latency: the leaky integrator 65

...

4.1.4 Cell latency: the photoreceptors 68

...

4.1.5 Latency in the Limulus eye: the Fuortes-Hodgkin model - 7 0

4.2 Neuronal latency: techniques of measure . . .

72

4.2.1 Introduction

...

- 7 2

. . .

4.2.2 Physiological recording 73 4.2.3 Skin potentials and neuromagnetic recording

. . .

73

. . .

4.2.4 Psychophysical recording 74

. . . 4 3 Neuronal latency: experimental evidence

75

. . .

4.3.1 Introduction - 7 5

. . .

4.3.2 Relation luminance-to-latency 75

...

4.3.3 Relation contrast-to-latency 77

. . .

4.3.4 Relation spectral frequency-to-latency 77

. . .

4.3.5 Relation spatial frequency-to-latency 78

...

4.3.6 Relation shape-to-latency 79

... 4.4 Asynchrony in neuronal structures

- 7 9 4.4.1 Introduction

...

79

4.4.2 Definitions

...

80

4.5 Asynchrony and WTA ...

81

4.5.1 Differential equations

...

81

4.5.2 Synchronous and asynchronous inputs

...

81

4.5.3 Logical equations

...

81

...

4.5.4 WTA stable table for identical input signal amplitudes 83 4.5.5 WTA graph of transitions for identical input signal arnplitudes

. .

84

...

4.5.6 WTA simulations for identical input signal amplitudes 86

...

4.5.7 WTA stable table for differing input signal amplitudes 87

4.5.8 WTA graph of transitions for differing input signal amplitudes

. .

88

4.5.9 WTA simulations for differing input signal amplitudes

. . .

89

4.6 Conclusions ...

90

4.6.1 Latencies

...

90

4.6.2 Asynchrony

...

⁹¹

5 . Asynchronous Visual Processing I . Foundations ...

⁹³

5.1 Dynamic transinformation . . .

94

5.1.1 The sychronous case: definitions

. . .

⁹⁴

5.1.2 Extension to the asynchronous case

. . .

95

5.1.3 Dynamic transinformation for Gaussian noise

. . .

95

5.1.4 Dynamic transinformation for uniform noise

...

99

5.1.5 Application of the dynamic transinformation

. . .

100

5.2 Asynchronous model . L Feedforward . . .

¹⁰⁰

5.2.1 Global architecture

...

100

5.2.2 Isotropic filtering

. . .

101

5.2.3 Anisotropic filtering

...

102

...

5.2.4 Cooperation 103 5.2.5 Temporal integration

. . . a . e . . . , . . . .

104

5.2.6 Illustration of the effects of asynchrony

...

105

5.3 Asynchronous model . ^I1 . Recursive with diffusion ...

109

5.3.1 Introduction

...

109

5.3.2 Global architecture

...

109

5.3.3 Diffusion equation

... . . ...

110

5.3.4 Edge sharpening and surface smoothing

...

¹¹¹

5.3.5 Practical aspects of the diffusion equation

...

¹¹³

5.3.6 Edge estimation

...

¹¹⁵

5.3.7 Parameters

...

117

... 5.4 Conclusions

¹¹⁷ 5.4.1 Anewmethod

...

117

...

5.4.2 Contour completion

...

. . . . * . 117

...

5.4.3 The critical parameter 117

...

5.4.4 Whatnext? 118

6 . Asynchronous Visual Processing ... 11 . Applications

^-119

... 6.1 Segmentation

119

...

6.1.1 Introduction 119

...

6.1.2 Figure-ground separation 120

...

6.1.3 Framework 120 6.1.4 Synchronous vs

.

asynchronous: performances

...

121

. ...*.,....

6.1.5 Results

.

I Noisy figurelground 125

.

6.1.6 Results I1

.

Iso-average figurelground

...

130

. . 6.1.7 Results I11 Real images

...

131

6.2 Generalization to other features . . .

¹³⁶

6.2.1 Introduction

...

¹³⁶

6.2.2 Geometric selectivity

...

137

6.2.3 Results for comer and curvature selectivity

...

¹³⁷

6.2.4 Other feature selectivity

...

139

6.3 Conclusions . . .

140

6.3.1 Matching human perception

. . . + . a .

140 6.3.2 Asynchrony: a general concept

. . .

141

. 7 Overall conclusions . . . 7.1 Accomplishments . . .

143

7.1.1 Elementary units

. . .

143

7.1.2 Neuronal latency

. . .

144

7.1.3 Architectures

. . .

144

7.1.4 Dynamic transinformation

. . .

¹⁴⁴

7.2 Dissertation on asynchrony . . .

144

7.2.1 A useful concept

...

144

7.2.2 Ontological and philosophical arguments

...

145

7 3

Future work . . .

145

. . .

7.3.1 Introduction 145 7.3.2 Psychological experiments

. . .

146

7.3.3 Dynamics and neuronal structures

. . .

147

7.3.4 Generalization of asynchrony

. . .

147

References . . .

149

Appendix . . .

165

1 . Invariances to scale changes and rotations of the complex-logarithmic transformation

(6

2.4.2).

. . .

165

2

.

Inverse complex-logarithmic transformation of a circle (5 2.4.2).

. . .

166

3

.

Transformation of equation (3.1 1) into equation (3.14) with equation (3.13) (63.4.2)

...

166

4 . Equivalence between train of spikes and average frequency

(5

3.4.2)

...

167

5 . Convolution product between the step function and the RF function for the subtractive nonrecurrent LIN (63.5.6)

...

168

6

.

Convolution product between the step function and the RF function for the shunting nonrecurrent LIN (6 3.5.6)

...

169

7

.

Temporal response of the cell model to a train of spikes

( 5

4.1.3)

...

170

8

.

Latency for a step with the Fuortes-Hodgkin model (5 4.1.5)

. . .

¹⁷¹

9 . Evaluation of the logical equations (4.33, (4.36), and (4.37)

(9

4.5.3)

. . .

¹⁷³

10

.

Transinformation for a ternary source perturbed by additive gaussian noise ($5.1.3)

...

. * I 7 3 11 . Transinformation for a ternary source perturbed by additive uniform noise (65.1.4)

...

174

12 . Convergence of the diffusion equation for time-dependent conductances

and time-dependent initial conditions ($5.3.3).

...

175

.

13 Receptive field equations

( 5

6.2.2)

. . .

177

Glossary . . .

179

Résumé de la thèse

i Introduction

Comprendre le système visuel humain est une entreprise passionnante qui demande, néan- moins, des connaissances dans plusieurs domaines. Et encore faut-il s'entendre sur le mot

"comprendre". En effet, ce mot ne désigne pas une compréhension globale de ce système per- ceptif mais se limite à saisir le fonctionnement de quelques fonctions visuelles tout en faisant abstraction d'innombrables détails. Bien qu'actuellement l'on puisse connaître avec une préci- sion remarquable le fonctionnement d'un neurone, l'élément de base du traitement de l'infor- mation dans le cerveau, il est difficile, voir même impossible d'utiliser toutes ces comaissan- ces afin de prédire les propriétés de larges structures composées de telies unités de base: la complexité en serait trop grande. Pour cette raison, il faut modéliser d'une part l'élément de base, le neurone, et d'autre part les fonctions visuelles. C'est donc en accord avec ces principes que ce travail a été élaboré.

Premièrement, la compréhension du système visuel humain s'est restreinte à l'étude de la rétine et du cortex visuel primaire. Avec le thalamus, ces régions visuelles forment ce que l'on appelle en anglais '"e early visual system", traduit par "le système visuel primaire". La fonc- tion précise du thalamus n'étant pas encore connue, et étant généralement considéré comme un relais de l'information visuelle, le thalamus n'a donc pas nécessité une étude particulière.

Deuxièmement, le neurone a ^été modélisé selon des circuits électriques. Il s'agit d'une ap- plication directe du principe du réductionnisme, jugé séduisant car selon lequel l'étude d'un système complexe peut se réduire à la compréhension de simples composants.

Troisièmement, seule la fonction visuelle qui permet à l'être humain de distinguer les ob- jets les uns des autres dans une image, fonction non encore égalée par les modèles actuels, a été modélisée. La modélisation de cette fonction a été basée sur l'extraction de contours et de surfaces. Seules des images statiques ont été considérées.

Bien que ces principes constituent les fondements de ce travail, et ceux d'ailleurs de la plu- part d'autres d'objectif similaire, une modalite essentielle n'a pas été spécifiée: faut-il tenir

XI1 Résumé compte de l'évolution temporelle dans ces modèles? Cette question, d'un premier abord abs- traite, a contribué à l'originalité et à l'accomplissement des objectifs de cette thèse. En effet, bien que cette question ne se soit jamais posée pour ceux qui analysent des objets en mouve- ment, puisque le temps est par défaut inclus dans les équations, cette question semble un peu déplacée dans le contexte d'images statiques où les objets sont immobiles. Néanmoins, ce tra- vail apporte des évidences que le temps offre de nouvelles perspectives dans la compréhension des performances visuelles du système visuel humain. En effet, une analyse temporelle a per- mis d'introduire un nouveau concept, celui de précédente temporelle, De ce concept résulta une nouvelle approche où l'information visuelle d'une image n'arrive pas en une fois dans les modules de traitement, mais est répartie dans le temps pour former un flot dynamique. Cette thèse démontre mathématiquement et par le biais de simulations informatiques l'avantage qu'offre un tel flot de données. Seules des études psychologiques pourront confirmer si réelle- ment le système visuel humain utilise cette dimension temporelle, et ceci même dans le cas d'i- mages statiques.

Organisation de la thèse

Modéliser une partie du système visuel humain demande, en vertu d'une approche pluri- disciplinaire, des connaissances en anatomie, physiologie, biologie, et d'autres domaines (psy- chologie, philosophie, physique, etc.). Par conséquent, un effort particulièrement important a été fourni afin de connaître l'anatomie et la physiologie du système visuel des primates; ces connaissances constituent le chapitre 2. La compréhension du neurone fait ensuite l'objet du chapitre 3. Les modèles courants des ses mécanismes biologiques ont suscite des modèles élec- triques qui se sont avérés bénéfiques dans ce travail en offrant l'avantage de réduire des phé- nomènes ioniques et chimiques complexes à de simples phénomènes électriques (en simplifiant évidemment les mécanismes). En particulier, deux modèles (électriques) ont été considérés dans ce travail: le modèle additif et le modèle divisif.

Afin de pouvoir déterminer les propriétés des stnictures neuronales issues de l'intercon- nexion de neurones, des outils mathématiques spécifiques doivent être utilisés selon le modèle de neurone choisi. Il existe donc toute une méthodologie afin de déterminer les propriétés des structures neuronales. Ce problème du choix de la méthode est abordé dans la seconde partie du chapitre 3 sur la base de deux exemples: le réseau à inhibition latérale et une structure neu- ronale dite "compétitive9' (winner-take-al1 neuronal structure). En particulier, il sera évident que l'utilisation du modèle de neurone additif, donc linéaire, conduit à une analyse beaucoup plus aisée que lors de l'utilisation du modèle de neurone divisif qui est non linéaire. En revan- che, l'utilisation de ce dernier modèle à l'avantage de doter les stnictures neuronales de pro- priétés qui se rapprochent plus d'une réalité biologique,

Ces deux chapitres (2 et 3) constituent donc les connaissances de base essentielles de ce travail. L'étude de l'impact d'une analyse temporelle est traitée dans les chapitres qui suivent.

A cet effet, l'aspect principal d'une telle approche temporelle sont les latences. Dans le chapitre 4, leur origine est démontrée, d'abord mathématiquement, puis selon des évidences expérimen- tales prises de divers systèmes visuels biologiques. Il sera montré, en particulier, qu'il existe une relation entre l'amplitude d'un signal et la latence des réponses neuronales. Dans la secon- de partie de ce chapitre, les effets de ces latences sur la fonction d'une structure neuronale sont déterminés. L'extension de ces effets à deux modèles du système visuel humain fait l'objet du

nesurne xlll

...

chapitre 5, sollicitant le développement d'un outil mathématique spécifique à l'étude de si- gnaux comprenant des latences (basé sur l'entropie). Bien que ces deux modèles aient été con- çus afin de bénéficier de la précédence temporelle dans l'information visuelle (dont l'origine proviendrait essentiellement de différences dans les valeurs de luminances), le premier est de type "feedfonvard" alors que le second est de type récursif. Une comparaison des performances de ces deux modèles fait ressortir l'avantage d'un contrôle de type récursif.

*

Enfin, des applications de ces deux modèles ("feedfonvard" et récursif), ainsi qu'une gé- néralisation de la notion de précédence temporelle à d'autres caractéristiques visuelles (sélec- tivité géométrique en particulier) sont présentées dans le chapitre 6. Finalement, quelques sug- gestions afin de poursuivre cette recherche ainsi qu'une proposition d'expérience psychologi- que pour tester l'hypothèse de précédence temporelle sur des sujets sont discutées dans le chapitre 7.

Le contenu de ces différents chapitres est maintenant résumé et agrémenté de figures par- ticulièrement importantes par l'explication qu'elles fournissent ou par les résultats qu'elles pré- sentent.

3 Le système visuel primaire des primates

Les zones corticales impliquées dans la vision humaine sont progressivement identifiées:

à ce jour, 32 zones ont été identifiees, utilisant un total de 305 connexions. Malgré ces connais- sances, leurs fonctions ne restent que partiellement comprises. Par exemple, le corps genouillé latéral (LGN) qui est interconnecté directement avec les cellules ganglionnaires de la rétine, n'a r e p que des hypothèses quant à son rôle dans la vision. Est-ce un simple relais, un ampli- ficateur de signaux rétiniens ou encore une fenêtre qui pourrait se refermer sélectivement sur une partie du champ visuel?

Les bonnes connaissances anatomiques et physiologiques des centres corticaux, tels que la rétine, le LGN et le cortex visuel primaire, ne parviennent que très peu souvent à donner une réponse définitive quant à leur fonction précise. Le cortex visuel primaire, aussi appelé V l , est l'objet d'études physiologiques depuis plusieurs décades. Son rôle dans l'extraction de carac- téristiques locales d'une image a été admis par Hubel et Wiesel dès les années 60. Des cellules sensibles aux orientations d'un stimulus, aux directions, aux couleurs et aux textures ont effec- tivement été identifiées dans cette zone. L'utilisation des caractéristiques locales par des cen- tres corticaux de plus en plus spécialisés situés dans des régions dites extra-striées est compa- tible avec l'idée d'une organisation hiérarchique du système visuel. Une telle idée doit néan- moins être nuancée.

Premièrement, de récentes études ont mis en évidence, en VI, des interactions globales couvrant des distances corticales de plusieurs millimètres. Le support de ces interactions serait l'échange de signaux nerveux selon un mode oscillatoire. Il est postulé que de telles interac- tions pourraient servir à mettre en correspondance des caractéristiques visuelles communes mais distantes les unes des autres. Deuxièmement, l'ablation (ou l'endommagement) d'une zone corticale soi-disant spécialisée ne résulte pas toujours dans la perte totale de la fonction visuelle particulière à cette zone. La spécialisation ne serait donc jamais totale. Troisièmement, les connexions entre les différentes zones ne sont pas uniquement ascendantes mais cornpren- nent aussi des connexions latérales et descendantes (dites récurrentes ou feedback).

xiv Résumé Les physiologistes ont donc appris à se garder d'énoncer des règles trop générales. Au ter- me de plus d'un siècle d'étude du système visuel humain, même le système visuel primaire, qui comprend la rétine, le LGN, et VI, réserve bien des surprises. Seule une étroite collaboration avec des psychologues pourra affermir les connaissances de l'ensemble de ce système perceptif complexe.

4 Les structures neuronales

L'unité élémentaire génératrice et de traitement des signaux nerveux est le neurone. C'est une unité biologique complexe dont les mécanismes nécessitent une description mathématique impliquant des équations différentielles non linéaires. Afin de pouvoir étudier le comportement d'ensembles de neurones interconnectés les uns aux autres et formant des structures neurona- les, deux modèles sont couramment utilisés: l'additif et le divisif.

Le modèle additif, largement utilisé par Hopfield, se déduit en suivant deux simplifica- tions. La première concerne l'interaction des signaux qui convergent sur un neurone. La règle adoptée est celle de l'addition où la contribution d'une connexion inhibitrice, dont l'effet est de polariser le neurone, est négative et, par opposition, où la contribution d'une connexion ex- citatrice, dont l'effet est de dépolariser le neurone, est positive. La deuxième simplification consiste à réduire les mécanismes ioniques du neurone à un simple circuit électrique de type résistance-capacité (RC).

Le modèle divisif, largement utilisé par Grossberg, est une réplique plus fidèle du modèle classique utilisé pour décrire les mécanismes ioniques du neurone bien qu'une différence im- portante doit néanmoins être relevée. En effet, les mécanismes de la membrane des canaux io- niques ont leur variation de la perméabilité aux ions généralement décrite par une fonction al- pha d'équation:

En revanche, le modèle divisif considère une variation linéaire des conductances électriques (l'équivalent de la perméabilité aux ions). Contrairement au modèle additif, la combinaison des connexions inhibitrices et excitatrices est non linéaire puisque divisif. Aussi l'étude mathéma- tique de ce type de modèle n'est pas évidente.

La fonctionnalité d'une structure neuronale est dépendante du modèle de neurone choisi (additif ou divisif) et du choix des connexions (inhibitrices ou excitatrices, poids de la con- nexion). Pour l'analyse, il faut néanmoins être conscient que le modèle additif autorise une étu- de plus simple du comportement des structures que lors de l'utilisation du modèle divisif. Pour- tant, et à cause de l'existence d'une fonction de sortie du neurone qui établi une relation entre son potentiel et l'activité nerveuse correspondante (exprimée en fréquence), quelque soit le type de modèle utilisé, l'étude d'un systeme composé de quelques neurones peu aboutir à une étude non triviale. Un tel exemple est illustré par la structure du "winner-take-dl" (WTA) uti- lisant un modèle de neurone additif où il est montré qu'une méthode d'analyse ad hoc s'impose, Pour encore mieux illustrer cet état des faits, il a suffit de considérer une structure caracté- ristique aux systèmes perceptifs: le réseau à inhibition latérale. Cette structure a déjà été étudiée par Mach en 1865 afin d'expliquer un phénomène visuel devenu classique et connu maintenant

Résumé xv sous le nom de bandes de Mach. Typiquement, la méthodologie adoptée pour analyser le com- portement de cette structure change selon le choix du modèle de neurone et des connexions. Le cas le plus simple est représenté par l'utilisation du modèle additif et de connexions non-récur- rentes. Il est alors possible de déterminer la fonction de transfert de cette structure. L'utilisation de connexions récurrentes engendre des difficultés supplémentaires dues à la fonction de sortie du neurone qui est non linéaire. Une linéarisation au point d'équilibre est nécessaire afin de pouvoir déterminer la fonction de transfert. Lorsque le modèle divisif est utilisé, la notion de fonction de transfert disparaît complètement et des techniques ad hoc doivent être employées.

La comparaison des résultats obtenus selon les différents modèles utilisés démontrent que la complexité d'un modèle se répercute sur le comportement du système. Ces résultats sont co- hérents avec des études physiologiques et psychologiques qui mettent en évidence des compor- tements perceptifs complexes que des modèles sophistiqués comprenant un modèle de neurone divisif et des connexions récurrentes expliqueraient mieux. Vu les simplifications adoptées dans la plupart des modèles étudiés, cette dernière observation a évidemment de sérieuses con- séquences, et remet en question le manque de méthodologie pour aborder et comprendre des systèmes neuronaux complexes.

5 Analyse temporelle

Un neurone qui reçoit des impulsions nerveuses va, à un certain moment, atteindre son seuil et générer à son tour une impulsion nerveuses ( p o u autant que la fréquence des impul- sions en entrée soit suffisamment élevée). Il y a-t-il une relation entre la fréquence des irnpul- sions en entrée et le temps (appelé latence) mis par le neurone pour atteindre son seuil? Cette question a été formalisée en modélisant le neurone par un circuit électrique de type RC. Comme on peut le voir dans la Figure 1, cette relation existe bien et suit une fonction de type logarith- mique inverse; cette relation n'est pas sans importance. La fréquence des impulsions nerveuses issues d'organes perceptifs étant généralement proportionnelle à l'intensité d'un stimulus, on peut aisément en conclure que plus cette intensité est élevée, plus rapidement le neurone qui reçoit de telles impulsions va atteindre son seuil. Dans le cas où plusieurs neurones reçoivent des impulsions correspondant à des stimulations de différentes amplitudes, ils vont atteindre l e u seuil selon des latences spécifiques. Si toutes les sorties de ces neurones sont connectées à une structure neuronale commune, cette dernière va recevoir de l'information en asynchro- nisme. Que va être l'effet de cet asynchronisme sur le comportement de la structure? La répon- se à cette question constitue l'objectif principal de cette thèse.

Cette question a donc été formalisée en étudiant une structure composée de 3 neurones réa- lisant la fonction WTA. Les résultats de cette analyse indiquent un changement du comporte- ment de cette structure selon que les signaux en entrée arrivent en synchronisme ou en asyn- chronisme. D'une part la dynamique change et, sous certaines conditions, la solution peut dif- férer d'un mode à l'autre. D'autre part, la vitesse de convergence vers une solution est plus grande lorsque le signal de plus forte intensité arrive en premier. Ces observations sont parti- culièrement pertinentes puisqu'il a été établi expérimentalement, sur le système visuel des pri- mates, que les latences sont dépendantes des variations dans les caractéristiques visuelles telles que la couleur, la fréquence spatiale, la luminance, le contraste, etc.

..

Une revue de ces dépen- dances a été incluse dans cette thèse.

Une deuxième formalisation de l'effet de l'asynchronisme sur une structure modélisant le

xvi Résumé système visuel primaire fait l'objet d'un autre chapitre, résumé dans la section qui suit,

200 400 600 800

Fréquence (Hz)

Figure 1: Latence du modèle électrique de type RC pour un train d'impulsions périodiques. La courbe (A) corres- pond au cas où la conductance varie selon la fonction alpha (équation (1)); cette courbe a été obtenue par simula- tion. La courbe (B) correspond au cas où la conductance varie en mode tout-ou-rien. Pour la courbe (BI, en dessous de 89Hz, le potentieI n'atteint jamais le seuil.

6 Traitement visuel asynchrone

L'élaboration d'un modèle du système visuel primaire tenant compte de I'asynchronisme se justifie sur la base d'une notion introduite dans cette thèse: la transinformation dynamique.

Il s'agit d'une extension de la notion de transinformation qui mesure la quantité moyenne d'in- formation reçue après émission sur un canal perturbé par du bruit blanc additif (gaussien ou uniforme par exemple). Sa définition est la suivante:

où H(X) est l'entropie des symboles émis et

H ( 4

Y) est l'entropie conditionnelle des symboles émis étant donné les symboles reçus. Une transinformation de valeur 1 indique une parfaite correspondance entre les symboles émis et ceux reçus. Par opposition, une transinformation de valeur O signifie que les symboles émis et reçus ne sont plus du tout conélés (statistiquement ind6+pendants). L'asynchronisme se manifeste en ajoutant un élément de traitement supplémen- taire sur la canal de transmission: un déphaseur qui retarde un signal proportionnellement à son amplitude (Figure 2). La transinformation devient donc dynamique et est évaluée d'une maniè- re continue au cours du temps. Le résultat principal de cette modification est l'observation que pour une source binaire perturbée par du bruit additif gaussien ou uniforme, l'effet du dépha- seur se traduit par une augmentation dynamique de la transinformation (Figure 3). Une solution proposée afin de bénéficier de cette augmentation est d'intégrer temporellement les sorties du récepteur, dont la tâche de ce dernier est de effectuer au mieux la correspondance entre sym- boles regus et ceux émis.

Résumé

PERTURBATION

xvii

Figure 2 : Un ensemble de symboles X d'amplitudes diffkrentes est transmis sur un canal p e m W par du bruit additif, Les amplitudes résultantes sont ensuite retardées proportionnellement, selon une loi linéaire p u r des rai- sons de simplifications. En conséquence, les latences des signaux augmentent lorsque l'amplitude diminue. Le récepteur doit, ensuite, établir une correspondance entre les signaux reçus et ceux originellement émis. La capacité de cette correspondance est quantitativement iimitée et est mesurée par la transinformation, mesures qui doivent être dynamiquement rkévaluées à cause des latences des signaux.

Figure 3 : Transinfonnation dynamique pour 2 symboles d'amplitude O (x,) et 10 ( x f ) perturbés par du bruit blanc gaussien de SNI3 1 (rapport signal sur bruit). La transinfomtion dynamique atteint un maximum de valeur 0.13 pour x, = -1.73 ; à t = M, correspondant au cas synchrone, on a Z(X, Y, m) = 0.108. L'augmentation de la transinformation par rapport à cette dernière valeur est donc de 16.8%. La surface hachée illustre la gamme de valeurs x, pour laquelle la transinfomtion dynamique est plus grande que celle correspondant au cas synchrone.

La correspondance entre ce problème théorique et son application aux modèles du système visuel primaire est directe. La source binaire est une image contenant un objet de luminance 1, sur un fond de luminance 12; le canal perturbé correspond à du bruit additif, une corruption de l'image; le récepteur correspond à une structure neuronale dont la fonction est de séparer l'ob- jet du fond (processus de décision) et dont l'augmentation de la transinformation devrait en fa- ciliter la tâche; la sortie d'une telle structure est ensuite intégrée temporellement.

xviii Résumé de vérifier la validité d'une telle correspondance, deux types d'architectures modéli- sant le système visuel primaire (rétine et V1 puisque le LGN est considéré comme un simple relais) ont été élaborées: une version non récurrente et une autre récurrente. La modélisation de la rétine consiste en une structure neuronale dont l'action est isotrope et les neurones de type divisif. La modélisation du cortex visuel primaire consiste en une structure neuronale dont l'ac- tion est anisotrope et les neurones de type additif. Ces deux étages de traitement ont pour fonc- tion d'extraire les contours qui séparent l'objet de son fond (processus de décision). Enfin, le modèle récurrent contient un étage de diffusion spatiale afin de pouvoir reconstituer la surface de l'objet et du fond (qui correspondrait en fait à une fonction corticale au-delà de VI, bien qu'actuellement sa situation corticale précise n'a pas encore été identifiée). A noter qu'il n'a pas été exclu d'inclure cet étage au modèle non récurrent.

Une comparaison des résultats indiquent de meilleures performances pour le modèle récur- rent. Ce type de modèle est plus adaptatif aux perturbations et bénéficie davantage des augmen- tations des valeurs de transinformation. De plus, les résultats f o d s par ce modèle sont plus proches de la perception humaine que ceux obtenus par le modèle non récurrent, bien que son réglage et sa mise en oeuvre soient plus délicats. En ce qui concerne la comparaison entre le mode synchrone et asynchrone, une nette différence est observée, et ceci pour les deux types de bruit (Figure 4 et Figure 5). L'asynchronisme permet de séparer l'objet de son fond même pour des images très dégradées par du bruit.

L'extension du modèle rI5cursif au traitement d'images plus complexes a aussi été expéri- menté. Si les résultats sont satisfaisants quant à la capacité de ce modèle à reconstruire les sur- faces des objets en supprimant les inhomogénéités (tel qu'un éclairage non uniforme), le con- trôle de la diffusion spatiale nécessite encore le développement d'algorithmes plus satisfaisants que ceux utilisés dans ce modèle,

Résumé xix

Synchrone A versus asynchrone O

Merite Bruit uniforme

Bruit gaussien Meri te

Figure 4 : Comparaison des performances pour l'architecture récursive (avec diffusion), pour le cas synchrone versus asynchrone. Deux cas sont représentés: bruit blanc additif uniforme et gaussian. Le type d'image utilisé est montre en haut droite; niveau du fond: 1'24, niveau de l'objet: 130. L'échelle du rapport signal sur bruit

(Sm)

est logarithmique. Une figure de ménte de 1 indique une parfaite séparation de l'objet du fond. Par opposition, une figure de mérite de O indique un échec total de cette séparation.

xx Résumé

Bruit gaussian ^SNR

⁼

^{0.5 SNR}

⁼

^0.1

résultat synchrone

résultat asynchrone

Figure 5 : Sortie de 1'6tage & diffusion du modèle récurrent pour deux rapports signal sur bruit différents (SNR).

Pour les deux SNRs (0.5 et 0.1, bruit blanc gaussien), l'approche asynchrone contrôle parfaitement la diffusion, ce qui veut dire que les contours sont bien défmis. Les lignes parasites sont dues à l'étage d'estimation &s con- tours qui effectue une coopération sur toute une ligne ou colonne. Dimension de l'image: 128 x 128 pixels; ni- veaux de gris: 256. Les rectangles en pointillks ont étk ajoutés à la main de situer h position de l'objet.

7 Concllusions

Au cours de cette étude du systeme visuel primaire, il a pu être démontré que la compré- hension de mécanismes temporels tel que 17asynchronisme aide résoudre des problèmes per- ceptifs jugés difficiles. En premier lieu, la formalisation de l'asynchronisme pour une petite structure a effectivement montré une modification du comportement dynamique de cette der- nière. Cette formalisation a néanmoins demandé une étude précise des modèles de neurone afin de bien comprendre l'origine des équations impliquées dans les structures neuronales. En se- cond lieu, l'effet de l'asynchronisme a été étudié sur de larges structures neuronales modélisant le système visuel primaire. Le concept de transinfomation dynamique a permis de formaliser l'impact d'entrkes asynchrones sur des architectures dont la fonction principale est de détermi-

Résumé xxi ner la frontière séparant deux régions. Il en ressort que l'asynchronisme donne la possibilité d'augmenter les performances du processus de décision. Cette possibilité a été vérifiée sur des images tres bruitées. Alors qu'une approche synchrone ne peut traiter de telles images, des per- formances très satisfaisantes ont été obtenues par une approche asynchrone, particulièrement lorsque l'architecture utilisée était dotée d'un étage de diffusion spatiale couplée rétroactive- ment avec les étages d'extraction des contours. Il est à remarquer que les différents étages de traitement ont été choisis selon les connaissances physiologiques actuelles présentées au début de cette thèse.

Parmi les possibles extension de ce travail, il est à citer la généralisation du principe d'a- synchronisme à d'autres caractéristiques visuelles (autre que la luminance), ainsi que son ap- plication à d'autres modules de traitement visuel de plus haut niveau (après Vl). Un tel objectif s'inscrit dans un cadre plus général où les connaissances cognitives pounaient agir rétroactive- ment sur les étages de très bas niveau. Un tel traitement temporel aurait pour but d'éviter une saturation du système de reconnaissance d'objet en présentant les caractéristiques progressive- ment, celles correspondant à des informations pertinentes (forte intensité, basses fréquences spatiales, couleur rouge, etc ...) apparaissant en premier.

I...] ye suppose donc que toutes l a choses que je vois sont jausses; je me persuarl;? que rien n'u jamais ktd de tout ce que ma m'moiz remplie de

m e n s q e s me prhente; je pense n 'avoir aucun sens; je crdi que corps, Lz

&we, 'e,I'e'tendw, (e mouvement et ^(e f i u m sont que &fictions d;! mon esprit. @ lest-ce d k qui pourra &re estime' ve'rita6h? Peut-e"tz rim autre chse, sinon qu'ifn'y a rien au m o d de certain.

RenC Descartes, Mkditations MCtaphysiques, 1647.

CHAPTER

1

Introduction

This thesis attempts to provide a new insight into the mechanisms underlying visual per- ception of static images using the time dimension. Only visual perception performed through the early visual system, from the retina to the primary visual cortex, will be studied. With the time dimension, it will be suggested that the retina can yield a dynamic data flow which has its origin in neuronal latencies generated as early as the photoreceptors.

Although speaking of the time dimension for static images may be perceived as an incom- patibility for some people, this thesis aims at specifying the various time aspects linked to such images, especially the asynchrony. As it will be seen, asynchrony is a consequence of latencies specific to visual features. What can be gained by using asynchrony in neuronal structures is the main issue of this thesis. The different results obtained by incorporating asynchrony in var- ious models will be shown to be satisfying. Nevertheless, the prohibitive costs in computation brought about by such kind of processing can be viewed as the major reason why those working in image analysis have refrained from exploring such an approach. In a more general way, un- derstanding the human visual system requires models which, for reason of computation, are too often oversimplified.

The question of choosing an adequate model can be viewed as a serious problem which is dealt with in section 1.1. In particular, the strategy which consists of standardizing the cortical structures through a connectionist approach will be criticized. As it will be shown, an alterna- tive approach to connectionism lies in using neuronal structures. Then, the question of using the time dimension for static images will be further discussed in section 1.2. Finally, the general organization of this work, whose two cornerstones are the analysis of neuronal structures, to- gether with the time aspect, is given in section 1.3.

1.1 Modeling: a reductionist approach

1.1.1 Methodology to

deal

with the brain

The brain is a highly organized set of organs composed of billions of elementary units, called neurons, densely interconnected with each other. A neuron is thus the elementary unit which endows the brain with its capacity to sense the world, to react intelligently to these sen- sations and, also, to imagine, think and predict complex situations.

To understand how the brain works, there are three possible levels of analysis. The first and most elementary one, invokes the recording of the activity of single neurons. The second, a me- dium level, necessitates the recording of the brain activity resulting from large groups of neu- rons. Such combined actions of neuronal units is referred to as mass action (Freeman 1975) or synergetics (Haken 1990). The third and highest level, analyzes the behavior of subjects to infer brain mechanisms, Typically, the first and second levels are dealt with by physiologists while the third level is the predilection domain of psychologists.

The action of large groups of neurons and, even, functions of large brain regions can be explained on the basis of single neuron properties. This is the belief of those in favor of the re- ductionist principle. Whereas this principle is seductive and has been adopted in this thesis, the degree of accuracy in predicting properties of groups of neurons, forming neuronal structures, is quite dependent upon the knowledge in the mechanisms governing the elementary units. This fact must not be forgotten especially when such mechanisms are conceptualized. Indeed, to be applicable, the mechanisms necessitate a conceptualization which solicits mathematical mod- els. Some questions relative to these models are now addressed.

1.1.2 Why modeling?

Any mechanism necessitates concepts to be described and comprehended. The question of the origin of these concepts has been tackled with by the philosopher Kant who claimed that they must be formed either by pure intuitions (knowledge a priori) or empirically on the basis of experiments (knowledge a posteriori). Conceptualization is thus a natural process performed by the mind to represent objects and phenomena.

To ensure a reproducibility and applicability of the concepts, they are mathematically for- malized. Modeling, when used in this work, is thus referring to a mathematical formalization of concepts describing biological mechanisms. Consequently, modeling cannot be avoided if the knowledge in mechanisms is to be formally used. Note that useful arguments on this ques- tion are also found in the introductory chapter of the book "Methods in Neuronal Modeling"

(Koch and Segev 1989).

1.1.3 Is there a limit in modeling?

The biological mechanisms which confer to the neurons their aptitude to treat neuronal in- formation are the focus of numerous researches and, therefore, are known with increasing in detail. These studies have suggested that there is not one kind of neuron but various ones, dis- tinguishable by their morphology, chemistry, and organization. Thus, modeling is confronted by a serious dilemma: either include all the established knowledge about biological mecha- nisms or restrict the models to simple concepts. In the situation where large neuronal structures

must be simulated on computers to test their properties, the first choice in modeling leads to saturating the capacity of computers. With the second choice, neuronal structures composed of thousands of elements become manageable, but predictions in their characteristics are severely affected by such an oversimplification.

One aspect of the limit in modeling is therefore practical (linked to computation). Another aspect, more theoretical, is linked to the scale of analysis, as illustrated by these two questions:

beyond ionic and molecular interactions, should quantum mechanics be incorporated in the analysis? Does consciousness, for instance, necessitate such a quantum level to be reproduced or does the logic level, an oversimplification of the neuronal mechanisms, suffice? Specula- tions about these questions have been issued by Penrose who thinks that single-quantum sen- sitive neurons are indeed playing an important role deep inside the brain (Penrose 1989; a view shared by other authors, e.g. Walker 1977; Ingber 1992). For instance, and as it will be seen in this work, quantum mechanics is essential to understand how light is converted into electrical signals in the retina.

While the issue of this matter has not yet been settled, the effects of an oversimplification of neuronal mechanisms have been explored through the artificial neuronal unit, so-called per- ceptron (Minsky and Papert 1969). A perceptron is a device performing binary decisions by linearly summating inputs weighted by coefficients. If the resulting sum is greater than a fixed value, called the threshold, the output of the perceptron is 1, otherwise zero. Minsky and Papert have brought an important theoretical contribution in the understanding of the brain: their per- ceptron allowed them to establish what can be computed and what cannot be using such an oversimplified neuron. In accordance with the reductionist principle it was also their belief that the understanding of an elementary unit, in their case the perceptron, could explain high corti- cal functions: "The popularity of the perceptron as a model for an intelligent, general-purpose learning machine has roots, we think, in an image of the brain itself as a rather loosely orga- nized, randomly interconnected network of relatively simple devices."

The lower bound in modeling (oversimplification) is thus reasonably well known with the aid of the perceptron. By opposition, there are no general method which could indicate the limit in modeling complexity beyond which concepts become superfluous.

1.1.4

Neuronal structure versus connectionism

Connectionism may be viewed as a standardization of the cortical structures of the brain.

The main concept emanating from this approach is the distributed processing that a large num- ber of elementary units can perform (McClelland et dl. 1986). By elementary it must be under- stood as a very simple device, not at all the replicate of realistic neurons. Originally, the con- nectionist approach was intended to explain various brain functions on the basis of large net- works where the elementary units communicate with each other. Moreover, to each connection was assigned a weight determined by a training phase. These networks resulted in classifiers where an input pattern yielded a corresponding output pattern. While such networks still have numerous applications, they do not account for the true processing underlying perception and cognition in the brain (see the above remark about the perceptron). Furthermore, there exist no rules dictating their organization, which can be either an interactive network or a hierarchical network.

The alternative approach involving neuronal structures designates neuronal organizations

-r ~ n n r ¹ c~ 1. mu-oauction whose elementary units are supposedly of various types. Their arrangement is dictated by an- atomical and physiological observations and their study invokes specific methods, often neces- sitating computer simulations. Generally, the elementary units are modeled with a high degree of accuracy giving the opportunity of explaining complex biological functions with only a few units. Nevertheless, for large neuronal structures, a standardization of the elementary units is performed. A main difference with the connectionist approach is, however, that the elementary units remain a closer approximation of the neurons and the resulting structures can have subtle dynamic modes (oscillatory, transient, chaotic, etc.).

Neuronal structures and connectionism are obviously not entirely unrelated, although their approach and goals differ. Indeed, connectionism represents a particular case of neuronal struc- tures. In addition, the learning rules developed with connectionism have the advantage of sup- plying neuronal structures with an explanation of their predetermined weight in their connec- tions (if not, using the genetic algorithms, a justification of their organization).

1.2 Temporal analysis of static images: incompatibility?

1.2.1 Static image

An image, in this work, is referring to the figure formed by rays of light reflected by an object. A static image is thus formed by stationary objects illuminated by a constant source of light. Finally, it will also be considered that a static image appears at once to an observer who is assumed to have its gaze predeterminately positioned and completely stabilized. Under these conditions, the role of a temporal analysis may be questioned as such a perception does not in- duce variations in neuronal responses owing to spatial movements.

1.2.2 Time aspects

There are two aspects involved with the time dimension. First, there is the movement where, as a result of kinetic laws, time and space dimensions are related. This aspect has a ha- bitual importance in visual perception: a moving object will be detected by the brain because its movements induce temporal variations in retinal responses. For a static image perceived un- der the conditions described above, this time aspect is not applicable and, indeed, is not dealt with in this work. Second, there are the dynamics governing biological mechanisms. For in- stance, ionic interactions in neurons evolve along time to tend towards specific states (stable or unstable). The appearance of an image, even when static, will thus induce temporal variations in retinal responses because the photons composing a ray of light will be temporally integrated and, also, because they will affect the dynamics of the underlying biological mechanisms.

This second aspect of time, generally neglected when analyzing visual perception, renders relevant a temporal analysis of static images. But, and in accordance with the previous discus- sion on modeling, such a temporal analysis is confronted to the determination of pertinent con- cepts. Indeed, considering every temporal aspect such as the precise timing of every signdl or the dynamics of neuronal structures is not manageable in terms of computation. For that reason, only the concept of asynchrony is going to be developed in this thesis.

1.3 Work organization

13.1 Background

Understanding the early visual system is a vain task if its general organization remains un- known. Also, the anatomy and physiology of the visual pathways and cortical areas implicated in vision have been and are still the focus of many studies. A report of the actual state of these pieces of research is thus given in CHAPTER 2. It only skims over this wide topic but should provide enough references for going deeper into the various aspects of visual perception need- ed for this work.

Methods to analyze neuronal structures are then presented in CHAPTER 3. First, and in accordance with the reductionist principle, the neuron, which represents the elementary unit, is described. Second, the origin of two current models of neuron is rendered explicit by using electrical circuits, an approach not commonly found.

1.3.2 Temporal analysis: models and applications

The study is then followed in CHAPTER 4 by a temporal analysis whose main goal is to establish the relationship existing between the strength of a stimulus, among other, and the time required for its effect to be perceptible, called neuronal latency. Both, elementary units and neuronal structures, will be concerned with this relationship using mathematical and experi- mental data.

How neuronal latency can affect the function or the dynamics of a neuronal structure will be the focus of the second part of CHAPTER 4 for a small structure, and of CHAPTER 5 for a larger structure, intended for processing static images. Also, in CHAPTER 5, a formalization of the effect of these latencies on a flow of information is first proposed. Second, two different architectures for modeling the early visual system are conceived to benefit from the time di- mension. Confmation of the role of the time aspect in these architectures for static images is to be found in CHAPTER 6. The problem of the extension of these latencies to other visual features is given attention in the second part of this chapter. Finally, CHAPTER 7 summarizes what has been accomplished in this work and proposes future possible developments.

1.33

Conventions

This thesis is composed of chapters (CHAPTER) labelled by an arabic number (CHAP- TER 1). Every chapter is divided into sections (section) labelled by two arabic numbers sepa- rated by a point (section 1.3). Every section is divided into paragraphs (§) labelled by three ar- abic numbers separated by two points

(5

1.3.3). A paragraph is sometimes subdivided. In this case, there are no numbers. The references referred to the chapter, the section or the paragraph.

The bibliographical references specify one or two authors followed by the publication year (Burgi and Pun 1992). When more than two authors have cooperated in a paper or a book, only the first author is specified followed by "et al." and the year (Burgi et al. 1989). The complete reference can be found in References, ordered by alphabetical key.

The equations are numbered continuously by chapter et labelled by two arabic numbers be- tween parenthesis and separated by a point (3.1). The same convention is used for the figures

(Figure 3.1). The definitions of the symbols and particular notations used in the equations, as well as the different abbreviations used in the text can be found in the Glossary. Specific math- ematical developments are described in the Appendix. The Appendix is divided into subappen- dices labelled by an arabic number (Appendix 1).

I.../ %n as h~ entered the mctin part

of

his Bswurse on Selenoswpes, Mmuy Ghses, Philbsophical ScabsI Circumferentms/ %drostatidI

%Am, and& rest, my Mindwandredinto the f o h n g Qftections:

such vizin Scrutinyes and Fruitks Labours are thirs, for tFcey fond(y beheve that t h y can search out th %eginniqgs and Depths qf%ings.

%ut Nature wilt not be so dircozrer

'4

it is better to essay to unwind th myrinthine ?firead t h n b p e topu.zzh out the Pattern 4 t h W d . Peter Ackroyd, Hawksmoor, 1985.

CHAPTER 2

Primate Early Visual System

Vision is probably the most powerful perceptual sense evolution has endowed human be- ings. Indeed, one third of the human cerebral cortex is devoted to visual perception which rep- resents, according to Van Essen et al. (1991), 54% of the cerebral neocortex'. Perception of depth, color, motion, etc. in complex scenes is seemingly obvious for human beings, without speaking of recognition, whereas computer scientists have deemed these tasks as complex. Yet current knowledge of the visual system circuitry is very detailed. After one century of anatom- ical and physiological studies most of the functional cortical areas have been identified and de- tails of their interconnections with each other are fairly well known (Van Essen et al. 1991).

In spite of this knowledge, the mapping of the primate visual system is not sufficient for allowing a replicate of its functions. Nevertheless, the early visual system is the source of in- spiration in many models (e.g. Frohn et al. 1987; Burnod 1989; Taylor 1989; Wehmeier et al.

1989). A time will certainly come when better knowledge of higher visual structures will also be incorporated in man-made systems. Indeed, biological organisms has been dictated by evo- lution, certainly not without reasons, and, thus, much can be gained from its knowledge, even when partially understood.

The early visual system, comprising the retina, the lateral geniculate nucleus (LGN), and the primary visual cortex Vl, are considered in sections 2.2,2.3, and 2.4 respectively. Before- hand, the main visual pathways and the segregation of visual information are described in sec- tion 2.1. For the sake of completeness, some visual areas situated in the extrastriate cortex are discussed in section 2.5. Although the intention is to describe the primate visual system, infor- mation taken from cats or lower vertebrates are also included in this chapter.

1. The neocortex or cerebral cortex is the most recent evolutionary development and is unique to mam- mals. It is distinguished from the paleocortex refemng to the olfactory and limbic structures which can also be seen in the brains of very primitive vertebrate animals (Bloom and Lazerson 198.5).

8 CHAPTER 2. Primate Early Visual System

2.1 Visual pathways

2.1.1 Retino-geniculo-striate pathway

In this chapter, only the pathway connecting the retina to the visual cortex will be consid- ered (retino-geniculo-striate pathway). It comprises the retina, the lateral geniculate nucleus (LGN), the striate cortex, and the extra-striate cortex. As shown in Figure 2.1 the visual field is divided into two parts called temporal and nasal. Interestingly, the temporal field of an eye projects onto the opposite hemisphere (e.g. the temporal field of the left eye projects onto the right hemisphere) and thus necessitates a crossover of the fibers corresponding to both tempo- ral fields. The locus of this crossover is the optic chiasma. For the terminology, the parts of LGN or cortex related to the temporal field are called contra-lateral whereas those related to the nasal field are called ipsi-lateral.

Figure 2.1 : Schematic representation of the main visual pathway. The bundle of fibers between the retina and the optic chiasm forms the optic nerve. It is then given a different name: the optic tract. Fibers corresponding to the temporal field are projected onto the opposite hemisphere, the crossover being made in the optic chiasm.

2.1.2 Major centers

The optical flow emanating from the retina does not only project into the visual cortex. The oculomotor system as well as the reticular formation requires a certain amount of visual infor- mation. This latter is responsible for sleeping or waking states and uses light to synchronize the circadian rhythms (Halberg 1960). It involves the pineal gland contained in the epithalamus which, in certain animals like chicken, senses light directly through the skull (which may ex- plain why the cock's crow is the first sound in the barnyard at dawn as quoted by Bloom and

Ketina 9 Lazerson 1985).

In the primate visual system there are five major centers which redistribute visual informa- tion designated for specific functions (Rodieck 1979; Bloom and Lazerson 1985; Safran 1988):

* the lateral geniculate nucleus in the thalamus, is the main relay for visual informa- tion subserving two major visual functions: object recognition and object tracking;

pulvinar and reticular complex in the thalamus, are strongly connected to a variety of visual areas and are thought to be involved in visual attention (Crick 1984);

* the suprachiasmatic nucleus in the hypothalamus, uses information about light in- tensity to coordinate our internal circadian rhythms;

the superior colliculus in the mesencephalon, allows movement of the gaze from one fixation point to another;

pretectum, motor-nerve nuclei in the metencephalon, keep the movements of the eye coordinated as we shift our gaze in order to stabilize images onto the retina.

2.1.3 Visual pathway segregation

Segregation of visual information is found as early as retina. It is initiated by the channels XTY at the ganglion cell level, a level which is described below in section 2.2. This segregation represents the embryo of the magnolparvo streams (for a comprehensive study on magnoiparvo streams, see Livingstone 1990; for the different pathways and processing streams, see Maun- sell and Newsome 1987; Deyoe and Van Essen 1988). Although functionally important, such a segregation is being relegated to a second plan in view of this recent physiological evidence:

visual performances following a lesion in primate of the magno pathway, known to be involved in motion, have revealed that visibility of stimuli used to test motion perception was reduced but that motion perception was not otherwise altered (Merigan et al. 1991a). The segregation magnolparvo should rather be considered as two streams operating in different ranges of spatial and temporal frequencies. In particular, the parvo pathway mediates the perception of high spa- tial frequencies, chromatic stimuli, at low temporal frequencies. Alternatively, the magno path- way mediates the perception of slightly lower spatial but substantially higher temporal frequen- cies (Merigan et al. 1991b)-

A second segregation also found as early as retina is initiated by the channels ON/OFF at the bipolar cells level, a level also discussed below in section 2.2. A speculative role of this segregation has been proposed to be the formation of independent and antagonist neural sub- systems for signaling brightness and darkness. For a comprehensive review on this matter, see Fiorentini et al. (1 990).

2.2 Retina

2.2.1 Introduction

Nature has conceived of retina as an organ of extreme complexity and optimization. It is formed of about 200-250 million close-packed cell bodies distributed in several layers (Figure 2.2). Diversification of these cells is astonishing (up to 50 types) and apparently has been spe- cifically designed for the retina. Indeed, if cells had the size of the neurons found in the cerebral cortex, the human eye would have the size of a small orange instead of its diameter of two cen-

10 CHAPTER 2. Primate Early Visual System timeters (Masland 1986).

Since the preliminary anatomical work of Cajal in 1888 (Piccolino 1988a), the retina has been extensively studied in lower vertebrates, cats, monkeys, and man and details of the elec- trical connections are reasonably well known (e.g. for lower vertebrates Attwell 1986; for cat Sterling et al. 1988).

Figure 2.2 : (A): H meye (from Hickey and Peduzzi 1987). (B): Details of the retina (from Bader 1988). Note that the light must cross the different layers before arriving on the photoreceptors as these latter ones are situated at the level of the epithelium. Photoreceptors yield electrical signals which are transmitted to the optic nerve through the direct bipolar-ganglion cell connections. Note also that the axons of the ganglion cells form the optic nerve.

As shown in Figure 2.2 the retina covers the rear side of the eye and contains two irregu-