Cr´eer des groupes de variables peut se faire manuellement si l’on dispose de suffisamment de connaissances pour d´eterminer le partitionnement qui r´eduira le nombre de cycles perceptifs

Dans le cas contraire, si les donn´ees `a manipuler sont trop complexes `a analyser, le risque de cr´eer

des groupes non int´eressants pour le classifieur est plus grand. La m´ethode que nous avons

propo-s´ee est `a mi-chemin entre s´election de variables et r´eduction de donn´ees. Nous avons montr´e que

cette derni`ere fusionnait les variables d’origine et qu’il ´etait alors impossible d’utiliser les cycles

4.6. Conclusion

perceptifs. D’un autre cˆot´e, les m´ethodes de s´election sont plus appropri´ees mais demandent des

calculs coˆuteux et l’utilisation du classifieur. Le partitionnement propos´e emploie les premi`eres

´etapes de l’analyse en composantes principales comme de nombreuses autres m´ethodes par filtre,

puis utilise les propri´et´es des composantes de la matrice des vecteurs propres pour regrouper

les variables corr´el´ees entre elles. En choisissant les variables dans chaque groupe, on cr´ee de

nouveaux ensembles qui forment le partitionnement. L’algorithme permettant de partitionner

(ou de cat´egoriser les donn´ees) se fait en pr´etraitement de la reconnaissance, sa complexit´e est

cubique en la dimension des vecteurs d’entr´ee et ne n´ecessite aucun autre param`etre.

Le partitionnement renforce l’aspect perceptif du RNP, car en plus de la d´ecomposition

par palier d’interpr´etation du processus de reconnaissance, il propose une hi´erarchisation de

l’int´egration des observations physiques. Le syst`eme est compl`etement adaptatif, mˆeme une fois

entraˆın´e, ce qui renforce la mixit´e entre l’approche par les donn´ees et l’approche par le mod`ele

car, dans notre cas exp´erimental, la connaissance du mod`ele de la structure physique et logique

peut aussi aider `a cr´eer les groupes d’observations physiques. Comme dans le cas de la perception

humaine, le RNP est capable d’adapter la quantit´e de travail n´ecessaire en fonction de la difficult´e

de la forme `a reconnaˆıtre.

Le r´eseau de neurones perceptif muni de sa m´ethode de partitionnement est un outil

pos-s´edant de nombreux avantages pour des probl`emes de reconnaissance de formes structur´ees et

n´ecessitant des extractions d’indices de haut niveau. La reconnaissance, dynamique, se fait par

plusieurs allers-retours entre les entr´ees et les sorties. Ce m´ecanisme fonctionne mais il peut ˆetre

am´elior´e. Nous allons d´etailler dans le prochain chapitre comment il est envisageable de modifier

l’algorithme d’apprentissage afin que le r´eseau puisse, lors de la reconnaissance, s’adapter aux

variations des donn´ees d’origine dues aux corrections faites `a chaque cycle. Apr`es une br`eve

introduction aux r´eseaux de neurones dynamiques, nous montrerons comment adapter un r´eseau

de neurones `a d´ecalage temporel pour adapter notre syst`eme aux donn´ees lors des corrections

des variables d’entr´ee.

Chapitre 5

R´eseau de neurones dynamique

perceptif

R

econnaˆıtre une forme avec le r´eseau de neurones perceptif demande d’effectuer plusieurs

cycles entre les donn´ees et leur interpr´etation. Les corrections, n´ecessaires `a l’affinement de

la solution, qui en r´esultent impliquent une modification des valeurs des entr´ees. Le r´eseau

est appris une seule fois avec une base de formes fixes, bien qu’au cours de la reconnaissance, un

vecteur de caract´eristiques diff´erent soit utilis´e pour d´ecider de la mˆeme forme. Nous allons

montrer dans ce chapitre comment int´egrer cette dynamique durant l’apprentissage afin de

proposer des r´eponses plus ad´equates apr`es chaque cycle perceptif. Apr`es un bref aper¸cu des

r´eseaux de neurones dynamiques, nous analyserons une solution bas´ee sur un r´eseau de neurones

`a d´ecalage temporel pour r´esoudre le probl`eme de la variation des donn´ees au cours du temps.

Sommaire

5.1 R´eseau de neurones perceptif et correction des entr´ees . . . 103

5.2 R´eseaux dynamiques . . . 104

5.2.1 R´eseaux statiques r´ecurrents . . . 104

5.2.2 Autres r´eseaux dynamiques . . . 106

5.2.3 Difficult´es des r´eseaux dynamiques . . . 107

5.2.4 Choix du r´eseau . . . 107

5.3 R´eseau `a d´ecalage temporel . . . 108

5.3.1 Topologie et fonction d’activation . . . 108

5.3.2 Apprentissage . . . 109

5.4 R´eseau de neurones dynamique perceptif . . . 112

5.5 Exp´erimentations . . . 115

5.6 Perspectives . . . 117

5.7 Conclusion . . . 121

5.1 R´eseau de neurones perceptif et correction des entr´ees

Nous avons d´ecrit au cours du chapitre 3 le fonctionnement du r´eseau de neurones perceptif,

de la cr´eation de la topologie jusqu’`a la reconnaissance. Nous avons particuli`erement mis en

avant l’atout majeur de ce r´eseau `a savoir la correction des entr´ees. Peu de syst`emes dans la

Chapitre 5. R´eseau de neurones dynamique perceptif

litt´erature reviennent sur leurs entr´ees une fois la reconnaissance effectu´ee. Ceci reste vrai dans le

cadre de l’analyse de structures logiques de documents et particuli`erement lorsque des m´ethodes

dirig´ees par les donn´ees sont employ´ees. Il existe certes des syst`emes ayant recours au rejet ou

`a une post-correction, mais peu agissent comme le RNP mettant en doute la qualit´e de ses

entr´ees et faisant intervenir l’information de contexte pour corriger les entr´ees fautives. Le RNP

«adapte» donc la forme pour qu’elle puisse ˆetre mieux reconnue au prochain cycle perceptif.

L’adaptation est, dans notre cas, une correction de la segmentation qui implique n´ecessairement

une modification d’un certain nombre d’autres variables du vecteur d’entr´ee.

La question que nous allons d´evelopper dans les prochaines sections est de savoir comment

tenir compte de ces entr´ees changeantes avec le mˆeme r´eseau. Jusqu’`a maintenant le RNP ´etait

bas´e sur un mod`ele statique, c’est-`a-dire que le temps n’influe pas sur les entr´ees et il ´etait

entraˆın´e sur une base fixe, celle correspondant au dernier cycle perceptif. L’id´ee serait

d’ex-ploiter l’information de correction non seulement pendant la reconnaissance mais aussi pendant

l’apprentissage afin de procurer des r´eponses plus adapt´ees en fonction de l’avancement des cycles

perceptifs. Les formesxi sont en effet diff´erentes `a chaque cycle (sinon elles sont d´ej`a classifi´ees),

x

_i

devrait ˆetre plutˆot nomm´e x

_i

(t) o`u t est le num´ero du cycle perceptif courant. Comme les

poids du r´eseauwl,i,j sont constants et d´etermin´es pour desxi(t=_∞), ils ne sont donc pas appris

de mani`ere optimale pour des donn´eesxi(t) avecxi(0)₆=. . .6=xi(n). L’id´eal serait de construire

un r´eseau f avec des poids w

_li,j

(t) de telle sorte quet

₁

6=t

₂

⇒f(x(t

₁

), t

₁

)₆=f(x(t

₂

), t

₂

) mˆeme

six(t

₁

) =x(t

₂

).

Plusieurs r´eseaux de neurones artificiels sont capables de traiter des informations temporelles.

Nous allons nous servir de l’un d’eux, le r´eseau `a d´ecalage temporel, et nous justifierons son choix

apr`es avoir ´etudi´e sont fonctionnement et d´ecrit son apprentissage. Avant de nous int´eresser `a ce

r´eseau qui sera utilis´e dans le RNP, nous donnerons un rapide aper¸cu des diff´erentes architectures

possibles. Bien que nous ne les employions pas dans notre m´ethode, nous mettrons un peu plus

en avant les r´eseaux statiques r´ecurrents qui permettent d’avoir un exemple plus d´etaill´e du

fonctionnement de r´eseaux dynamiques et nous ´etudierons plus particuli`erement comment

r´ea-liser un apprentissage pour ce type d’architecture. Pour avoir des explications compl´ementaires,

on pourra se r´ef´erer `a des articles tels que [Pearlmutter, 1995 ; Baldi, 1995] qui donnent des

indications plus d´etaill´ees sur les r´eseaux qui ne seront pas aussi d´evelopp´es dans ce m´emoire

que le r´eseau statique r´ecurrent et le r´eseau `a d´ecalage temporel.

5.2 R´eseaux dynamiques

Les principaux r´eseaux supervis´es pr´esent´es jusqu’`a maintenant ´etaient des r´eseaux statiques

non boucl´es. Si l’on reprend le Perceptron multicouche, on s’aper¸coit qu’il n’est en fait qu’une

approximation grossi`ere de la r´ealit´e ; si l’on se r´ef`ere au fonctionnement du cerveau humain,

on constate que le cortex est divis´e en plusieurs couches compos´ees d’un nombre important

de connexions. Les interactions au sein d’une mˆeme couche sont ´evidemment tr`es nombreuses

auxquelles se rajoutent les connexions entre les couches qui elles sont pr´esentes dans le PMC.

Il est plus commode d’omettre le bouclage au sein des couches de sorte que chaque neurone ne

re¸coive que les signaux de la couche pr´ec´edente.

5.2.1 R´eseaux statiques r´ecurrents

Il existe cependant des r´eseaux permettant de tenir compte de toutes les interactions possibles

entre les neurones que l’on appelle r´eseaux statiques r´ecurrents. Dans ce type de r´eseau, le

5.2. R´eseaux dynamiques

terme r´ecurrent fait r´ef´erence `a la topologie et non `a l’introduction du temps dans le calcul des

activations. On appelle aussi ce type d’architecture r´eseaux boucl´es car les neurones ne sont pas

forc´ement organis´es en couches successives. On peut imaginer des connections suppl´ementaires

partant de n’importe quel neurone et pouvant ˆetre reli´ees `a n’importe quel autre. La figure 5.1

montre un exemple extrˆeme d’architecture totalement boucl´ee.

36

Les reseaux de neurones biologiques et articiels

Fig.

2.4 - : Representation d'un reseau statique completement boucle.

symetrique (wij = wji). A l'inverse, son existence est presumee dans le cas general, faute

de certitudes.

Considerons un reseau totalement boucle de N neurones dont la reponse continue dans

01] est notee Vi et non plusai. Nous changeons quelque peu nos notations car l'activation

des neurones est desormais une variable ajustee continuement. La reponse du neurone i a

Dans le document Réseau de neurones dynamique perceptif - Application à la reconnaissance de structures logiques de documents (Page 121-126)