vécus entre ces deux périodes vont inuer sur le contenu de la connaissance mémorisée5.
1.3 Une approche formelle de la mémoire
Comme indiqué sur la gure 1.1, l'apprentissage d'une connaissance représente la phase préli-minaire de la mémorisation et constitue une phase critique du processus puisqu'elle va contraindre de facto la nature du retour d'information qui sera faite. Si l'on apprend à conduire, mieux vaut se rappeler eectivement comment l'on conduit lorsque l'on se trouve volant d'une voiture. Si l'on apprend maintenant un numéro de téléphone, mieux vaut se souvenir des chires plutôt que de l'intonation de la voix de l'interlocuteur qui nous l'a communiqué. Pendant longtemps cet apprentissage a été une notion évidente que tout un chacun pouvait appréhender, on pouvait apprendre un métier, apprendre à jouer d'un instrument, apprendre à compter, etc. Ce n'est
que vers le XIXeme siècle que l'on se pose la question comment l'apprentissage est-il possible
et réalisé? . La physiologie et la psychologie se sont d'abord intéressées à l'apprentissage sous la forme du conditionnement classique [Pavlov, 1927], la psychologie béhavioriste a ensuite pro-posé des modèles de l'acquisition du comportement animal et déni l'apprentissage comme la capacité de connaître [Skinner, 1938]. A cette époque et pendant longtemps, les chercheurs vont se refuser à analyser les mécanismes sous-jacents de cet apprentissage, considérant celui-ci comme une boîte noire dont on peut observer les eets sur le comportement mais dont on ne connaît pas la nature intime. Cette restriction forte empêchera alors la description analytique des mécanismes d'apprentissage hors du cadre de la biologie et ce ne sera qu'en s'éloignant du modèle animal que des disciplines scientiques telles que la psychologie, la linguistique et l'infor-matique théorique vont pouvoir proposer les premières tentatives de formalisation de cette notion d'apprentissage. Notre propos n'est pas de présenter ici une théorie formelle de l'apprentissage, pour cela, on préférera consulter [Boucheron, 1992] qui propose un cadre mathématique précis pour une théorie formelle de l'apprentissage selon le modèle de Valiant (ou apprentissage pac). Nous souhaitons en revanche insister ici sur les notions d'apprentissage déclaratif et procédural qui ont été rapidement évoquées dans l'introduction générale. Sur la base de cette notion de connaissance qui a été dénie comme une observation faite sur le monde, il existe deux façons de mémoriser la connaissance sous-jacente. Selon que l'on considère respectivement l'aspect géné-rique de l'information ou son aspect particulier, les mémorisations subséquentes que l'on peut en faire vont être orientées respectivement vers les mémoires procédurales et déclaratives. En eet, devant un même ux d'information externe, il existe deux modes distincts d'appréhension de la connaissance sous-jacente :
mode déclaratif : le ux d'information est considéré comme une connaissance entière et doit être mémorisé en l'état.
mode procédural : le ux d'information est considéré comme une instance particulière d'une fonction sous-jacente et la connaissance doit être mémorisée par modication d'un modèle mémorisé.
En d'autres termes, devant un événement donné (au sens général), on peut apprendre par coeur cet événement particulier et/ou modier un modèle existant modélisant cet événement. Par exemple imaginons la scène où un enfant apprend à faire du vélo et tombe en s'égratignant le bout du nez. La mémoire déclarative lui permet de se souvenir de cet évènement douloureux
5. Il est à noter que certains algorithmes utilisent cette notion dynamique de la mémoire. Par exemple, l'algo-rithme de compression d'image jpeg eectue un compromis entre la qualité de l'image et la taille de la mémori-sation, l'information ainsi perdue est généralement non perceptible à l'oeil nu.
Chapitre 1. Diérentes mémoires
alors que la mémoire procédurale lui permet de modier son modèle de l'équilibre et de ne plus tomber.
1.3.1 La mémoire déclarative, un apprentissage par c÷ur
La mémoire déclarative s'attache à réaliser un apprentissage par coeur du ux d'information qui lui est soumis. Il n'est pas requis de mémoriser l'ensemble du ux d'information, mais la connaissance extraite du ux d'information est mémorisée en l'état et ne se réfère donc pas à un modèle existant. Elle peut donc être rapide puisqu'une seule présentation d'un exemple sut à sa mémorisation. Sur la base d'un corpus d'exemples, on peut la dénir mathématiquement en ces termes :
Soit un ensembleE de vecteurs d'entrée
E={E~i}i∈[1..N]
∀i∈[1..N], ~Ei={ei,1,...,ei,nE} ∀i∈[1..nE],ei ∈IR
et un ensemble S de vecteurs de sortie
S ={S~i}i∈[1..N]
∀i∈[1..N], ~Si ={si,1,...,si,nS} ∀i∈[1..nS],si ∈IR
Soit la fonctionf telle que
f :E −→ S ∀i∈[1..N],f(E~i) 7−→ S~i
Soit un corpus d'exemples C = {E0 ⊂ E,S0 ⊂ S}, on appelle alors mémoire déclarative de la
fonction f sur le support C toute fonctionf0:
f0 :E −→ S0 ∃r ∈IR/|fS0−f0
S0| ≤r
Il est à noter ici que le codomaine de la fonctionf0 est l'ensembleS0 alors que son domaine est
l'ensemble E. Cela signie que la fonctionf0 est eectivement capable de restituer les exemples
appris, mais qu'elle peut de plus proposer des sorties pour des exemples non vus auparavant.
Les sorties sont alors restreintes à l'ensembleS0 et non pas à l'ensembleS, ce qui signie que les
sorties seront toujours des sorties faisant partie du corpus d'apprentissage. Cette mémoire n'est donc pas capable de générer des vecteurs de sortie originaux pour des vecteurs d'entrée inconnus. Une mémoire déclarative crée donc des classes d'équivalence à partir d'exemples représentatifs et les exemples successifs sont alors classés au sein de ces classes d'équivalence (cf. gure 1.3) et seules les sorties eectivement vues auparavant peuvent être rappelées, il n'y a pas création de connaissance.
1.3.2 La mémoire procédurale, une approximation de fonction
La mémoire procédurale correspond elle à l'aspect de la généralisation en ce sens qu'elle tente d'approximer une fonction qui lui est inconnue et qu'elle ne perçoit qu'au travers d'exemples.
1.3. Une approche formelle de la mémoire y x 0 1) 3) x 0 y y x 0 2) 4) 0 x y Classe d’équivalence Point exact
Fig. 1.3 Apprentissage déclaratif. Apprentissage successifs de classe d'équivalence (1), (2) et (3). Lorsque l'apprentissage est terminé, le système est capable d'exhiber pour n'importe quelle entrée la classe d'équivalence sous la forme d'un exemple vu auparavant.
Chaque exemple présenté permet d'aner le modèle de la fonction sous-jacente par la modi-cation progressive de la dénition de ce modèle. Cette généralisation requiert donc un nombre d'exemples conséquent an d'approcher au mieux la fonction que l'on cherche à approximer. En d'autres termes, une mémoire procédurale s'attache à approximer progressivement une fonction sur la base d'exemples présentés. En faisant abstraction du temps et en supposant que l'on dis-pose du corpus entier des exemples, on peut la dénir mathématiquement en ces termes :
Soit un ensemble E de vecteurs d'entrée
E ={E~i}i∈[1..N]
∀i∈[1..N], ~Ei ={ei,1,...,ei,nE} ∀i∈[1..nE],ei ∈IR
et un ensemble S de vecteurs de sortie
S ={S~i}i∈[1..N]
∀i∈[1..N], ~Si={si,1,...,si,nS} ∀i∈[1..nS],si∈IR
Soit la fonction f telle que
f :E −→ S ∀i∈[1..N],f(E~i) 7−→ S~i
Soit un corpus d'exemples C = {E0 ⊂ E,S0 ⊂ S}, on appelle alors mémoire procédurale de la
fonction f sur le support C toute fonctionf0:
Chapitre 1. Diérentes mémoires
∃r ∈IR/|fE0−f0 E0| ≤r
f0 est une approximation de la fonctionf au sens où la distance|fE0−f0
E0|entre les restrictions
respectives de f et f0 à E0 est bornée. Cela signie notamment que la fonction f0 est capable
d'approximer la fonction f sur le domaine E complet (mais on ne dispose alors pas de bornes
réelles) (cf. gure 1.4). De façon plus intuitive, il sut de présenter au système un ensemble d'exemples représentatifs de la fonction (entrées et sorties) et celui-ci est alors en mesure d'en-gendrer une réponse spécique pour chaque exemple successif qui lui sera présenté, que celui-ci ait été vu auparavant ou non. Cette mémoire procédurale est donc capable de produire des
y x 0 y x 0 1) 2) y x 0 y x 0 3) 4) Point approximé Point exact x0
Fig. 1.4 Apprentissage procédural. Approximations successives d'une fonction étant donné deux
points (1), trois points (2), quatre points (3). En (4), approximation du point d'abcisse x0.
sorties nouvelles pour des entrées ne faisant pas partie du corpus d'apprentissage mais elle peut de plus produire des sorties nouvelles pour des entrées faisant partie du corpus d'apprentissage, ne réalisant ainsi pas un apprentissage par coeur stricto sensu. Elle généralise donc une fonction qu'elle ne connaît qu'en certains points à l'ensemble de dénition de la dite fonction. Il sut pour cela que les exemples présentés soit susamment représentatif de la fonction. C'est donc là un outil très puissant de généralisation de fonctions.