Chapitre 3 : La modélisation synaptique
1. Les chaînes de Markov
Une chaîne de Markov est de manière générale un processus de Markov à temps discret. Les processus de Markov furent introduits dans le monde scientifique par Andrei Markov en 1906 par la publication des premiers résultats sur les chaînes de Markov à espace d’état fini [Basharin et al. 2004]. En 1936, Kolmogorov apporte une généralisation pour les chaînes de Markov à espace d’état infini dénombrable [Kolmogoroff 1936].
En mathématique, un processus de Markov est un processus stochastique possédant la propriété de Markov. Dans un tel processus, la prédiction du futur à partir du présent n’est pas rendue plus précise par des éléments d’informations concernant le passé. En d’autres thermes, un processus de Markov est un système probabiliste dont les informations du présent suffissent pour réaliser une prédiction du futur. Les processus de Markov sont liés au mouvement brownien et à l’hypothèse ergodique (hypothèse fondamentale de la physique statistique), qui ont marqué le début du XXe siècle en physique statistique.
1.1. Processus de Markov
Un processus de Markov à temps discret est une séquence de variables aléatoires à valeurs dans l’espace d’états noté . L’ensemble de leurs valeurs possibles est appelé espace d’états, la valeur étant l’état du processus à l’instant . Le terme chaîne de Markov désigne un processus de Markov à temps discret et à espace d’états discret. Toute chaîne de Markov est régie par la propriété de Markov faible et est caractérisée par sa probabilité de transition, son graphe et ses états. Définissons brièvement ces notions avant de présenter un exemple concret de modèle stochastique représenté par une chaîne de Markov.
1.1.1. Propriété de Markov faible
La propriété de Markov faible d’une chaîne de Markov homogène est caractérisée par l’équation (3.1) représentant une distribution conditionnelle.
(3.1)
où représente la probabilité de transition.
Pour résumer, cette distribution conditionnelle indique que la prédiction du futur à partir du présent n’est pas rendue plus précise par des éléments d’informations supplémentaires concernant le passé. Toute l’information utile pour la prédiction du futur est contenue uniquement dans l’état présent du processus. Cette propriété possède plusieurs formes équivalentes qui reviennent toutes à constater que la loi conditionnelle de connaissant le passé est une fonction de seul.
1.1.2. Probabilité de transition
Le nombre est appelé probabilité de transition de l’état à l’état en un pas. S’il n’existe pas d’ambiguïté dans le pas, alors cette appellation se réduit à la probabilité de transition de l’état à l’état . Ce nombre est souvent noté :
(3.2)
La famille de nombre (avec ) est désignée comme étant la matrice de transition ou encore l’opérateur de transition de la chaîne de Markov. La particularité de cette matrice de transition est que la somme de chaque ligne de donne toujours 1. La terminologie matrice de
transition est la plus communément utilisée, mais en toute rigueur elle n’est appropriée que pour un
entier , .
1.1.3. Graphe d’une chaîne de Markov
Le graphe d’une chaîne de Markov, noté , est un graphe orienté défini à partir de l’espace d’états et de la matrice de transition . La Figure 3.1 illustre un exemple de graphe d’une chaîne de Markov accompagné de sa matrice de transition.
Figure 3.1 : Représentation de la matrice de transition d’une chaîne de Markov et de son graphe associé.
Le graphe d’une chaîne de Markov possède deux caractéristiques. La première de ces caractéristiques indique que les sommets de sont les éléments de et la seconde que les arrêtes du graphe sont les couples vérifiant l’inégalité .
1.1.4. Classification des états
Pour , on dit que est accessible à partir de si et seulement s’il existe tel que que l’on note :
(3.3)
On dit que et communiquent si et seulement s’il existe tel que et que nous pouvons aussi noter sous la forme simplifiée suivante :
(3.4)
La relation communiquer, notée par le symbole « », est une relation d’équivalence. Quand on parle de classe en parlant des états d’une chaîne de Markov, c’est généralement aux classes d’équivalence
Etude de l’activité neuronale : optimisation du temps de simulation et stabilité des modèles 25 pour la relation « » que l’on fait référence. Lorsque tous les états communiquent, alors la chaîne de
Markov est dite irréductible.
La relation être accessible, notée par le symbole « », s’étend aux classes d’équivalence et représente une relation d’ordre entre les classes d’équivalence. Pour deux classes et nous aurons :
(3.5)
Une classe est dite finale si elle ne conduit à aucune autre, sinon la classe est dite transitoire. La classification des états d’une chaîne de Markov se lit de manière aisée sur le graphe de la chaîne.
1.2. Exemple simple d’une chaîne de Markov
Après cette succinctement définition et présentation des notions d’un processus de Markov avec ses propriétés, il est intéressant de l’illustrer avec un exemple simple et très répandu : l’exemple de
Doudou le hamster.
Doudou, un hamster très paresseux, ne connait que trois lieux dans sa cage : les copeaux pour dormir et se reposer, la mangeoire pour se nourrir et pour finir, la roue pour se dégourdir les pattes. Les journées de cet hamster sont assez semblables les unes aux autres et facilement représentables par une chaîne de Markov. Toutes les minutes, Doudou peut soit changer d’activité, soit continuer celle qu’il était en train de faire. Dans le cas de Doudou, nous pouvons vraiment parler de processus sans mémoire.
Quand il dort, il a 9 chances sur 10 de ne pas se réveiller la minute suivante.
A son réveil, il a 1 chance sur 2 d’aller manger et 1 chance sur 2 de faire de l’exercice.
Le repas ne dure qu’une minute, après il fait autre chose.
Après avoir mangé, notre hamster a 3 chances sur 10 de partir courir dans sa roue, mais surtout 7 chances sur 10 de retourner dormir.
Courir est très fatigant, du coup il y a 8 chances sur 10 que Doudou retourne dormir après une minute d’exercice. Sinon il continue de courir en oubliant qu’il était déjà un peu fatigué.
La Figure 3.2 illustre le graphe d’état de la chaîne de Markov représentant l’activité de Doudou dans sa cage. Les états de cette chaîne de Markov sont les copeaux, la mangeoire et la roue. Les flèches représentent les probabilités de transition. Connaissant les probabilités de transition, nous pouvons en déduire la matrice de transition du processus de Markov qui est la suivante :
(3.6)
Les lignes et les colonnes correspondent respectivement aux états représentés sur le graphe par copeaux, mangeoire et roue.
En prenant comme hypothèse que notre hamster dort lors de la première minute de l’étude, nous aurons alors . Au delà de la première minute, nous pouvons donc prédire :
(3.7)
Ainsi, après une minute, on a 90% de chance que Doudou dorme encore, 5% qu’il mange et 5% qu’il coure. Il est possible de prédire à la seconde itération :
(3.8)
A la deuxième itération, on s’aperçoit que le hamster Doudou a plus de chances de courir que de manger (respectivement 7% et 4.5%), d’après l’équation (3.8).
De manière générale, pour minutes les prédictions deviennent :
(3.9)
La théorie montre qu’au bout d’un certain temps, la loi de probabilité devient indépendante de la loi initiale. Notons
lim
nn
q X
et , on peut donc écrire avec la loi invariante par rapport à . Sachant que , une simple résolution nous permet de trouver :(3.10)
Nous pouvons donc conclure que notre hamster Doudou est vraiment paresseux, puisqu’il passe 88.4% de son temps à dormir, 4.42% de son temps à manger et les 7.18% restant à courir.
Les processus de Markov sont appliqués dans différents domaines comme l’intelligence artificielle, la génétique, la météorologie, etc. Les processus de Markov se révèlent bien adaptés à la modélisation
Etude de l’activité neuronale : optimisation du temps de simulation et stabilité des modèles 27 des interactions entre différents éléments constituant une synapse. En effet, ces interactions peuvent
être représentées par des schémas cinétiques avec des probabilités d’association et de dissociation entre les différentes interactions. La section suivante présentera comment les chaînes de Markov peuvent être appliquées au domaine des neurosciences computationnelles.