Chapitre 3. Réseaux de neurones formels
3.3 Modèles statiques et dynamiques
Selon la manière de prendre le temps en considération, 2 catégories de modèle peuvent être distinguées : les modèles statiques et les modèles dynamiques. Ces 2 approches, offrant des performances variables selon l’objectif du modèle mis au point, sont présentées dans la section suivante. Nous distinguons dans cette section la différence entre le modèle postulé, un modèle hypothétique supposé représenter au mieux le fonctionnement connu du processus
physique étudié, statique ou dynamique, et son implémentation par des réseaux de neurones, récurrent ou non-récurrent.
3.3.1 Modèles statiques
Dans un modèle statique, la sortie ne dépend que des entrées introduites à l’instant de simulation ou de prévision et non de l’état interne du réseau. La sortie est donc une fonction de n variables dans laquelle le temps ne joue pas de rôle fonctionnel. Lorsque les variables d’entrées sont des signaux échantillonnés, le réseau de neurones implémentant un modèle statique est un filtre numérique non-linéaire et non-récurrent (i.e. filtre transverse). La fonction mise en œuvre par un tel réseau peut être exprimée mathématiquement par l’équation (7). Dans ce type de réseau l’information circule dans le sens unique des entrées vers la sortie, il est donc dit non-récurrent ou non-bouclé (Figure 28). Lorsque les entrées sont constantes, la sortie est elle-même constante et n'évolue plus.
y k( )=jRN
[
x( ),k , (((((((, (, ((, (x k-n);c]
(7) avec, y(k) la sortie du modèle à l’instant discret k,φRN la transformation non-linéaire opérée par le filtre,
x(k) le vecteur du biais et des n variables à l’instant discret k, c la matrice des paramètres.
3.3.2 Modèles dynamiques
A la différence du modèle statique, le modèle dynamique est non seulement fonction de n variables d’entrée, dites exogènes, mais également d’une ou plusieurs valeurs passées de son état, dans notre cas sa sortie, estimée par le modèle lui-même. Le temps joue ainsi, dans ce type de modèle, un rôle fonctionnel puisque la sortie dépend d’une ou plusieurs des sorties passées. De cette manière, même si les variables exogènes restent constantes dans le temps, la sortie pourra varier dans le temps selon l’état interne du modèle.
Deux types de réseaux de neurones peuvent être utilisés pour représenter un processus physique dynamique. Soit les valeurs passées de la sortie introduites en entrée sont estimées par le réseau lui-même, dans ce cas le réseau utilisé est dit récurrent ou bouclé (Figure 28). La fonction mise en œuvre par un tel réseau peut être exprimée mathématiquement par l’équation (8). Soit les valeurs passées de la sortie introduites en entrée sont celles mesurées sur le processus physique et le type de réseau de neurones adapté est non-récurrent. Un réseau de neurones non-récurrent, représentant un système dynamique sera dit à apprentissage dirigé par les observations (de la sortie). A l’inverse, si le réseau de neurones implémentant ce modèle dynamique est récurrent, il sera dit à apprentissage non-dirigé par les observations (de la sortie).
y k( )=jRN
[
y k( ),,,, ,, (, (, (yy k((( -1 ,1)1)1)1),1),1), , (, (, (, (y ky((( -r); ( ),); ( ),);); ( ),);;x( )( ),( ),( ),( )( )k , , (, (, (, (,, (, (x((((k-n);)))););cc]]
(8)avec, r l’ordre du réseau : le nombre de valeurs passées observées en sortie, bouclés vers l’entrée.
Figure 28. Perceptrons multicouches statique et dynamique à une couche de neurones cachés.
3.3.3 Identification d’un processus dynamique
Nerrand et al. (1993) ont présenté une méthode permettant de sélectionner le type de modèle et le mode d’apprentissage le plus pertinent d’après les connaissances du bruit et des perturbations opérant sur le modèle postulé. Considérons le modèle postulé dynamique d’ordre 1 (Figure 29), d’un processus dynamique réalisant la fonction exprimée par l’équation (9).
y ksss( + =1) f
(
y ksss( ),,,,,, ,,,,,,,y ksss(((((((( - +r 11); ( ),1); ( ),1); ( ),1); ( ),1); ( )1); ( )1); ( ),1) u k( ) , (, (, (, (, (u k((( - +w 1)1)))
(9)avec, y(k+1) la sortie prédite fonction des sorties estimées précédentes et du vecteur u(k) des variables exogènes,
r l’ordre du modèle,
w la profondeur de la fenêtre temporelle des entrées, ϕ une fonction non linéaire.
Figure 29. Modèle postulé
dynamique d’ordre 1.
Deux hypothèses sont alors formulées pour le modèle postulé dynamique. Les perturbations, telles que les bruits ou incertitudes, affectent soit la sortie du modèle postulé, c’est l’hypothèse bruit de sortie, soit son état, c’est l’hypothèse bruit d’état. Deux types de prédicteurs neuronaux découlent de ces hypothèses
Hypothèse bruit de sortie
Lorsque les données de mesure de sortie du système contiennent des bruits importants, les perturbations sont considérées comme affectant la sortie du modèle postulé. L’expression mathématique d’un tel modèle est proposée à l’équation (10).
y kss( + =1)
f(
y kss( ), ,y kss( - +r 1), ( ),u k , (u k- +w 1)))
+b k( +1) y)
, , ( 1), ( ), , ( 1) , , (( 1), ( ),1) ( ) , (( 1)))
, , ( 1), ( ), , ( 1) , , (( 1), ( ),1), ( ), , (, ( 1)1))
(10)avec, ys(k+1) la sortie du modèle postulé à l’instant discret k+1,
ϕ(.) une fonction représentant le fonctionnement physique du processus étudié, ys(k) la sortie du modèle postulé à l’instant discret k,
u les entrées du processus,
b(k+1) le bruit affectant l’observation du processus à l’instant discret k+1.
La Figure 30 présente le modèle postulé selon l’hypothèse bruit de sortie ainsi que le prédicteur neuronal associé. Compte tenu du fait que les mesures de la sortie du processus sont perturbées, il convient de boucler la sortie du processus, avant son observation, en la réintroduisant en entrée du réseau avec un retard d’au moins un pas de temps. Sa sortie est décrite par l’équation (11). Ce type de réseau est théoriquement capable d’effectuer des prévisions dont l’horizon ne serait limité que par la disponibilité de prévisions de variables exogènes de qualité. Il est dynamique et donc à apprentissage non-dirigé par les observations.
y k( + =1) gRN
(
y k( ),,,,,, , (, (, (, (, (, (, (yy k- +r 1), ( ),1), ( ),1), ( ),1), ( ),1), ( ),1), ( ),1), ( ),u k , (, (, (, (, (, (, (u k- +w 1),1),cc))
(11)avec, y(k+1) la sortie estimée par le réseau à l’instant discret k+1, yp(k+1) la sortie mesurée sur le processus à l’instant discret k+1, gRN la fonction opérée par le réseau de neurones,
Figure 30. Modèle postulé avec bruit de sortie (à gauche) et le réseau de neurones correspondant au
prédicteur associé (à droite).
Hypothèse bruit d’état
Lorsque ce sont les mesures d’entrée du système qui contiennent des bruits importants, les perturbations affectent l’état du modèle postulé. L’expression mathématique de ce modèle est proposée à l’équation (12). y kss( + =1)
f(
y kpp( ), ,y kpp( - +r 1), ( ),u k , (u k- +w 1)))
+b k( +1) y)
, ( 1), ( ), , ( 1) , (( 1), ( ),1) ( ) , (( 1)1)))
, ( 1), ( ),) , ( 1))
(12)avec, ys(k+1), la sortie du modèle postulé à l’instant discret k+1,
ϕ(.) une fonction représentant le fonctionnement physique du processus étudié, yp(k) la sortie mesurée sur le processus à l’instant discret k,
u les entrées du processus,
b(k+1) le bruit affectant le processus et son mode d’observation à l’instant discret k+1.
La Figure 31 présente le modèle postulé selon l’hypothèse bruit d’état ainsi que le modèle de prédicteur neuronal associé. Dans la mesure où l’état est bruité, il convient plutôt d’introduire en entrée du réseau de neurones les sorties observées sur le processus. Il s’agit donc d’un réseau non-bouclé (ou statique), mais permettant de représenter le fonctionnement d’un système dynamique dont la fonction est décrite par l’équation (13). Dans ces conditions, la prévision nécessite des mesures réalisées sur le processus ; elle est plus rapidement dégradée qu’avec le modèle dynamique au fur et à mesure de l’augmentation de l’horizon de prévision. Ce modèle est dit à apprentissage dirigé par les observations.
y k( + =1) gRN
(
y kpp( ), ,,,,,y kypp((((((( - +r 1), ( ),1), ( ),1), ( ),1), ( ),1), ( ),1), ( ),1), ( ),u k , (, (, (, (, (, (, (u k- + cw 1),1),c))
(13) avec, y(k+1) la sortie estimée par le réseau à l’instant discret k+1,yp(k+1) la sortie mesurée sur le processus à l’instant discret k+1, gRN la fonction opérée par le réseau de neurones,
u les entrées du processus, c la matrice des paramètres.