État de l’art spécifique

Les réseaux de neurones artificiels ont été utilisés pour gérer les solutions en temps réel pour la science et pour les applications d’ingénierie. Les réseaux neuronaux sont étudiés depuis de nombreuses années pour leur capacité à résoudre les pro- blèmes d’optimisation complexes. Dans ce domaine, le premier modèle de réseau neuronal récurrent a été proposé par [Hopfield & Tank, 1985] pour une implémen- tion avec des circuits analogiques. Leur RNR contient des neurones dynamiques hautement interconnectés gouvernés par des équations différentielles non linéaires. Ces types de modèles récurrents sont instables à cause de leur dynamique (discrète ou continue). Cependant, [Tank & Hopfield, 1986] ont appliqué la théorie de sta- bilité de Liapounov à l’analyse des réseaux récurrents. Ainsi, ils ont formulé un problème de programmation linéaire sous forme d’un réseau de neurones en boucle fermée. Au début, le modèle a été utilisé comme une mémoire associative qui a servi dans de nombreuses applications telles que le rétablissement et l’association de motifs, l’élimination de bruit, l’amélioration du contraste, le traitement d’images, entre autres. Toutefois, ce modèle a été rapidement mis en œuvre comme un outil

pour résoudre les problèmes d’optimisation. Leur modèle est basé sur un circuit électrique, où chaque neurone est représenté par un amplificateur opérationnel et un réseau associé formé par un condensateur et différentes résistances qui sont les paramètres du RNR [Cochocki & Unbehauen, 1993]. C’est pourquoi ils ont intro- duit un modèle continu pour les problèmes d’optimisation sans contraintes basé sur l’approche de la fonction énergétique [Tank & Hopfield, 1986]. Cette fonction énergétique est une fonction de Liapounov pour laquelle le réseau est stable sous la forme d’une fonction quadratique [Demuth et al., 2014]. Leur réseau ne donnait pas de solution au problème de programmation original, mais a inspiré d’autres chercheurs pour améliorer les circuits basés sur des architectures neuronales. Ainsi, [Kennedy & Chua, 1988] ont amélioré le réseau de [Tank & Hopfield, 1986] en développant un réseau de neurones récurrents pour résoudre les problèmes de programmation non linéaire en utilisant les méthodes du gradient et de fonction de pénalité. Les points d’équilibre du réseau correspondent aux solutions optimales ap- proximatives qui satisfont les conditions de Karush-Kuhn-Tucker (KKT)1_{. Comme}

ils utilisent des paramètres de pénalisation pour les contraintes des états, leur RNR ne donne qu’une solution approximative au problème d’optimisation original, car les points d’équilibre stables ne sont les solutions des problèmes d’optimisation que lorsque les paramètres de pénalité sont infinis [Chen et al., 1991; Lillo et al., 1993; Mladenov & Maratos, 2000]. En effet, d’après la littérature, plusieurs auteurs n’utilisent pas l’implémentation des paramètres de pénalisation dans la fonction d’énergie comme c’est le cas de [Rodriguez-Vazquez et al., 1988].

[Zhang & Constantinides, 1992] ont proposé la programmation de Lagrange d’un réseau neuronal basé sur la théorie des multiplicateurs de Lagrange pour la pro- grammation sous contraintes. En revanche, leurs RNR sont limités à la dérivation des équations différentielles. [Xia, 1996] a amélioré le réseau de neurones en créant une méthode qui résout les problèmes primal et dual simultanément, capable d’obtenir les solutions exactes. Nous introduisons ces problèmes dans la partie 4.3.2. Ensuite, [Wang, 1997] a proposé un réseau de neurones récurrents basé sur la méthode duale, afin de résoudre directement le problème de programmation quadratique. Plusieurs auteurs ont suivi cette approche et ont construit des réseaux similaires [Cheng et al., 2007; Liu & Wang, 2006; Wang & Xia, 1999]. D’autres ont préféré implémenter une topologie discrète pour la création d’équations différen- tielles. Les méthodes sont résumées dans le tableau 10.

1. Conditions nécessaires du premier ordre pour qu’une solution au problème d’optimisation non linéaire soit optimale.

RNR Caractéristiques Références

Fonction de pénalité

mise en œuvre facile, solu- tions optimales approxima- tives seulement

[Maa & Shanblatt, 1992], [Mladenov & Maratos, 2000], [Cheng et al., 2009]

Lagrange

gère les contraintes d’égalité [Zhang & Constantinides, 1992],[Bouzerdoum & Pattison, 1993],[Costantini et al., 2008]

Projection sans paramètre de pénalisa-

tion

[Xia & Feng, 2005],[Cheng et al., 2009], [Liu & Wang, 2015]

Primal-Dual sans paramètre de pénalisa-

tion

[Xia et al., 2005]

Dual

sans paramètre de pénalisa- tion, complexité de calcul ré- duite

[Xia, 1996], [Liu & Wang, 2006], [Hu & Wang, 2008]

Temps discret adapté pour la mise en

œuvre avec matériel infor- matique

[Perez-Ilzarbe, 2013], [Liu & Cao, 2011]

TABLEAU10 – Différentes approches d’optimisation par réseaux de neurones récur-

rents.

4.3

Formulation du problème d’optimisa-

tion en termes de réseaux de neurones

récurrents

Comme nous l’avons vu dans la partie 3.4.3, le problème d’optimisation de la commande prédictive (25) est quadratique avec des contraintes linéaires sur les variables de décision ∆U . Afin de représenter ce problème en termes de réseaux de neurones récurrents, ce problème d’optimisation doit être transformé en une fonction d’énergie de Liapounov du réseau de neurones récurrents [Hopfield & Tank, 1985]. Pour ce faire, il est nécessaire d’appliquer la méthode du gradient au problème d’optimisation quadratique. Puis, le problème est représenté mathémati- quement par un ensemble d’équations différentielles ordinaires asymptotiquement stables. Ce système représentera l’architecture du réseau de neurones récurrents. De cette approche, il a été montré qu’il suffit d’une condition initiale et d’une fonction d’énergie de type Liapounov pour que la solution de l’équation différentielle représentée par le réseau neuronal converge vers les solutions optimales de notre problème (25). Cette fonction de Liapounov définie la stabilité de la trajectoire du système dynamique, et lorsque le temps augmente, la valeur de la fonction diminue. Cela permet de résoudre des problèmes d’optimisation en temps réel grâce aux opérations parallèles des neurones et à leur rapide taux de convergence [Medsker & Jain, 2001].

Il existe deux approches pour la formulation de problèmes d’optimisation en termes de réseau de neurones récurrents : les paramètres de pénalisation et la dynamique du système [Xia & Wang, 1998]. Dans la première approche se trouvent les mé- thodes dans lesquelles le problème sous contraintes dures devient un problème sans contraintes ou restrictions souples grâce aux paramètres de pénalisation, notamment la méthode de pénalité pour les contraintes d’inégalité et la méthode des multiplicateurs de Lagrange pour les contraintes d’égalité. Dans la seconde approche, le RNR est un ensemble d’équations différentielles pour lesquelles les points d’équilibre correspondent à la solution du problème de programmation, tels que la méthode duale et de projection. Parmi ces deux approches, la plus facile et la plus utilisée est la méthode de pénalité. Compte tenu des difficultés connues associées à son implémentation, les paramètres de pénalisation peuvent varier et donner de bons résultats. C’est pourquoi, elle est la première approche à être testée dans notre modèle.

À des fins pratiques, dans cette partie, notre problème d’optimisation sera repré- senté par la fonction de coût suivante :

minimiser f (x) = 1

2x

T_{Hx + f}T_x

soumis à gi(x) = Acx − b ≤ 0, i = 1, 2...m.

(35)

Où f (x) est une fonction fortement convexe puisque H est une matrice définie positive. Dans cette fonction, g(x) ∈ Rm _{sont les contraintes d’inégalité du système.}

Nous soulignons que l’équation (35) est en effet le problème d’optimisation du MPC de l’équation (25). Cependant, les variables de décision ∆U ont été remplacées par x et seront appelées dans cette partie les états du réseau de neurones récurrents. Ces états doivent satisfaire des conditions supplémentaires présentées sous la forme de contraintes d’inégalité, afin que le problème d’optimisation soit une fonction d’énergie de type Liapounov pour le réseau de neurones récurrents [Cochocki & Unbehauen, 1993].