Problèmes d'approximation matricielle linéaires coniques: Approches par Projections et via Optimisation sous contraintes de semi-définie positivité
157
0
0
Texte intégral
(2) THÈSE présentée en vue de l’obtention du. Doctorat de l’Université Paul Sabatier - Toulouse III. Section : Mathématiques Appliquées. Spécialité : Analyse Convexe et Optimisation numérique.. par. Pawoumodom Ledogada TAKOUDA. Problèmes d’approximation matricielle linéaires coniques : Approches par projections et via Optimisation sous contraintes de semidéfinie positivité.. Rapporteurs : P. L. Combettes A. Lewis. Professeur à l’Université Pierre et Marie Curie - Paris VI Professeur à la Simon Fraser University, Vancouver, Canada. Thèse soutenue le lundi 29 Septembre 2003 devant le jury composé de :. D. Azé P. L. Combettes J.-B. Hiriart-Urruty M. Mongeau D. Noll J-P. Penot. Professeur à l’Université Paul Sabatier - Toulouse III Professeur à l’Université Pierre et Marie Curie - Paris VI Professeur à l’Université Paul Sabatier - Toulouse III Maître de Conférences HDR à l’Université Paul Sabatier - Toulouse III Professeur à l’Université Paul Sabatier - Toulouse III Professeur à l’Université de Pau et Pays de l’Adour. Laboratoire de Mathématiques appliqués à l’Industrie et la Physique (MIP) Equations aux Dérivées Partielles - Optimisation - Modélisation - Calcul Scientifique UMR 5640 Université P. Sabatier UFR MIG 118, Route de Narbonne 31062 Toulouse Cedex 04 - France. (Examinateur) (Rapporteur) (Co-directeur de Thèse) (Co-directeur de Thèse) (Examinateur) (Examinateur).
(3)
(4) Problèmes d’approximation matricielle linéaires coniques : Approches par projections et via Optimisation sous contraintes de semidéfinie positivité. Pawoumodom Ledogada TAKOUDA 4 février 2004.
(5) ii.
(6) Table des matières 1. 2. 3. Notions d’approximation matricielle 1.1 Introduction et notations . . . . . . . . . . . . . . . 1.1.1 Notion d’approximation linéaire conique . . 1.1.2 Notations . . . . . . . . . . . . . . . . . . . 1.2 Motivations et exemples . . . . . . . . . . . . . . . 1.2.1 Approximation par matrices bistochastiques 1.2.2 Approximation par matrices de corrélation . 1.3 Quelques rappels d’Analyse convexe . . . . . . . . . 1.4 Approches théoriques de résolution . . . . . . . . . . 1.4.1 Formulations pratiques du problème. . . . . 1.4.2 Existence et caractérisation des solutions . . 1.4.3 Unicité des solutions . . . . . . . . . . . . . 1.5 Approches numériques de résolution . . . . . . . . . 1.5.1 Approches directes par moindres carrés . . . 1.5.2 Approche duale par Quasi-Newton . . . . . 1.5.3 Approche par points fixes . . . . . . . . . . 1.5.4 Approche par projections alternées . . . . . 1.5.5 Approche par points intérieurs . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . .. 3 3 3 6 7 8 8 9 10 10 11 13 13 13 14 14 14 15. Algorithmes de projections 2.1 Notions de projections . . . . . . . . . . . . . . . . . 2.2 Les méthodes de projections . . . . . . . . . . . . . . 2.2.1 Motivations : problèmes de faisabilité convexe 2.2.2 Principes . . . . . . . . . . . . . . . . . . . . 2.3 Méthodes de projection pour l’approximation . . . . 2.3.1 Algorithme de Von Neumann . . . . . . . . . 2.3.2 Algorithme de Boyle-Dykstra . . . . . . . . . 2.4 Interprétation et vitesse de convergence . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. 17 17 21 21 21 23 24 26 30. . . . . .. 31 31 31 33 40 40. Approximation par matrices bistochastiques des matrices bistochastiques 3.1 Le polytope 3.1.1 Définitions et caractérisations . . . . 3.1.2 Points extrémaux . . . . . . . . . . 3.2 Approximation par matrices bistochastiques . 3.2.1 Motivations . . . . . . . . . . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . .. . . . . ..
(7) iv. TABLE DES MATIÈRES. . . . . . . . . . . . . . . . . . .. 40 42 42 43 43 50 51 56 61 61 63 63 65 65 65 67 69 76. 4. Optimisation sous contraintes de semi-définie positivité 4.1 Problèmes d’optimisation sous contraintes de semi-définie positivité 4.1.1 Définition . . . . . . . . . . . . . . . . . . . . . . . . . . 4.1.2 Motivations et Historique . . . . . . . . . . . . . . . . . . . 4.1.3 Etude des problèmes SDP . . . . . . . . . . . . . . . . . . 4.1.4 Quelques remarques . . . . . . . . . . . . . . . . . . . . . 4.2 Quelques rappels d’Analyse numérique . . . . . . . . . . . . . . . 4.2.1 Méthodes de types Newton . . . . . . . . . . . . . . . . . . 4.2.2 Méthode de gradients conjugués . . . . . . . . . . . . . . . 4.3 Méthodes de points intérieurs de suivi de trajectoire . . . . . . . . . 4.3.1 Principes généraux . . . . . . . . . . . . . . . . . . . . . . 4.3.2 Directions de recherche de Newton . . . . . . . . . . . . . 4.3.3 Exemples d’algorithmes . . . . . . . . . . . . . . . . . . . 4.4 Points intérieurs par Gauss-Newton . . . . . . . . . . . . . . . . . 4.4.1 Direction de recherche de Gauss-Newton . . . . . . . . . . 4.4.2 Algorithmes de points "intérieurs-extérieurs" . . . . . . . .. 79 79 79 81 82 84 85 85 87 90 91 94 96 98 98 102. 5. Approximation par matrices de corrélation 5.1 Approximation par matrices de corrélation . 5.1.1 Notions de matrice de corrélation . 5.1.2 Motivations . . . . . . . . . . . . . 5.1.3 Existence et unicité de solutions . . 5.2 Approches de types projections . . . . . . .. 5.2.1 Projection sur . . . . . . . . . . 5.2.2 Projection sur . . . . . . . . . . 5.2.3 Algorithme de projections alternées. 105 105 105 106 107 107 108 108 109. 3.3. 3.4. 3.5. 3.6. 3.2.2 Premiers résultats . . . . . . . . . . . . . . . . . . . . 3.2.3 Optimisation quadratique . . . . . . . . . . . . . . . . Approximation par projection alternées . . . . . . . . . . . . . 3.3.1 Projection sur . . . . . . . . . . . . . . . . . . . . 3.3.2 Projection sur . . . . . . . . . . . . . . . . . . . . 3.3.3 Algorithme . . . . . . . . . . . . . . . . . . . . . . . . 3.3.4 Quelques remarques . . . . . . . . . . . . . . . . . . . 3.3.5 Tests numériques . . . . . . . . . . . . . . . . . . . . Approximation par algorithme dual . . . . . . . . . . . . . . . 3.4.1 Principe de l’algorithme dual . . . . . . . . . . . . . .
(8) . . . . . . . . . . . . . . . . . . . . . 3.4.2 Application à 3.4.3 Approche par points fixes . . . . . . . . . . . . . . . . Application : Problèmes d’agrégations de préférences . . . . . . 3.5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . 3.5.2 Présentation des problèmes d’agrégation de préférences 3.5.3 Une approche matricielle . . . . . . . . . . . . . . . . 3.5.4 Quelques exemples . . . . . . . . . . . . . . . . . . . Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . .. . . . . . . . . . . . . . . . . . .. . . . . . . . .. . . . . . . . ..
(9) TABLE DES MATIÈRES. 5.3. 5.4. 5.5. 5.6. Approche de résolution par minimisation autoduale . . . . 5.3.1 Un problème équivalent : Passage à l’épigraphe . . 5.3.2 Tests numériques avec SeDuMi . . . . . . . . . . Approche de résolution par points intérieurs . . . . . . . . 5.4.1 Quelques opérateurs . . . . . . . . . . . . . . . . 5.4.2 Deuxième formulation équivalente . . . . . . . . . 5.4.3 Conditions d’optimalité et Directions de recherche 5.4.4 Algorithme . . . . . . . . . . . . . . . . . . . . . 5.4.5 Préconditionnement . . . . . . . . . . . . . . . . Tests numériques . . . . . . . . . . . . . . . . . . . . . . 5.5.1 Problèmes de petite taille . . . . . . . . . . . . . . 5.5.2 Problèmes creux de grande taille . . . . . . . . . . 5.5.3 Robustesse . . . . . . . . . . . . . . . . . . . . . Projections vs Points intérieurs : premières comparaisons .. v. . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . .. 110 110 111 111 113 116 117 120 121 125 126 128 129 132.
(10) vi. TABLE DES MATIÈRES.
(11) Table des figures 1.1. Ensemble réalisable en approximation linéaire conique . . . . . . .. 2.1 2.2 2.3. Illustration de l’algorithme de Von Neumann . . . . . . . . . . . . 25 Von Neumann sur l’intersecton d’un cône et d’un sous-espace . . . 26 Illustration de l’algorithme de Boyle-Dykstra . . . . . . . . . . . . 27. . Visualisation 3-D de . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Illustration de la définition de Convergence de pour matrice rando, "!#! . . . . . . Convergence de $&%' ( pour matrice Hilbert, )!#! . . . . Nombre d’itérations en fonction de la taille de matrices générées aléatoirement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.6 Nombre d’itérations en fonction de la taille de la matrice de Hilbert 3.7 Temps de calcul et nombre de termes non nuls en fonction de la densité de pour +*,! . . . . . . . . . . . . . . . . . . . . . . . 3.8 Temps de calcul et nombre de termes non nuls en fonction de la densité de pour - )!#! . . . . . . . . . . . . . . . . . . . . . . 3.9 Temps de calcul et nombre de termes non nuls en fonction de la densité de pour - "*.! . . . . . . . . . . . . . . . . . . . . . . 3.10 Comparaison de l’approche duale et des projections alternées . . . . 3.11 Illustration 3D de la matrice d’agrément . . . . . . . . . . . . . . . 3.12 Illustration 3D de la matrice de permutation optimale obtenue . . .. 3.1 3.2 3.3 3.4 3.5. 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Comparaison SeDuMI avec nos points intérieurs . . . . . . . . . . . Temps CPU Comparaison SeDuMI avec nos points intérieurs (temps moyen après "! tests pour chaque densité) . . . . . . . . . . . . . . 30 problèmes ; dimension / +0.!#! . . . . . . . . . . . . . . . . . . 30 problèmes ; dimension / 21#!#! . . . . . . . . . . . . . . . . . . 28 problèmes ; dimension / 213*.! . . . . . . . . . . . . . . . . . . Utilisation de la robustesse : courbe de convergence . . . . . . . . Comparaison de projections alternées avec points intérieurs . . . . .. 5. 45 55 56 57 58 58 59 60 60 64 74 75 112 127 128 130 131 132 133 135.
(12) Introduction Nous présentons dans cette thèse l’étude et la comparaison de deux approches numériques de résolutions de problèmes d’approximation matricielle linéaire conique. Nous appelons problème d’approximation tout problème dans un espace 4 qui consiste à trouver, pour un point 5 donné, le point d’un sous-ensemble normé 6 de 4 , formés par des éléments ayant tous une certaine propriété, qui en est le plus proche au sens d’une norme donnée. On parle de problème matriciel lorsque l’on se restreint à considérer un espace formé de matrices. Les problèmes d’approximation matricielle proviennent de différentes situations pratiques dans des domaines aussi variés que l’Analyse numérique, les Statistiques et la Finance, les Sciences sociales, etc. Nous nous sommes placé dans un espace de 6 matrices euclidien, et nous nous sommes intéressé aux cas où le sous-ensemble évoqué ci-dessus a la particularité d’être l’intersection d’un sous-espace (affine ou linéaire) et d’un cône convexe fermé. De nombreux problèmes présentent cette structure particulière. En Théorie du choix social, une des procédures destinées à agréger en une préférence collective des préférences individuelles exprimées sur un certain nombre de possibilités conduit à chercher la matrice bistochastique la plus proche d’une matrice dépendante des données du problème. En analyse de risques financiers, un des plus anciens modèles de mesure de ce risque nécessite la connaissance de la matrice de corrélation associée à un portefeuille d’actions, laquelle doit être calculée à partir de cours d’actions dont on ne dispose pas forcément en totalité. La matrice effectivement calculée doit être calibrée pour maintenir ses propriétés de matrice de corrélation. D’une manière générale, on peut voir que les problèmes d’approximation matricielle interviennent à l’intérieur d’un processus de décision. Ils doivent donc pouvoir être résolus rapidement, et si nécessaire, autant de fois que souhaité par l’utilisateur. Il faut donc dériver pour eux des solutions algorithmiques et numériques capables de répondre positivement à ce cahier de charges. C’est l’objectif que nous nous donnons dans ce travail. Cette thèse est organisée comme suit. Nous présentons au chapitre , de manière plus concise, la notion de problème d’approximation matricielle. Nous y précisons les hypothèses que nous avons faites, et le contexte dans lequel nous allons travailler. Le chapitre se termine par une présentation rapide des problèmes concrets d’approximation qui vont nous intéresser, ainsi que des différentes approches possibles pour leur résolution. Le chapitre 0 introduit les notions de projections, ainsi que les algorithmes dits de projections. Nous présentons plus succinctement ces mé-.
(13) 2. TABLE DES FIGURES. thodes, leurs principes, et nous insistons plus particulièrement sur les algorithmes de projections alternées. Le chapitre 1 porte sur l’étude du problème d’approximation par matrices bistochastiques. Nous rappelons pour commencer quelques propriétés de ces matrices, et nous proposons en particulier une démonstration originale de Théorème de Birkhoff. Nous envisageons alors une étude directe, par calculs, de ce problème. Puis, devant notre échec, nous étudions et mettons en œuvre différentes approches numériques de résolution. Nous terminons le chapitre par une application pratique : la résolution de problèmes d’agrégation de préférences généraux, en utilisant l’une des approches numériques que nous avons testées. Ceci permet de voir l’intérêt des solutions algorithmiques que nous avons mises en œuvre. Le chapitre suivant est d’un tout autre ordre. Il présente les problèmes dits d’optimisation sous contraintes de semi-définie positivité, qui ont connu un boom en termes de recherche ces dix dernières années. Nous nous intéressons au plus près aux algorithmes de points intérieurs qui servent à les résoudre. Nous présentons une démarche classique de ces méthodes, puis une nouvelle, qui n’a connu jusqu’à présent qu’une seule expérimentation, qui tente du mieux possible d’utiliser l’expertise accumulée depuis des années par l’Analyse numérique. Enfin, nous terminons, au chapitre 5, avec l’étude de notre second problème d’approximation : l’approximation par matrices de corrélation. Nous résolvons ce problème en utilisant l’optimisation sur les cônes homogènes auto-duaux, dans un premier temps. Puis, nous dérivons pour lui un algorithme de type points intérieurs suivant la démarche nouvelle que nous avons évoquée plus haut. Finalement, nous comparons les performances de ces algorithmes entre eux, puis avec celui provenant de l’approche par projection alternées..
(14) Chapitre 1. Notions d’approximation matricielle 1.1 1.1.1. Introduction et notations Notion d’approximation linéaire conique. Dans de nombreux domaines, on est confronté à des situations qui, une fois modélisées, se ramènent à chercher un élément ayant des propriétés données qui soit "le plus proche" (dans un sens à préciser) d’un autre élément arbitraire. On est ainsi face à un problème d’approximation. Dans le cadre de cette thèse, nous nous intéressons à de tels problèmes ayant pour cadre des espaces de matrices. Dans [74], H IGHAM propose la définition suivante pour un problème d’approximation (matricielle) (matrix nearness problem, en anglais) : Définition 1.1.1 Soit 7 un espace (de matrices) muni d’une norme 98: . Soit ; une partie de 7 constituée d’éléments ayant certaines propriétés particulières. Considérons pour un vecteur 5 quelconque de 7 la quantité suivante :. <>=. 5@?A CBEDF%HGIJ:LKJ9MN5POL;RQTS. On appelle problème d’approximation (matricielle) celui consistant en les questions suivantes : 1. Peut-on déterminer une formule explicite ou une caractérisation "pratique" de <>= 5@? ?. 2. Peut-on <>= déterminer UV 25
(15) MWJ min où J min est un vecteur pour lequel le minimum dans 5@? est atteint ? Ce vecteur U est-il unique ? 3. Peut-on développer des algorithmes efficaces pour calculer ou estimer U ?. <>=. 5@?. et. Résoudre un problème d’approximation (matricielle) consiste donc à répondre aux trois questions précédentes. L’espace 7 (sous-entendu matriciel dans le reste de cette thèse) et la partie ; dans la définition 1.1.1 sont considérés arbitrairement. Selon qu’ils ont en plus certaines propriétés ou qu’ils sont particuliers, on peut résoudre (au moins partiellement) les problèmes induits..
(16) 4. Notions d’approximation matricielle. Par exemple, lorsque l’espace 7 est X , muni de la norme euclidienne, et que la partie ; s’avère être un polytope, par exemple de la forme. =. G ZU Y\[]S)S)S][^U ?O_X. '` a b. c Y. b bfehg. 5#d U. di[kjl - .[)S)S)S[nmL[. UIdoh!:[qprjl s #[)S)S)St[n lQ. on est tout simplement face à un problème de moindres carrés. Ce genre de problèmes apparaît dans de nombreux domaines, notamment en Statistiques et en Sciences expérimentales où ils portent le nom de problèmes de régression. Plus généralement, lorsque 7 est un espace de Hilbert muni de sa norme induite, et que le sous-ensemble ; est convexe et fermé, on est en présence d’un problème dit de projection. Nous reviendrons sur ces problèmes au prochain chapitre. De tout temps, les problèmes d’approximation ont fait l’objet de beaucoup d’attention en Mathématiques. Il en a résulté une abondante littérature sur le domaine. Cela s’explique par le fait que, quelle que soit la théorie à laquelle on s’intéresse, on peut être amené à chercher une approximation d’une quantité à laquelle on ne peut avoir accès directement. Toutefois, les problèmes d’approximation portant sur des matrices ont longtemps été laissés de côté. Ceci peut s’expliquer entre autres par le fait qu’ils nécessitent un gros investissement numérique (notamment en terme de mémoire : stockage d’objets de taille ru pour des problèmes de taille ), et surtout par le fait qu’on n’a pas su pendant longtemps traiter les contraintes particulières aux matrices comme, par exemple, les contraintes portant sur les valeurs propres, sur le rang de matrices, etc. Depuis quelques années, les problèmes d’approximation matricielle ont connu un regain d’intérêt. Cela est dû au développement des moyens informatiques qui ont permis de repousser grandement les limites en termes de stockage mémoire et de mettre en œuvre des logiciels permettant de traiter "globalement" les matrices (sans les transformer en "longs" vecteurs). Une raison plus fondamentale de cet essor est que l’on a appris, ces dernières années, à traiter de manière efficace les contraintes portant sur les valeurs propres et les rangs de matrices, comme par exemple avec la mise au point d’algorithmes de points intérieurs pour les problèmes présentant des contraintes de type semi-définie positivité de matrices. Ainsi, il existe de nombreux travaux sur les problèmes d’approximation matricielle que l’on appelle aussi problèmes de complétion matricielle. En Analyse numérique par exemple (voir [74], [73]), on sait que les méthodes itératives de résolution de systèmes linéaires nécessitent que les matrices de ces sytèmes soient définies positives. Lorsqu’une telle matrice est obtenue au moyen d’une boîte noire (c’est à dire que la matrice est obtenue d’une manière opaque pour l’optimiseur), il arrive que la matrice n’ait pas la propriété de définie positivité. On remédie à cela en la remplaçant par exemple par la matrice définie positive la plus proche d’elle au sens d’une norme à préciser. De même, en Chimie moléculaire, on est amené à chercher la bonne configuration spatiale pour une molécule pour laquelle on connaît toutes ou une partie des distances interatomiques. Ce problème peut, par exemple, être modélisé comme un problème d’approximation par des matrices distances euclidiennes où on se ramène à compléter (d’où la terminologie problèmes de complétion) une matrice dont on ne.
(17) 1.1 Introduction et notations. 5. connaît pas toutes les composantes de manière à ce que le résultat obtenu ait certaines propriétés. Ce type de problèmes de complétion a été étudié par de nombreux auteurs : on pourra se reférer à L AURENT [85], A LFAKIH et WOLKOWICZ [2] et aux articles qui y sont cités. Il existe d’innombrables autres domaines dans lesquels apparaissent les problèmes d’approximation matricielle. Nous pouvons citer entre autres le Traitement de signal (voir [34], [35], [36], [60], [62], [86]), la théorie des Equations aux Dérivées Partielles (voir [15]), les Statistiques (voir [15]), les Mathématiques financières [88], etc. Devant la multiplicité des situations où on a des problèmes d’approximation matricielle, nous avons dû faire des choix. Nous nous intéressons aux problèmes pour lesquels : Hypothèse 1.1.1 (Hypothèses de travail) – 7 est muni d’une structure d’espace de Hilbert, – le convexe peut s’écrire comme une intersection d’un sous-espace affine et d’un cône convexe fermé de 7 .. Le convexe peut être illustré par la figure 1.1.. y3z. vHwIx. z. {z. |z. }~ F IG . 1.1 – Ensemble réalisable en approximation linéaire conique. Nous appellerons problèmes d’approximation "linéaires coniques" les problèmes d’approximation vérifiant notre hypothèse de travail. En pratique, l’espace = de Hilbert que nous considérerons sera celui des matrices carrées réelles = X9? d’ordre ( O ) ou celui se restreignant aux matrices symétriques, noté X9? . En ce qui concerne le cône, ce sera celui des matrices à composantes positives ou.
(18) 6. Notions d’approximation matricielle. celui des matrices symétriques semi-définies positives. Dans toute la suite, sauf indication contraire, nous nous placerons toujours = dans un espace de Hilbert matriciel [q8F[)8n? dont la norme associée est 8 . Rappelons que lorsqu’un espace de Hilbert est de dimension finie, il est aussi appelé espace euclidien. Lorsque ce sera le cas, nous utiliserons indifféremment ces deux terminologies. 1.1.2. Notations Avant d’aller plus loin, précisons les notations que nous utilisons.. 1. Ensembles notons : Nous =. 3, des n-uplets UZY[)S]S)St[^U ? de réels, – X Tl’espace euclidien , = – ) des matrices réelles à lignes et m colonnes, T, = X9? ou X = l’espace – X9 ? X9?+X , = – ou X9? l’espace des matrices carrées symétriques d’ordre ,. – (resp. ) le cône convexe des matrices symétriques semi-définies positives (resp. négatives),. – I (respectivement I ) le cône des matrices symétriques définies positives (respectivement négatives). = – étant donné un sous-espace d’un espace de Hilbert [q[\n? , nous notons son sous-espace orthgonal défini par. sG"UO. `. U
(19) [n 2!:[prWOQTS. 2. Vecteurs vecteurs sont désignés par des lettres minuscules. Si U est un vecteur de Les X , on désigne par : – U le vecteur transposé du vecteur U , – UId la j ème composante du vecteur U , – UH le ème vecteur d’une suite de vecteurs, – U
(20) [n:A U le produit scalaire canonique de deux vecteurs,. – –. a U
(21) [A U [ c Y . de base de X , J]d le j ème vecteur ou JO_X le vecteur dont toutes les composantes sont égales à . .. 3. Matrices Les matrices sont désignées par des lettres majuscules. Si est une matrice, on désigne par : b – la matrice transposée de la matrice , – d la composante située sur la j ème ligne et la ¡ ème colonne de la matrice , – la ème matrice d’une suite de matrices,.
(22) 1.2 Motivations et exemples. 7. b. – –. = T, = j^[¢¡@? ème X? , = matrice de base de j¦5#§ ? la matrice identité. Notons que ¤Pji5#§ est l’opérateur qui, à £ ¥¤P UO_X , associe la matrice diagonale ¤ telle que ¤d¨dZ hUId . 7 d. la. 4. Opérations – o la relation d’ordre partiel portant sur les vecteurs (respectivement matrices) à composantes positives : o © ªs est à composantes positives. – « la relation d’ordre partiel de Löwner portant sur les matrices semi-définies positives : s«h © ¬ est semi-définie positive. – ® la relation d’ordre partiel (strict) de Löwner portant sur les matrices semidéfinies positives : ¯®¯© ¬ est définie positive. – ° le produit de Kronecker,. ±°²³ –. ¸. le produit de Hadamard :. ´µ 5:Y¢Y^. .. .. 5 Y^. ¶· S)S)S³5Y S)S)S¯5 b. .. t .. . S. b. b. ±¸- 2¹ tel que ¹9d C d d [ – º¼» ½? la trace de = la matrice , c’est-à-dire la somme de tous le termes diagonaux de : = º¼» ½?A 2¾ d c Y dd , T, = – n¿[nnÀ hº¼» ? le produit scalaire de Fröbenius sur l’espace X? b b a ab n¿[nnA d d [ c Y c Y d = Si Á K ["^[\n? X est un opérateur sur un ensemble de matrices, Áà désigne son opérateur adjoint défini par : p>ÄÅO [±prWO_X [ ¿Á'Ä[ ³nÄ[Á tS =. 5.. Toute autre notation utilisée dans cette thèse qui n’aurait pas été précisée cidessus sera comprise au sens usuel.. 1.2. Motivations et exemples. La motivation première de notre étude des problèmes d’approximation est classique dans ce genre de situation. Imaginons, comme cela arrive dans de nombreux domaines, que l’on souhaite disposer d’une matrice Ä dont on sait qu’elle possède une certaine propriété. Pour différentes raisons, dues par exemple à la manière dont la matrice Ä est obtenue (erreurs dues aux calculs, données manquantes, etc.), on dispose en réalité d’une matrice qui n’a pas la proriété voulue. Une des manières, intuitive, de remédier à cette situation consiste à remplacer la matrice par une matrice ÆÄ ayant la propriété voulue et qui soit la plus proche, dans un certain sens, de .. :.
(23) 8. Notions d’approximation matricielle. De manière duale, on peut, au contraire, avoir des applications dans lesquelles il est important qu’une certaine matrice n’ait pas une certaine propriété Ç . On peut chercher alors à estimer l’écart qui sépare des matrices <>= ayant la propriété Ç . C’est exactement la quantité que nous avons désigné par f? dans la définition 1.1.1. D’autre part, certains problèmes d’approximation peuvent aussi provenir directement de la modélisation de problèmes provenant de la pratique. Il en est ainsi par exemple du problème d’aggrégation de préférences que nous évoquerons au chapitre 3 et pour lequel nous proposons une modélisation matricielle qui conduit à résoudre un problème d’approximation matricielle. Ce problème se pose en Recherche Opérationnelle, plus précisément en théorie des choix collectifs et du choix social. Dans les deux prochaines sections (section 1.2.1 et 1.2.2), nous présentons deux problèmes d’approximation matriciels que nous nous attacherons à résoudre entièrement. 1.2.1. Approximation par matrices bistochastiques. Nous nous intéresserons dans un premier temps aux matrices dites bistochastiques. Définition 1.2.1 On appelle matrice bistochastique toute matrice réelle dont toutes les composantes sont positives, et dont les lignes et les colonnes ont la particularité d’avoir la somme de leurs composantes qui vaut . La notion de matrice bistochastique est très connue dans la communauté mathématique, parce qu’elle apparait naturellement en théorie des Probabilités, plus précisément dans l’étude des chaînes de Markov sur un nombre fini d’états. En dehors de la théorie des Probabilités, on retrouve les matrices bistochastiques dans différents domaines : Recherche opérationnelle [117], Analyse matricielle (théorie de la majorisation) [90], etc. Dans le prochain chapitre nous nous attacherons à résoudre le problème d’approximation par ces matrices bistochastiques, puis nous présenterons un problème provenant de la théorie du choix social, dans lequel ce problème d’approximation apparaît naturellement. 1.2.2. Approximation par matrices de corrélation Ensuite, nous nous intéresserons aux matrices dites de corrélation.. Définition 1.2.2 On appelle matrice de corrélation toute matrice réelle symétrique semi-définie positive dont tous les termes diagonaux sont égaux à . Ce genre de matrices apparaît dans différents domaines, notamment en Théorie du contrôle optimal (approximation des équations aux dérivées partielles par "Proper Orthogonal Decomposition" (POD)) où elles portent aussi le nom de matrice de masses), en Statistiques et en Finance comme nous l’expliciterons au chapitre 5..
(24) 1.3 Quelques rappels d’Analyse convexe. 1.3. 9. Quelques rappels d’Analyse convexe. Nous rappelons quelques résultats d’Analyse convexe dans le cadre d’un espace de Hilbert. Définition 1.3.1 Une partie de. . est dite convexe si :. = p>ºOÉÈÊ! [) TËÌ[Íp>U
(25) [nVO [ (º^?¢UÃMº¼PO AS ÂÏXNÐG,MÒÑCQ est dite convexe sie : Une fonction ÎLK == = = = p>ºOÉÈF!:[) TËÌ[Íp>U
(26) [nPO A[ Î (º^?¢UÃMº¼? Rº^?Î Ur?M±Î :?S Nous ferons appel au cours de nos travaux à différentes notions d’Analyse. Définition 1.3.2 (Points extrêmes) Soit un ensemble convexe. Un point U de est un point extrême ou extrémal (ou sommet) de= si et Y UZY)MU ? seulement si il ne peut pas s’écrire comme une combinaison convexe UV u u d’éléments différents UZY et U de .. u. On rappelle qu’une partie Ó de. . est un cône si p>U_OÓE[Ap>º9O_X[. Définition 1.3.3 (Cône polaire) Soit Ó un cône convexe. On appelle cône polaire de Ó , et on notee ÓÔ , l’ensemble. Ó Ô sG,ÕÒO. `. iÕ#[Ur. º¢UOÓ. .. !p>UO_ÓEQ. Définition 1.3.4 (Cône normal) Soit un ensemble convexe.= On appelle < cône normal à en un point U de , noté Ö U
(27) [^
(28) ? , l’ensemble des e directions de telle que. < n[ Ur. !. prWO S. Notons que lorsque est un sous-espace, le cône normal en tout point à coincide avec son orthogonal .. . Proposition 1.3.1 Soit Ó un cône convexe fermé. Alors. Ö. =. ` Ó Ô U
(29) [nÓ?A Ø× ,G ÕÒOÓÔ iÕ#[UrÀ 2!@Q. si si. UV C!:[ U( C Ù !:S. du second ordre ou cône Définition 1.3.5 (cône du second ordre) On appelle cône e X Y défini par : de Lorentz ou encore cône quadratique, le cône de ` = G HU Ú)[Ur?O_X Y Û UAÜTÝ UHÚ)QTS Définition 1.3.6 (sous-différentiel) Soit Î K ÂÏXfÐÞG,MÞÑCQ une fonction convexe. < On dit que O est un sous-gradient de Î au point 5 si on a : = = < Î ?9oÎ 5@?ÉM2 [nÒ5@ prWO S = L’ensemble des sous-gradients d’une fonction Î en un point 5 est noté ß>Î 5 ? et s’appelle le sous-différentiel (au sens de l’Analyse convexe) de Î au point 5 ..
(30) 10. Notions d’approximation matricielle. . Rappelons que pour une partie de , on définit la fonction suivante :. × !MÞÑ. j¦àLK#UVáÂ. si U_O[ sinon.. Elle est appelé fonction indicatrice de . Proposition 1.3.2 Soit un ensemble convexe.. = = ßHjãâ rU ?À Ö U
(31) [^
(32) ?[. p>UO AS. Pour toute autre notion d’Analyse convexe qui n’aurait pas été précisée cidessus, on pourra se reférer à [77].. 1.4. Approches théoriques de résolution. 1.4.1. Formulations pratiques du problème.. Nous précisons dans un premier temps les différentes formes sous lesquelles nous présenterons et utiliserons les problèmes d’approximation "linéaire conique". Définition 1.4.1 Nous appelons donc problème d’approximation linéaire conique le problème suivant : trouver Ä tel que :. u. Y \¬ Ää u . BEDF% tq.. Y \¬Ää u u O_ Äå ÄåOÓ. (1.1). où et Ó désignent respectivement un sous-espace affine et un cône convexe fermé de l’espace de Hilbert (matriciel) . Remarquons qu’un sous-espace affine g de où Á. K. .  X. . ± G"ÄÅO. `. Á'Äæ . . g. peut être décrit sous la forme. [. O_X. . Q. est un opérateur linéaire défini par :. . Á'Äç . =. ¿ d¦[ÄÍn? d c Y¢èêéêéêé è . avec d matrices données de . D’autre part, étant donné un cône convexe fermé Ó , nous pouvons introduire la relation d’ordre «ë suivante : Définition 1.4.2. pr[ÛªO. [. s«ë_s©. (ìOÓES. La relation d’ordre «ë ci-dessus généralise les relations d’ordre cédemment définies : il suffit de prendre respectivement b b. Ó ¯G. . O. `. . =. 5#d ?. avec 5#d. oh! QT[. o. et. «. pré-.
(33) 1.4 Approches théoriques de résolution. et. 11. Ó S. Compte tenu de la définition 1.4.2 ci-dessus et de la remarque précédente, on a alors la formulation équivalente suivante pour un problème d’approximation linéaire conique : Proposition 1.4.1 Le problème (1.1) peut s’écrire sous la forme équivalente suivante : trouver Ä. g \ ¬Ää\u u ºqJ"íîðïrJÒK u tq. Á'Äç ÄÅ«ë_! = La contrainte ÄÅ«ë! peut être remplacée par jë Ä?A 2! . Y \¬ Ää\uñ . 1.4.2. Y BEDF%. (1.2). Existence et caractérisation des solutions. Avant d’aller plus loin, assurons nous que notre problème d’approximation matricielle a un sens et n’est pas trivial. Pour cela, nous faisons la première hypothèse suivante : Hypothèse 1.4.1 Il existe des solutions réalisables. Cette hypothèse est équivalente à Ù ô , pour le problème (1.1). – R g =¿õ ò/Óó = 2 J)» ÁE?
(34) MNÄEÚ?
(35) ò_Óö Ù ô pour le problème (1.2) où ÄEÚ est un point parti– culier tel que Á'ÄEÚ9 . Nous allons considérer dans la suite de cette partie la formulation (1.2) du problème. Nous sommes en présence d’un problème de minimisation d’une fonction quadratique convexe différentiable sous des contraintes affines et coniques convexes. Différents résultats permettent de répondre à la question de l’existence de solutions optimales au problème et de leur caractérisation. Ainsi par exemple, (voir [77]), considérons un problème de minimisation sous la forme suivante. B÷D&% b. tq.. g = Î b Ur? e Á'Uø ù = Ur? :! [p:¡ #[]S)S)S][¿úÉ[. (1.3). où Î , ù [¡ .[)S)S)St[¦ú sont des fonctions convexes. On a alors :. Théorème 1.4.2 (Karush-Kuhn-Tucker [77], [100]) Sous réserve de qualification de contraintes, les proposition suivantes sont équivalentes : (1.2) = (i) U û est un minimiseur du problème = þ et ý ýlY\[]S)S)S][ýþ?O_X tels que (ii) Il existe üV üY[)S)S)S[\ü ?9O X. þ b b a b = = !EOLß>Î Uû ?ÉMNÁ ü'M ý ß ù U û ? c Y b b b = avec ý h o ! et ý ù Uû ?A 2!¬p:¡ - #[)S]S)St[¿ú .. (1.4).
(36) 12. Notions d’approximation matricielle. ÿ Ce théorème est un des principaux résultats sur les conditions d’optimalité pour un problème d’optimisation convexe sous contraintes convexes. On peut se référer à [77], [100] pour de plus amples détails. Nous supposons dans toute la suite que l’opérateur Á et le cône Ó sont tels que : Hypothèse 1.4.2 (Slater (fort)). Ä÷ÚO. `. g Á'ÄEÚ . et ÄEÚ®ë_!:S. Ceci revient juste à dire que les contraintes de notre problème sont (fortement) qualifiées au sens de Slater. Remarquons que cette hypothèse 1.4.2 est vérifiée pour chacun des problèmes auxquels nous allons nous intéresser. Dans les deux, la ma trice identité £ peut être la matrice ÄEÚ . Cette hypothèse 1.4.2 étant vérifiée, nous pouvons donc appliquer le théorème 1.4.2 au problème (1.2). Théorème 1.4.3 On suppose l’hypothèse 1.4.2 vérifiée. Ä est un minimiseur du problème (1.2) si et seulement si il existe üOX que =. Ä (±MNÁ ü/OPÖ. Ó÷[ ÄÍ?. tel (1.5). ÿ. Preuve : Il suffit d’appliquer le théorème 1.4.2 avec :. =. Î Ä ?A Û Äó÷ u [ 0. et ù. úP -. . = = Y Í Ä ?A Cjë Ä?S. =. Or, Î est différentiable, de gradient ÷Î ÄÍ? ³Ä ± pour tout nous avons ici une norme hilbertienne. = = ßIj¿ë ÄÍ?A NÖ ÓE[ Ä? . De plus, d’après la proposition 1.3, On en déduit qu’il existe ü/OX et ýÍO X tel que. Ä. = Ä (±MÁ ü O(ý:Ö A[ ÄÍ?S = ý I 8 j ë Ä?L ! , on déduit ý ñ! De la condition de complémentarité = ÄåOÓ Ïj¿ë Ä?À C! . Par suite, = Ä NMÁ ü OÀÖ A[ ÄL?S = puisque Ö ÓE[ ÄL? est un cône convexe fermé. D’où le Théorème.. . . , puisque. , puisque. . Nous disposons donc d’une caractérisation des solutions optimales. Une fois assurée l’existence d’une solution optimale se pose la question de son calcul effectif. Cela consisterait à résoudre l’équation multivoque (1.5), ce qui n’est pas évident. Il est possible d’obtenir d’autres caractérisations d’optimalité (plus simple), notamment en passant par le théorème de projection (voir chapitre suivant) et par la dualité lagrangienne (voir chapitre 5). Néanmoins, nous verrons que bien souvent ces caractérisations seront peu pratiques lorsqu’il s’agira de calculer les solutions optimales..
(37) 1.5 Approches numériques de résolution. 1.4.3. 13. Unicité des solutions. Une fois assurée l’existence d’une solution optimale se pose la question du nombre de ces solutions optimales. Dans notre cas, ce nombre est facile à déterminer. Théorème 1.4.4 Il existe une unique solution optimale au problème d’approximation linéaire conique. ÿ La justification de ce résultat tient essentiellement au fait que la fonctionobjectif du problème est strictement convexe, puisque la carré de la norme Þ8l l’est.. 1.5. Approches numériques de résolution. Nous introduisons dans cette partie différentes approches numériques de résolution que nous proposons ou bien dont nous avons pu prendre connaissance dans la littérature. Nous les présentons rapidement, en nous contentant d’en évoquer les lignes directrices. Nous reviendrons sur chacune de ces approches dans les chapitres qui suivent lorsque nous les appliquerons. Rappelons que le problème que nous cherchons à résoudre peut s’écrire sous la forme suivante :. u. Y \¬ IJ u . Y BEDF%. u tq.. \ ¬(Ää u ÄÅO_ ÄÅOÓ g. (1.6). g. où et Ó désignent respectivement un sous-espace affine et un cône convexe fermé. sous la forme Á'Ä où O(X et La contrainte Ä O sera souvent présentée Á est un opérateur linéaire sur l’espace . 1.5.1. Approches directes par moindres carrés. Cette approche est la première à laquelle on songe lorsque l’on est face à un problème d’approximation matricielle dans lequel la norme considérée est la norme de Fröbénius. Elle est = basée sur le fait topologique suivant : l’espace X9? muni de la norme de Fröbénius l8T s’identifie immédiatement à l’espace X muni de la norme 98: . u Compte tenu de cette identification, notre problème d’approximation peut se ramener à un problème de moindres carrés. L’intérêt de cette transformation est, comme souvent en mathématiques, qu’elle permet de se ramener à un type de problèmes pour lesquels on dispose d’outils de résolution performants. C’est le cas des méthodes de moindres carrés pour la résolution desquels existent des codes, qu’ils soient commerciaux ou du domaine public, et notammant des routines sous Matlab. On peut cependant déjà préjuger du peu d’efficacité que devrait avoir cette approche dans la pratique. En effet, il peut dans un premier temps être très difficile. .
(38) 14. Notions d’approximation matricielle. de ramener de manière explicite les contraintes matricielles de (3.12) sous la forme des contraintes de type moindres carrés. Un deuxième inconvénient, peut-être le plus important, consiste en ce qu’on se ramène à travailler dans X , ce qui conduit à un problème dont la taille peut se révéler très vite prohibitive. Ceci empêcherait de résoudre le problème d’approximation pour des matrices d’ordre relativement *.! ) au regard des ordres de matrices que l’on est amené à rencontrer modeste ( dans les cas pratiques ( Ro¯ )!#!#! ) que l’on voudrait résoudre. Face à ce constat, il apparaît nécessaire, si l’on veut résoudre ces problèmes d’approximation de manière optimale, de conserver autant que possible la structure matricielle des variables du problème. De plus, il faudra penser à utiliser au mieux la (les) structure(s) propre(s) au problème. Nous présentons dans cette thèse les quatre autres approches énumérées ci-dessous. Les deux premières sont présentées de manière assez rapide pour des raisons différentes. L’approche duale n’est pas de notre fait, mais au regard de son efficacité et de la nouveauté, à notre connaissance, de la démarche et de certains résultats, nous avons pensé intéressant de la présenter. Ce choix est aussi dicté par le fait qu’elle inspire l’approche par points fixes. En ce qui concerne celle-ci, les travaux étant encore à leurs débuts, nous nous contentons d’en montrer les principes et une illustration.. 1.5.2. Approche duale par Quasi-Newton. Cette approche est due à J. MALICK [88]. Elle peut être décrite comme suit : tout d’abord, on applique un procédé de relaxation lagrangienne au problème au cours duquel seules les contraintes linéaires sont dualisées. Cela permet de récupérer un problème dual de maximisation qui est concave et, contrairement à l’habitude, différentiable. Ce dernier résultat, nouveau, est très important puisqu’il est le nœud central de cette approche numérique. En effet, compte tenu de cette différentiabilité, le problème dual peut être résolu de manière efficace en utilisant une méthode numérique de minimisation convexe de type quasi-Newton. 1.5.3. Approche par points fixes. Cette approche découle directement de la précédente et fait appel à des notions d’opérateurs non expansifs (contractants) et de points fixes. La condition d’optimalité obtenue par la dualisation précédente est réexprimée à l’aide d’opérateurs. Moyennant une hypothèse sur l’opérateur linéaire Á qui définit le sous-espace affine qui se vérifie facilement, la condition d’optimalité devient alors une condition d’existence de points fixes d’un opérateur contractant. Cette approche donnant actuellement lieu à des travaux (voir [22]), nous ne nous appesantirons pas sur elle. 1.5.4. Approche par projections alternées. L’approche par projections alternées est une approche directe de résolution. Elle peut être vue comme une manière naturelle d’aborder le problème. Sous nos hypothèses, celui-ci peut être vu comme un problème de projection sur l’intersection de deux convexes. L’approche par projections alternées peut être décrite comme.
(39) 1.5 Approches numériques de résolution. 15. suit : on cherche à effectuer une projection sur un convexe qui est l’intersection de convexes plus "simples" sur lesquels on sait justement effectuer des projections ; la meilleure solution consiste à utiliser ces projections connues pour construire itérativement la projection que nous cherchons. 1.5.5. Approche par points intérieurs. Cette approche par points intérieurs est motivée par la contrainte conique présente dans notre problème. En effet, compte tenu de cette contrainte, le problème peut être écrit sous la forme d’un problème mixte d’optimisation sur le cône du second ordre (Définition 1.3.5) et, selon les exemples, sur le cône des matrices à composantes positives ou symétriques semi-définie positives. Ceci nous permettra de résoudre, au chapitre 5, le problème en utilisant les méthodes de points intérieurs, méthodes qui ont connu un regain d’intérêt ces dix dernières années, en grande partie à cause justement de leur remarquable efficacité dans la résolution de problèmes d’optimisation sous contraintes de semi-définie positivité..
(40) 16. Notions d’approximation matricielle.
(41) Chapitre 2. Algorithmes de projections Certaines des approches de résolution que nous aurons à mettre en œuvre et à présenter dans cette thèse sont intimement liées à la notion de projection dans un espace de Hilbert . Nous rappelons donc dans un premier temps quelques résultats, propriétés et algorithmes liés aux opérateurs de projections. Dans tout ce chapitre, sauf indication contraire, nous nous placerons toujours dans le cadre d’un espace de Hilbert muni du produit scalaire ^8&[)8Ì . Nous noterons 8 la norme associée à ce produit scalaire.. 2.1. Notions de projections. Pour présenter la notion de projection dans un espace de Hilbert, on peut se placer du point de vue de l’Analyse hilbertienne ou de celui de l’Optimisation convexe. Nous associerons ces deux points de vue. Etant donné un point U et un convexe fermé ¹ non vide de , on montre : Théorème 2.1.1 (Théorème de projection [29], [77],[100]) Considérons une par tie ¹ convexe fermée non vide de . Pour tout point U de , il existe un et un seul point ù de ¹ tel que :.
(42) . ÛU÷ ù CDF% GIÛU÷ ù [ ù OL¹QTS. De plus, ù est caractérisé par :. e ù O Þ ¹ [ × UP ù [ ù ù !. p ù O¹ÒS. (2.1). (2.2). ÿ. Ce théorème se prouve, soit en utilisant des outils d’Analyse hilbertienne, notamment les propriétés du produit scalaire et celles des espaces réflexifs (voir [29]), soit, comme décrit ci-après, au moyen de l’Optimisation convexe : si nous introduisons la fonction indicatrice j de l’ensemble ¹ , le problème (2.1) est équivalent à:. 0. ÛUW. ù u DF% \G = ù ?A . 0. . = ÛU÷ ù u Mj ù ?[ ù O QT[.
(43) 18. Algorithmes de projections. qui est un problème de minimisation convexe sans contraintes. Sa solution optimale ù est donc caractérisée par la condition de stationnarité :. . = ù ?[. !EOLß. . =ù. (2.3). ? désigne le sous-différentiel de au sens de l’Analyse convexe (voir définioù ß tion 1.3.6). La caractérisation (2.2) découle par des règles de calcul sous-différentiel de l’inclusion (2.3) ci-dessus. Le point ù ci-dessus est appelé projeté de U sur l’ensemble ¹ , d’où le nom du théorème. Il existe un corollaire très utile de ce théorème. Corollaire 2.1.1 Si, de plus, sation (2.2) devient. ¹. est un sous-espace fermé de. . , alors la caractéri-. ù O ¹Ò[ × U÷ ù O ¹ S L. (2.4). ÿ. En pratique, lorsque ¹ est un sous-espace vectoriel, la caractérisation utilisée. ù O ¹Þ[ × UW ù [ùÀ 2!:[. est :. p ù OL¹Þ[. (2.5). tandis que lorsque c’est un sous-espace affine, on a :. ù ¹Þ[ × UP ù [ O ù À ù qº J#[ p ù L O ¹ÞS = U de , on note ù æÇ Ur? ou Ç rU. . (2.6). . Pour un élément , où ù est le projeté défini dans le théorème (et le corollaire) précédent. Ceci nous définit au passage un opérateur. K. . . U.  áÂ. = Ur? Ç. que nous appellerons opérateur de projection sur l’ensemble ¹ . On peut montrer les résultats suivants :. . . Proposition 2.1.2 Pour tous U , dans , pour tout convexe ¹ de ,. ÛU÷
(44) \uæ . . MÒ0:UP(Çr U
(45) [Ç UPÇ Z:ÉM²0¿Ò(Ç >[Ç r(Ç rUrS = = ÛÇ UP(Ç \ulM¯ ÷ U ?l Ç rUPÇ Z:?\u. Démonstration : g du développement g g : L’égalité précédente vient suivant. 5fM. u ì5Z u Ms u M²0¿5H[ [. classique en Analyse hilbertienne. Il suffit d’écrire. . . . . = = = UP ³Ë W U ? Ç U÷(Ç :?¼È@M Ç rUPÇ Z:?. (2.7). ÿ.
(46) 2.1 Notions de projections. et de poser. =. 5 . 19. U÷?. =. . . g. Ç rUP(Ç :?. et. . . . ¬Ç UP(Ç ZrS. . Corollaire 2.1.2 Pour tous U , dans , on e a :. . . ÛÇ U÷(Ç
(47) . ÛU÷
(48) S. (2.8). ÿ. Démonstration : Ce résultat vient de la proposition 2.1.2 précédente. Il suffit de remarquer que d’après (2.2), on a : e e. . U÷(Ç rU
(49) [Ç Z(Ç rUr. rU
(50) [^Ç ZPO¹. car Ç. !. . . ¿(Ç r[^Ç >UP(Ç :. et. ! [. . .. . Proposition 2.1.3 Soit ¹ une= partie convexe = = fermée de . , on a : UWÇ (i) Si U_O Ur?OPÖ Ç Ur?[Û¹? . (ii) On suppose que ¹ est un sous-espace vectoriel (resp. affine), alors néaire (resp. affine).. . . Ç. est li-. ÿ. La proposition (i) est juste la traduction de la condition de stationnarité (2.3). La proposition (ii) découle de la caractéristion (2.5). Notons au passage que la caractérisation (i) de la proposition précédente est équivalente à la caractérisation (1.5) du Théorème 1.4.2 du chapitre 1 pour nos problèmes d’approximation linéaires g coniques. En effet, dans ce théorème, on est dans le cas où ¹ est l’intersection d’un cône convexe fermé Ó et d’un sous-espace . Par une règle de calcul sous-différentiel, si affine défini par la contrainte Á'U( l’hypothèse de Slater 1.4.2 est vérifiée, le cône normal de ¹ est en fait la somme des cônes normaux à Ó et au sous-espace affine. Il suffit alors de remarquer que le cône normal à un sous-espace affine s’identifie à l’orthogonal de sa direction, qui est exactement égal ici à l’image de l’opérateur adjoint Á de Á , pour obtenir (1.5) à partir de (i).. . Une fois connues ces différentes = propriétés de l’opérateur Ç , se pose la question du calcul effectif du projeté Ç Ur? d’un point U donné. Comme nous allons le voir tout au long de cette thèse, cette question est loin d’être anodine. Toutefois, dans quelques cas particuliers,= les caractérisations (2.2), (2.5) ou (2.6) permettent de connaître explicitement Ç Ur? . On peut par exemple montrer : `. . . l’espace euclidien X Proposition 2.1.4 Dans Alors, pour tout UO_X ,. Ç. =. Ur?O_X. tel que. =. , notons ² . G"ULOX. = Ur?? d U d hB rG"UId¦[Û! QT[prjS Ç. UIdo!:[¼prj^Q ÿ. ..
(51) 20. Algorithmes de projections. b. b. . b. =. ì . De même, si on introduit la notation suivante : si = de réels, on note 5 d ? où 5 d B >Gð5#d [Û! Q .. b 53d ?. est une matrice. Proposition 2.1.5 Dans l’espace euclidien , muni du produit scalaire de Frö benius, on note 9 le cône des matrices semidéfinies positives. Alors, pour toute matrice Ä , on a : =. " ¤#. où Äç . . !. Ç Ý Í Ä ?À ¤ [. C £ et ¤ diagonale.. avec. ÿ. On peut montrer des résultats du même type pour des opérateurs de projection sur différents types de sous-ensembles convexes fermés dans un espace de Hilbert : cônes, sous-espaces, polyèdres convexes, épigraphes et sous-niveau de fonctions convexes, etc. On pourra se référer à [15] pour de plus amples détails. Une des applications des projections est qu’elles permettent de calculer la distance entre un point et un sous-ensemble convexe.. . . Définition 2.1.1 Soit une partie de et UO <>= . On appelle distance de U à , et on note U
(52) [nf? , la quantité suivante :. `. . <>=. U
(53) [nf?A CDF% \GIÛU÷5Z 5POÒQTS <>= <r= Cette quantité U
(54) [½? est identique à la quantité ½? On peut alors définir une fonction. <. . àK. U.  áÂ. X<r=. de la définition 1.1.1.. U
(55) [n½?. que nous appellerons fonction distance à .. . Proposition 2.1.6 Soit ¹ une partie convexe fermée de . 1.. <. %$. est une fonction convexe, finie et vérifie. < \=. . 2. Pour tout U dans ,. ß. < =. Ur?k . = Ur?S. Ur?À ìÛU÷(Ç. &('*3 )) ,+.-0/ )2)211 3,4 si U(OLÙ ¹ 6R 5 ,òÃ+ Ö - / = U
(56) [Û¹? Õ"j¿ 87 . Résultats classiques d’Analyse convexe ([15], [77]). Les opérateurs de projection ont fait l’objet d’études nombreuses et variées que nous ne pouvons pas toutes décrire ou évoquer dans cette thèse. Nous renvoyons pour plus de détails aux travaux de BAUSCHKE, notamment sa thèse [15], et de Z ARANTONELLO [118]. D’autre part, signalons que la notion classique de projection que nous avons présentée ici a été généralisée : en quasi-projection [15], en projection de Bergman[23], etc..
(57) 2.2 Les méthodes de projections. 21. 2.2. Les méthodes de projections. 2.2.1. Motivations : problèmes de faisabilité convexe Soit à résoudre dans X. ab. un système d’inéquations linéaires définies par :. b behg. 5#d U. c Y. d¢[njl #[]S)S)S][mLS. On peut se ramener à chercher un point UR demi-espaces définis par. 7d G"U_O_X. ` ab. =. c Y. UZY[)S)S)St[U ? b behg 5#d U. qui appartient à tous les. diQTS. Le problème consiste alors en fait à chercher un point qui appartient à l’intersection d’un nombre fini de demi-espaces. On définit, d’une manière générale, un problème de faisabilité ou de réalisabilité convexe (Convex feasibility problem (CFP)) comme suit : On se place dans un espace de Hilbert et, dans cet espace, on considère une famille finie ou dénombrable de convexes Gð¹9d¿Q"d d’intersection non vide. On considère dans le problème suivant :. =. >= ¹. ?. :9<;. :9?;¹9d¦S. Trouver un UOL¹s Còd. Les convexes ¹9d évoqués ci-dessus sont supposés “simples” en comparaison avec ¹ . En général, “simple” est compris dans le sens où la projection sur ¹9d est facilement calculable. Typiquement, ¹9d sera un sous-espace, un demi-espace, un cône, etc. Les algorithmes de projection ont d’abord été introduits pour faire face à ce type de problèmes. Une telle approche est par exemple mise en œuvre par P OLYAK [99] pour un système d’équations et/ou d’inéquations linéaires dans X . Plus généralement, les problèmes de faisabilité apparaissent dans différents domaines : – en théorie de l’approximation : les convexes sont souvent des sous-espaces et on a des applications en Statistiques, en Analyse complexe (noyaux de Bergman, transformations conformes), dans l’étude des équations aux dérivées partielles, (voir [15]), – en reconstruction d’images discrète et continue : applications en tomographie, en électronique, en traitement du signal [39], [40], [41], [42], [46], – en optimisation convexe via les algorithmes de sous-gradients [81], [82], entre autres. 2.2.2. Principes. Dans la suite, nous effectuerons la présentation des méthodes de projection dans le cas où on a deux convexes, c’est-à-dire £ GT #[\0@Q et, pour alléger les écritures, nous allons noter. ¹+ CNò_PS.
(58) 22. Algorithmes de projections. . @= . Nous notons respectivement Ç , ÇY et Ç les projections = sur ¹ , et . u ? de la manière L’idée est de construire itérativement la solution de ¹ suivante : on part d’un point initial UHÚ et,. étant donné l’itéré courant U , construire l’itéré suivant U. Y qui doit être “meilleur” que U en utilisant les projections calculables Ç Y et Ç . u Dans la pratique, il est nécessaire de préciser le sens du mot "meilleur" dans. l’énoncé précédent. Il semble raisonnable de demander que le nouvel itéré U Y nous rapproche plus du convexe ¹ que l’itéré courant. En d’autres termes, une bonne mesure du caractère "meilleur" précédent serait que l’on ait : e. <r= U \Y [n¹?. Il en vient la définition suivante :. = . <>= U [Û¹?S. . . Définition 2.2.1 Soit = U ? une suite de et soit ¹ une partie convexe fermée de . On dit que U ? est monotone au sens de Fejér ou Fejér-monotone par rapport à ¹ si : e. BA ? =. p ù O¹Ò[@pr ÍO[2ÛU . Y ù ÛU ù S (2.9). Ainsi, dans l’énoncé précédent, le fait pour U Y d’être meilleur que U peut être exprimé par e. p ù OL¹s h²ò/P[:pr O[2ÛU Y ù ÛU ù S = On se ramène donc ? de ma= à construire itérativement la solution de ¹ nière à ce que la suite U ? générée soit monotone au sens de Fejér par rapport à ¹ .. @= . Un exemple de schéma de projection conduisant à une suite monotone au sens de Fejér est le suivant : Etant donné U (itéré courant), on calcule :. U À Y ¬ÇY¼U. U YÀ ¬Ç u U. [. si ou si. [. DOC [ DC U OLPS U. Ce schéma entre bien dans le cadre que nous avons annoncé, puisque U Y est construit à partir de en utilisant les projections calculables Çd . De plus, il est U = facile de voir que U ? est monotone au sens de Fejér. En effet,. pr l[ on a : U YÀ hÇdÊU [j s ou 0 S. . FE. et d’autre part, comme ¹ h¹9d , pour tout jl #[Û0 , pour tout ù Or, d’après le corollaire de la Proposition e 2.1.2, on a :. . Par suite. . p>U
(59) [r[2ÛÇ rUP(Ç Z Û UWS e e. Û U Y ù Û9 Ç dFU Çd ù Û U ù S. = O¹Ò[Çd ù A ? ùS.
(60) 2.3 Méthodes de projection pour l’approximation. 23. Il est facile de voir que ce schéma consiste à projeter alternativement l’itéré courant sur ou . De là lui vient le nom de méthode de projections alternées. On la doit à VON N EUMANN [113] (1933). Nous reparlerons de cet algorithme dans la partie suivante. Plus généralement, BAUSCHKE montre qu’une bonne condition pour que ceci soit réalisé est d’exiger que :. =. U YO U M. cône G"Çà>U. G. (U [ Ç ZU U Q. où cône Ä? désigne le cône convexe fermé engendré par la partie nous induit par exemple une relation de récurrence du type :. IH KJ. =. U YÀ hU M Ë Y ÇàHU où I[ Y\[ u oh! et YrM u . Le réel sont des poids vérifiant e e. Y"ÛÇàHU U = !. Y Çà>U U. H MJ MJ. J NJ H J J. LJ u = ÇGZU . H. (U
(61) ? M. (U ¼? È. Ä. de. . . Ceci. J J. est un paramètre de relaxation et Y ,. IJ u =ÛÇGÉU (U S IJ u ÇGZU (U ?. u. M. ?ÉM. Signalons enfin que le fait de considérer une suite d’itérés Fejér-monotones a, en outre, l’avantage de mettre à notre disposition un certain nombre de résultats sur les propriétés de la suite générée, notamment des résultats de convergence. L’étude des propriétés des suites monotones au sens de Fejér, constitue une bonne partie de l’Analyse Fejérienne. On pourra se référer à propos de tout ce qui précède aux travaux de BAUSCHKE [15], [19], [20], [21] et C OMBETTES [43], [44], [45] notamment. Il existe évidemment des manières différentes et variées d’effectuer la mise à jour :. U. ÂÏU Y. en respectant les règles évoquées. Pour en savoir plus, on peut se référer à [7], [11], [15], [16],[23], [43], [99].. 2.3. Méthodes de projection pour l’approximation. Le point commun des méthodes de projection que nous avons évoquées cidessus est qu’elles permettent de construire un point de l’intersection ¹Ø ¬òL des convexes et . On obtient un point de ¹ dont on ne peut rien dire d’autre. En particulier, on n’obtient donc pas forcément le point de ¹ le plus proche d’un point U_O donné, sauf dans certains cas particuliers, évidemment. Toutefois, ces dernières années, de nombreuses recherches ont été effectuées qui ont permis d’aboutir à des méthodes de projections permettant de construire itérativement le projeté d’un point quelconque sur l’intersection de convexes fermés non vides. On peut d’une manière générale distinguer deux types de méthodes : les méthodes de projections alternées (ou cycliques) dues à B OYLE et DYKSTRA et les méthodes de projections parallèles relaxées de BAUSCHKE et C OMBETTES. Nous avons utilisés dans nos travaux les méthodes de projections alternées que nous présentons ci-après. Nous nous proposons de tester les méthodes de projections parallèles dans des travaux futurs. Signalons que les recherches concernant les méthodes.
Documents relatifs