5.4.1 Étude de heminsentraux en optimisation onvexe
Partiipants: J.Charles Gilbert, ClovisGonzaga,ElizabethKaras.
Danslesméthodesdepointsintérieurs(PI),lehemin entralestletraéquisertdeguide
auxitérésetlesonduit versunesolutionduproblème d'optimisation.Cehemin onverge en
eet,danslesbonsas,verslasolutionduproblèmeouunesolutionpartiulière(entre
analy-−2 −1.5 −1 −0.5 0 0.5 1 1.5 2 0
0.5 1 1.5
Fig. 2 Chemins entraux en forme
d'antenneou en zigzag
en optimisation linéaire, quadratique onvexe et en
programmation semi-dénie, permettant d'obtenir de
bons résultats de omplexité et de vitesse de
onver-gene. Nous avons montré [5 ℄, qu'en optimisation
onvexe,lasituation pouvaitêtre beauoupplus
om-plexe. Pour un ritère onvexe de lasse C 1
et une
ontrainte linéaire, le hemin entral peut être une
ourbe très irrégulière, présentant par exemple un
nombreinnidelaetsvenants'aumulersurun
sous-ensemble de solutions (le hemin entral ne onverge
don pasdanseas);voirlagure2.Danses
situa-tions, il n'est ertainement pas intéressant de suivre
e hemin pour trouver un minimiseur ! La onvexité
n'est don pas une propriété susamment forte pour
pouvoirétendrelesbonsrésultatsde onvergene desalgorithmesdePIobtenuspourd'autres
lasses deproblèmes.
5.4.2 Méthodes de quasi-Newtonet de points intérieurs
Partiipant : J.Charles Gilbert.
Lesalgorithmesdepointsintérieursenoptimisationpeuventsevoirommedesméthodesde
pénalisation, dans lesquellesles problèmes pénalisés sont résolus par destehniques
primales-duales. Dans leur appliation à la résolution des problèmes non linéaires, on ne onnaît pas
de bonnesrègles dedéroissane du paramètrede pénalisation>0;les odesopérationnels
seontentent de le faire tendreverssavaleur limitenulle en ledivisant régulièrement par un
fateuronstant.Onappelle itérationexternel'ensembledesitérationsminimisantlafontion
pénalisée pourun termede pénalisation onstant (es dernières sont qualiéesd'internes).
Réemmentdiversesétudesontproposédesrèglesdedéroissanedequisonttellesqu'il
sut de faire une seule itération interne par itération externe. De plus les itérés onvergent
rapidement vers lasolution duproblème. La règle proposéedans
[GOST00℄
permetd'obtenir la
onvergene sous-quadratique. Nousavons montré quel'utilisation de ette tehnique dans la
version quasi-newtonienne des algorithmes de points intérieurs, dans le adre des problèmes
onvexes,permettaitd'obtenir laonvergene linéaire desitérés(rapporten préparation).
5.4.3 Préonditionnement quasi-newtonien en optimisation non-linéaire
Partiipants : J.Charles Gilbert, XavierJonsson.
Considérons leproblèmed'optimisation sansontrainte
minff(x):x2R n
g;
[GOST00℄ N. Gould, D. Orban, A. Sartenaer, P. Toint, Superlinear onvergene of primal-dual
interiorpointalgorithmsfornonlinearprogramming,MathematialProgramming87,2000,p.215
où f : R n
! R est une fontion numérique deux fois diérentiable. Dans les algorithmes de
Newton tronqué, les itérés sont alulés en résolvant une suite de problèmes quadratiques.
L'idéede seservir desinformationsreueilliesauoursdelarésolution desproblèmes
quadra-tiquespréédents pour onstruireun préonditionneurduproblèmequadratiqueourantn'est
pasnouvelle.Cettetehniqueestutilelorsquel'utilisateurnepeutpasfournirde
préondition-neurnaturel. Nous l'utilisons aussi dansles odesd'optimisation généralistes que nous
déve-loppons(voirsetion5.5),enpartiulierdanslesméthodesdepointsintérieurs danslesquelles
leshessiensdesproblèmesquadratiquessontformésdequantitésprovenantdel'approhe
algo-rithmique('estlehessienréduitdulagrangienpénalisé),quin'ontpasdesigniationévidente
pour l'utilisateur.
Dans notre étude [2, 17℄, de nature théorique, nous nous sommes intéressés au as où le
préonditionneurestonstruit pardesmisesà jourquasi-newtoniennesde BFGSauoursdes
itérationsdegradient onjuguérésolvant lesproblèmes quadratiques etoùl'algorithmeutilise
desrégionsdeonane. Leshémadel'algorithmeestlassique,sien'est qu'unematrie de
préonditionnement variable, notée P
k
,intervient dansladénition delarégion de onane,
quiestl'ellipsoïde de R
.On onstruit ainsi une suite de normes sur R n
, assoiées à P
k ,
qui s'adaptent à la ourbure ourante de f et permet d'aélérer la onvergene de
l'algo-rithme. L'étude théorique de ette méthode demande de prendre en ompte lanature
quasi-newtoniennedupréonditionnement.Eneet,onnepeutpasarmerquelesnormesassoiées
auxmatriesP
k
soientuniformémentéquivalentesàlanormeeulidienne.Lapreuvede
onver-genenepeutalorsêtredéduiteduaslassiqueoùl'équivalenedesnormesestsupposée.Nous
avons ainsi montré que l'algorithme qui vient d'être brièvement dérit assurela onvergene
verszérod'une sous-suitedesgradients(onvergene partielle).
Denombreux testsnumériquesont étéréaliséssur desproblèmes industrielstels queeux
del'optimisation desverresophtalmiquesprogressifs,ainsiquesuruneolletiondeproblèmes
de nature plus aadémique [2℄. Ils ont montré l'intérêt manifeste de l'utilisation de es
pré-onditionneurs BFGS. Il est en eet ourant de voir le nombre total d'itérations de gradient
onjuguédiminué de moitié, e qui est un gain de temps appréiable lors de la résolution de
grandsproblèmes.
5.4.4 Courbure, géodésiques et moindresarrés
Partiipants: GuyChavent, J.Charles Gilbert,PaulArmand.
De nombreux algorithmes de moindres arrés pour la minimisation de f(x) = kF(x)k 2
passent d'un itéré x au suivant en eetuant une reherhe unidimensionnelle dans une
di-retion y proposée par l'algorithme. Nous proposons deux nouveaux onepts pour tenter
d'amélioreretteétapealgorithmique,baséstousdeuxsurlapriseenomptedesinformations
surlagéométrie du hemin etdelavariétéimage quel'onpeutextrairede laonnaissane de
00
pas de ourbure : la onnaissane de la ourbure maximum sur le hemin t ! F(x+ty)
permetdedéterminersimplementunpast
ourbure
quigarantissequel'onn'apasdépassé
lepremier point stationnaire, etdonne une déroissanegarantie duritère.
déplaement géodésique : lorsquelejaobiendeF estdisponible,leremplaementdela
re-herhelinéaireparunereherhelelongd'unegéodésiqueapprohéepermetd'améliorer
ladéroissanegarantie par lepast
ourbure .
Les premiers résultatsnumériques (stage de Yves Laroque, Université Paris-Dauphine)
mon-trent que le remplaement, dans une méthode de Gauss-Newton, d'une reherhe linéaire de
typeArmijoparundéplaement géodésiqueassoiéàunpasdeourburedonneunalgorithme
trèsrobusteenprésenedefortesnon-linéarités.Cestravauxserontprésentésauongrès4iipe
àRioen Maiprohain.