Programmation DC et DCA pour l'optimisation non convexe/optimisation globale en variables mixtes entières : Codes et Applications

HAL Id: tel-00833570

https://tel.archives-ouvertes.fr/tel-00833570

Submitted on 13 Jun 2013

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

convexe/optimisation globale en variables mixtes entières : Codes et Applications

Viet Nga Pham

To cite this version:

Viet Nga Pham. Programmation DC et DCA pour l’optimisation non convexe/optimisation globale

en variables mixtes entières : Codes et Applications. Mathématiques générales [math.GM]. INSA de

Rouen, 2013. Français. �NNT : 2013ISAM0005�. �tel-00833570�

pr´ esent´ ee par PHAM Viet Nga

en vue de l’obtention du grade de

DOCTEUR DE L’INSTITUT NATIONAL DES SCIENCES APPLIQU ´ EES DE ROUEN

(arrˆ et´ e minist´ eriel du 7 aoˆ ut 2006) Sp´ ecialit´ e: Math´ ematiques Appliqu´ ees

Programmation DC et DCA pour l’optimisation non convexe/optimisation

globale en variables mixtes enti` eres.

Codes et Applications.

Soutenue le 18 avril 2013 devant le jury compos´ e de

M. Arnaud LALLOUET Professeur Pr´ esident Universit´ e de Caen

M. Pierre MARECHAL Professeur Rapporteur Universit´ e de Paul Sabatier, Toulouse 3

M. Christian PRINS Professeur Rapporteur Universit´ e de Technologie de Troyes

M. Pascal DAMEL Maˆıtre de Conf´ erences, HDR Examinateur Universit´ e de Lorraine

M. Viet Hung NGUYEN Maˆıtre de Conf´ erences Examinateur Universit´ e Pierre et Marie Curie, Paris 6

M

Hoai An LE THI Professeur Directeur de th` ese Universit´ e de Lorraine

M. Tao PHAM DINH Professeur Directeur de th` ese INSA de Rouen

Th` ese pr´ epar´ ee au sein du Laboratoire de Math´ ematiques

de l’Institut National des Sciences Appliqu´ ees de Rouen (LMI), France

Tout d’abord, je voudrais exprimer ma profonde reconnaissance ` a Madame Le Thi Hoai An, Professeur ` a l’Universit´ e de Lorraine, et ` a Monsieur Pham Dinh Tao, Professeur ` a l’Institut National des Sciences Appliqu´ ees (INSA) de Rouen, mes directeurs de th` ese. Je les remercie de m’avoir donn´ ee des conseils, de m’avoir encourag´ ee et soutenue tout au long de ce travail avec patience et disponibilit´ e.

Je salue aussi leur gentillesse, leur droiture et leur rigueur.

Je tiens ensuite ` a remercier vivement Monsieur Pierre Mar´ echal, Professeur ` a l’Universit´ e de Paul Sabatier, Toulouse 3, et Monsieur Christian Prins, Professeur ` a l’Universit´ e de Technologie de Troyes, qui ont accept´ e d’ˆ etre rapporteurs de cette th` ese. Je les remercie pour l’honneur qu’ils m’ont fait en participant au jury.

Mes plus sinc` eres remerciements vont ´ egalement ` a Monsieur Pascal Damel, Maˆıtre de Conf´ erences ` a l’Universit´ e de Lorraine, Monsieur Arnaud Lallouet, Professeur ` a l’Univer- sit´ e de Caen, et Monsieur Nguyen Viet Hung, Maˆıtre de Conf´ erences ` a l’Universit´ e Pierre et Marie Curie, Paris 6, qui m’ont fait le plaisir d’accepter d’ˆ etre membres du jury.

Cette th` ese a ´ et´ e r´ ealis´ ee au sein du Laboratoire de Math´ ematiques de l’INSA de Rouen, France, o` u j’ai rencontr´ e des personnes sympathiques et tr` es gentilles. Merci ` a Brigitte Diarra, Christian Goˆ ut, Omar Jaumat, Carole Le Guyader, Bruno Portier, Anastasia Za- kharova,... pour les encouragements et les soutiens chaleureux. Je pense aussi ` a mes amis doctorants au LMI : Benoit, Florentina, Imed, Lamia, Mamadou, Duc Manh, Anh Son, Sol` ene, Yi-Shuai,.... Merci pour les bons moments partag´ es avec vous.

J’aimerais remercier tr` es sinc` erement Monsieur Bernard Mal´ ecot et son ´ epouse du g´ en´ ereux accueil qu’ils m’ont r´ eserv´ ee sous leur toit d` es mes premiers jours en France.

Je remercie tous les amis que j’ai rencontr´ es ` a Rouen : Viet Dung, Thu Hanh, Kim Hang, Truc Ngan, Thanh Phuong, Khanh Son, Huu Thai, Huyen Trang, Van Trien,.... Merci pour les moments agr´ eables que vous avez partag´ e avec moi.

Mes remerciements s’adressent ´ egalement au Gouvernement Vietnamien qui a financ´ e mes

´

etudes pendant 3 ans. Je n’oublie pas de remercier toute l’´ equipe du personnel de l’Uni- versit´ e d’Agriculture de Hanoi pour son soutien. Je remercie particuli` erement Monsieur Le Duc Vinh pour sa comp´ etence, sa gentillesse et ses encouragements ` a toutes ´ epreuves.

Un grand merci ` a mon mari, Thanh Hai. Merci de ton amour, de ta confiance, de ton soutien comme toujours et de tout ce que tu m’apportes. Un grand merci va aussi ` a mon fils, Gia Hung, qui a support´ e avec courage d’ˆ etre loin de moi pendant de longues ann´ ees.

iii

Et enfin, je n’oublie jamais le soutien inconditionnel, l’encouragement et l’aide de tous les

membres de ma famille tout au long de ce parcours : mes parents, mes beaux parents, ma

sœur, mes belles sœurs. Il est impossible pour moi de trouver les mots pour leur exprimer

mes reconnaissances. Ce fruit du travail leur est d´ edi´ e.

Bas´ es sur les outils th´ eoriques et algorithmiques de la programmation DC et DCA, les travaux de recherche dans cette th` ese portent sur les approches locales et globales pour l’optimisation non convexe et l’optimisation globale en variables mixtes enti` eres. La th` ese comporte 5 chapitres. Le premier chapitre pr´ esente les fondements de la programmation DC et DCA, et des m´ ethodes de S´ eparation et Evaluation (B&B) (utilisant la technique de relaxation DC pour le calcul des bornes inf´ erieures de la valeur optimale) pour l’op- timisation globale. Y figure aussi des r´ esultats concernant la p´ enalisation exacte pour la programmation en variables mixtes enti` eres. Le deuxi` eme chapitre est consacr´ e au d´ evelop- pement d’une m´ ethode DCA pour la r´ esolution d’une classe NP-difficile des programmes non convexes non lin´ eaires en variables mixtes enti` eres. Ces probl` emes d’optimisation non convexe sont tout d’abord reformul´ es comme des programmes DC via les techniques de p´ enalisation en programmation DC de mani` ere que les programmes DC r´ esultants soient efficacement r´ esolus par DCA et B&B bien adapt´ es. Comme premi` ere application en op- timisation financi` ere, nous avons mod´ elis´ e le probl` eme de gestion de portefeuille sous le coˆ ut de transaction concave et appliqu´ e DCA et B&B ` a sa r´ esolution. Dans le chapitre suivant nous ´ etudions la mod´ elisation du probl` eme de minimisation du coˆ ut de transaction non convexe discontinu en gestion de portefeuille sous deux formes : la premi` ere est un programme DC obtenu en approximant la fonction objectif du probl` eme original par une fonction DC poly´ edrale et la deuxi` eme est un programme DC mixte 0-1 ´ equivalent. Et nous pr´ esentons DCA, B&B, et l’algorithme combin´ e DCA-B&B pour leur r´ esolution. Le cha- pitre 4 ´ etudie la r´ esolution exacte du probl` eme multi-objectif en variables mixtes binaires et pr´ esente deux applications concr` etes de la m´ ethode propos´ ee. Nous nous int´ eressons dans le dernier chapitre ` a ces deux probl´ ematiques challenging : le probl` eme de moindres carr´ es lin´ eaires en variables enti` eres born´ ees et celui de factorisation en matrices non n´ egatives (Nonnegative Matrix Factorization (NMF)). La m´ ethode NMF est particuli` erement impor- tante de par ses nombreuses et diverses applications tandis que les applications importantes du premier se trouvent en t´ el´ ecommunication. Les simulations num´ eriques montrent la ro- bustesse, rapidit´ e (donc scalabilit´ e), performance et la globalit´ e de DCA par rapport aux m´ ethodes existantes.

Mot cl´ es : Programmation DC et DCA, S´ eparation et Evaluation, Technique de p´ enali- sation exacte, Programmation en variables mixtes enti` eres, Programmation multi-objectif, Gestion de portefeuille, Moindres carr´ es lin´ eaires en variables enti` eres, Factorisation en matrices non n´ egatives (NMF).

v

PHAM Viet Nga

Article avec comit´ e de lecture

• Viet-Nga PHAM, Hoai An LE THI, Tao PHAM DINH, Solving Nurse Ros- tering Problems by a Multiobjective Programming Approach, In N.-T. Nguyen, K.

Hoang, and P. J¸ edrzejowicz editors, Proceedings of ICCCI 2012, Computational Collective Intelligence. Technologies and Applications, Lecture Notes in Computer Science, Part I, LNAI 7653, pp. 544–552, Springer-Verlag Berlin Heidelberg 2012.

• Viet-Nga PHAM, Hoai An LE THI, Tao PHAM DINH, A DC programming framework for portfolio selection by minimizing the transaction costs, In N.T. Nguyen, T. Van Do, and H.A. Le Thi editors, Proceedings of ICCSAMA 2013, Advanced Computational Methods for Knowledge Engineering, Studies in Computational In- telligence, SCI 479, pp. 31–40, Springer International Publishing Switzerland 2013.

• Viet-Nga PHAM, Hoai An LE THI, Tao PHAM DINH, Solving a facility location problem by a multiobjective programming approach, will be appeared in Pro- ceedings of MIM 2013, IFAC Conference on Manufacturing Modelling, Management and Control, June 19-21, 2013, Saint Petersburg, Russia.

• Hoai An LE THI, Viet-Nga PHAM, Tao PHAM DINH, Yi-Shuai NIU, DC Programming Approach for a class of nonconvex nonlinear mixed-integer program- ming problems, submitted.

Communications aux colloques nationaux/internationaux

• Viet-Nga PHAM, Hoai An LE THI, Tao PHAM DINH, Yi-Shuai NIU, DC Programming Approaches for Discrete Portfolio Optimization under concave transac- tion costs, ICOTA 8 - The 8th International Conference on Optimization : Techniques and Applications, 10-13 December 2010, Shanghai, China.

• Viet-Nga PHAM, Hoai An LE THI, Tao PHAM DINH, Approche bas´ ee sur la Programmation DC et DCA pour le probl` eme de moindre carr´ ees lin´ eaires en variables enti` eres born´ ees, ROADEF 2011- Recherche Op´ erationelle et l’Aide ` a la D´ ecision, 02-04 Mars 2011, Saint-Etienne, France.

vii

• Viet-Nga PHAM, Hoai An LE THI, Tao PHAM DINH, A new efficient ap-

proach for solving mixed 0-1 linear multiobjective programming. Application to shift

scheduling problems, EURO 2012- 25th European Conference on Operational Re-

search, 8-11 July 2012, Vilnius, Lithuania.

1 M´ ethodologie 5

1.1 Introduction ` a la programmation DC et DCA . . . . 5

1.1.1 El´ ´ ements d’analyse convexe . . . . 7

1.1.2 Programmation DC . . . . 9

1.1.3 DCA (DC Algorithms) . . . . 11

1.2 M´ ethode par S´ eparation et Evaluation (SE) . . . . 15

1.2.1 M´ ethode de r´ esolution et convergence . . . . 15

1.2.2 S´ eparation et Evaluation avec des ensembles non r´ ealisables . . . . . 18

1.3 Techniques de p´ enalisation . . . . 25

1.3.1 P´ enalisation ext´ erieure . . . . 26

1.3.2 P´ enalisation int´ erieure . . . . 27

1.3.3 P´ enalisation exacte en programmation DC . . . . 27

1.3.4 Technique de p´ enalisation en programmation avec des variables mixtes enti` eres . . . . 31

1.4 Conclusion . . . . 33

2 Programmation en variables mixtes enti` eres 35 2.1 Introduction . . . . 35

2.2 DC reformulation of (N IP ) and DCA for solving the penalized problem . . 38

2.3 A Branch-and-Bound algorithm using DC relaxation techniques . . . . 40

2.3.1 DC relaxation technique . . . . 40

2.3.2 Branching procedure . . . . 43

2.3.3 Bounding procedure . . . . 44

2.3.4 A B&B algorithm for solving (N IP ) . . . . 44

2.4 Application to Discrete Portfolio Optimization under Concave Transaction Costs . . . . 45

2.4.1 Related works . . . . 45

2.4.2 Mean-variance model under concave transaction costs . . . . 46

2.4.3 Computational experiments . . . . 47

2.5 Conclusion . . . . 48

3 Gestion de portefeuille : Minimisation du coˆ ut de transaction non convexe 53 3.1 Introduction . . . . 53

3.2 Problem description and mathematical formulation . . . . 55

3.3 DC programming and DCA for solving (3.2) . . . . 56

3.3.1 DC approximation problem . . . . 56

3.3.2 DCA for solving (P

) . . . . 57

3.3.3 A hybrid algorithm Branch-and-Bound-DCA for solving (P ) . . . . 58

ix

3.4 Solving (P ) by a zero-one approach . . . . 62

3.4.1 A mixed zero-one formulation . . . . 63

3.4.2 DC programming and DCA for solving (Q01) . . . . 63

3.4.3 A combined DCA-Branch and Bound algorithm for solving (Q01) . . 65

3.5 Computational results . . . . 68

3.6 Conclusion . . . . 70

4 Programmation lin´ eaire multi-objectif en variables mixtes z´ ero-un 71 4.1 Introduction . . . . 71

4.2 Methodological approach . . . . 74

4.3 Applications . . . . 75

4.3.1 Nurse rostering problems . . . . 75

4.3.2 Facility location . . . . 84

4.4 Conclusion . . . . 89

5 Programmation DC et DCA pour la r´ esolution du probl` eme de moindres carr´ es lin´ eaires en variables enti` eres born´ ees/ factorisation en matrices non n´ egatives 91 5.1 Probl` eme de moindres carr´ es lin´ eaires en variables enti` eres born´ ees . . . . . 91

5.1.1 Introduction . . . . 91

5.1.2 Programmation DC et DCA pour la r´ esolution de (BILS) . . . . 92

5.2 Probl` eme de factorisation en matrices non n´ egatives (NMF) . . . . 94

5.2.1 Introduction . . . . 94

5.2.2 D´ ecomposition DC de la fonction de coˆ ut . . . . 96

5.2.3 Programmation DC et DCA pour la r´ esolution de NMF . . . . 97

5.3 Conclusion . . . . 98

Bibliographie 101

Cette th` ese repr´ esente une contribution de la Programmation DC et DCA pour l’opti- misation non convexe ainsi que pour l’optimisation globale en variables mixtes enti` eres.

La programmation DC (Difference of Convex functions) et DCA, qui constituent l’´ epine dorsale de la programmation non convexe, sont introduits en 1985 par Pham Dinh Tao et intensivement d´ evelopp´ es par Le Thi Hoai An et Pham Dinh Tao depuis 1994 pour devenir maintenant classiques et de plus en plus utilis´ es par des chercheurs et praticiens de par le monde, dans diff´ erents domaines des sciences appliqu´ ees. Leur popularit´ e r´ eside dans leur versatilit´ e, flexibilit´ e, rapidit´ e, robustesse et performance compar´ ees ` a des m´ ethodes existantes, leur adaptation aux structures des probl` emes trait´ es et leur capacit´ e de r´ esoudre des probl` emes industriels de grande dimension.

Un programme DC est de la forme

α = inf{f (x) := g(x) − h(x) | x ∈ R

} (P

) o` u g, h : R

−→ R ∪ {+∞} sont convexes semi-continues inf´ erieurement et propres. La dualit´ e DC associe au programme (P

), dit programme DC primal, son dual, qui est aussi un programme DC

α = inf{h

(y) − g

(y) | y ∈ R

} (D

) Bas´ e sur les conditions d’optimalit´ e locale et la dualit´ e DC, DCA consiste en la construc- tion de deux suites {x

} et {y

}, candidats ` a ˆ etre solutions optimales de (P

) et (D

) respectivement, de telle mani` ere que les suites {g(x

)−h(x

)} and {h

(y

) −g

(y

)} soient d´ ecroissantes et {x

} (resp. {y

}) converge vers une solution primal r´ ealisable x e (resp. une solution dual r´ ealisable y) v´ e erifiant les conditions d’optimalit´ e locale et

x e ∈ ∂g

( y); e e y ∈ ∂h( e x).

Les probl` emes initiaux ´ etudi´ es dans cette th` ese ne sont pas de la forme d’un programme DC, car soit ils contiennent des variables mixtes enti` eres, soit la fonction objectif est dis- continue. Grˆ ace ` a la technique de p´ enalisation en proprammation DC, nous pouvons les reformuler en programmes DC et puis appliquons DCA pour la r´ esolution. Afin d’´ evaluer la qualit´ e des solutions fournies par DCA, la combinaison de DCA et une technique de globalisation de S´ eparation et Evaluation (en anglais Branch-and-Bound (B&B)), utilisant la relaxation DC pour le calcul des bornes inf´ erieures de la valeur optimale, a ´ et´ e propos´ ee.

Il est clair que la technique de p´ enalisation joue un rˆ ole crucial dans la reformulation d’un programme non convexe en variables mixtes enti` eres (MINLP). Dans cette th` ese, nous nous sommes int´ eress´ es aux probl´ ematiques suivantes comme des applications concr` etes de nos travaux de recherche :

1. Minimisation d’une classe NP-difficile de programmes DC en variables mixtes en- ti` eres.

1

Les MINLPs, particuli` erement difficiles mais importants en applications, constituent toujours un challenge d’actualit´ e. Ils appartiennent ` a la fois ` a l’optimisation continue et l’optimisation combinatoire. Parmi les m´ ethodes existantes, on peut citer m´ ethode de d´ ecomposition de Benders g´ en´ eralis´ ee, m´ ethode par S´ eparation et Evaluation, Approximation Ext´ erieure, m´ ethode de coupe, et des m´ ethodes hybrides, etc. Ces m´ ethodes exactes d´ eterministes avec garantie th´ eorique de globalit´ e sont trop coˆ u- teuses en temps de calcul pour ˆ etre scalables (i.e., capables de traiter les tr` es grandes dimensions). Les m´ ethodes heuristiques bien adapt´ ees aux structures sp´ ecifiques des probl` emes trait´ es pourraient ˆ etre utiles dans la mesure o` u elles seraient susceptibles de fournir de bonnes solutions avec un CPU tr` es faible. Le d´ eveloppement des m´ e- thodes (d´ eterministes) locales scalables est le principal objectif de nos travaux de recherche.

2. Minimisation du coˆ ut de transaction non convexe discontinu du probl` eme de gestion de portefeuille sous des contraintes lin´ eaires et une contrainte quadratique convexe.

Le probl` eme de gestion de portefeuille avec coˆ ut de transaction a re¸ cu l’attention de nombreux chercheurs. N´ eanmoins, ` a cause de la non-convexit´ e de la fonction coˆ ut de transaction dans le cas g´ en´ eral, ces probl` emes sont difficiles ` a traiter. La plupart des m´ ethodes d´ evelopp´ ees pour ces probl` emes sont soit heuristiques, soit bas´ ees sur la m´ ethode par S´ eparation et Evaluation (B&B) tr` es coˆ uteuse en CPU. Nos approches propos´ ees dans ce travail sont prometteuses et moins ch` eres par rapport ` a SE.

3. Minimisation du multi-objectif lin´ eaires en variables mixtes binaires.

Beaucoup de probl` emes d’optimisation rencontr´ es en r´ ealit´ e sont de nature multi- objectif car plusieurs crit` eres d’´ evaluation souvent contradictoires sont ` a consid´ erer simultan´ ement. De nombreux de probl` emes r´ eels peuvent ˆ etre exprim´ es sous la forme de multi-objectif lin´ eaires en variables mixtes 0-1 comme en planification, affectation, localisation, network flow, etc. Les algorithmes utilis´ es pour r´ esoudre ces programmes non convexes sont compos´ es de m´ ethodes exactes (soit ` a l’aide d’une m´ ethode de scalarisation, soit bas´ ees sur la m´ ethode B&B, soit par ´ evaluation directe du vecteur objectif) et de m´ ethodes heuristiques/m´ etaheuristiques. La m´ ethode propos´ ee dans cette th` ese utilise une autre technique de scalarisation permettant de formuler un programme math´ ematique ´ equivalent. De plus, cette technique introduit une fonc- tion de p´ enalisation qui est utilis´ ee pour transformer un probl` eme de minimisation d’une fonction DC sur l’ensemble des solutions du probl` eme lin´ eaire multi-objectif en variables mixtes 0-1.

4. Reformulation du probl` eme de moindres carr´ es lin´ eaires en variables enti` eres born´ ees en programme DC et r´ esolution par DCA.

5. Probl` eme de factorisation en matrices non n´ egatives : Approches bas´ ees sur la pro- grammation DC et DCA.

Contributions de la th` ese

Nos contributions dans ce travail de th` ese portent sur :

• D´ eveloppement de la technique de p´ enalisation exacte et inexacte en programmation en variables mixtes enti` eres.

• Reformulation du MINLP sous la forme d’un programme DC et sa r´ esolution par

DCA.

des variables binaires et de la technique de p´ enalisation. Combinaison de DCA et B&B pour la r´ esolution du probl` eme original.

• Nouvelle approche pour la r´ esolution exacte des probl` emes lin´ eaires multi-objectif en variables mixtes 0-1.

• M´ ethodes de r´ esolution pour le probl` eme de moindres carr´ es lin´ eaires en variables enti` eres born´ ees et celui de factorisation en matrices non n´ egatives (Nonnegative Matrix Factorization (NMF)).

Organisation de la th` ese

La th` ese est compos´ ee de cinq chapitres.

1. Dans le premier chapitre, des outils th´ eoriques et algorithmiques indispensables ` a nos travaux de recherche sont pr´ esent´ es. Il s’agit de la Programmation DC et DCA, et la m´ ethode par S´ eparation et Evaluation (SE) (Branch-and-Bound (B&B) en an- glais) ainsi que des r´ esultats plus r´ ecents sur la technique de p´ enalisation exacte en programmation DC, en particulier ceux relatifs ` a la programmation non convexe en variables mixtes enti` eres.

2. Le chapitre 2 est consacr´ e ` a l’´ etude de la programmation DC et DCA, et des tech- niques B&B pour la r´ esolution d’une classe des programmes non convexes non li- n´ eaires en variables mixtes enti` eres dans lesquels la fonction objectif est DC avec la deuxi` eme composante s´ eparable. Applications au probl` eme de gestion de portefeuille sous le coˆ ut de transaction concave.

3. Dans le chapitre 3, nous ´ etablissons d’abord la mod´ elisation du probl` eme de minimi- sation du coˆ ut de transaction non convexe discontinu en gestion de portefeuille sous deux formes : la premi` ere est un programme DC obtenu en approximant la fonction objectif du probl` eme original par une fonction DC poly´ edrale et la deuxi` eme est un programme DC mixte 0-1 ´ equivalent. Et nous proposons les versions de DCA, B&B, leur combin´ e DCA-B&B adapt´ ees aux structures sp´ ecifiques de ces deux probl` emes pour leur r´ esolution.

4. Le probl` eme multi-objectifs lin´ eaires en variables mixtes binaires est r´ eformul´ e et r´ esolu dans le chapitre 4.

5. Last but not least, le probl` eme de moindres carr´ es lin´ eaires en variables enti` eres born´ ees et celui de factorisation en matrices non n´ egatives (Nonnegative Matrix Fac- torization (NMF)) font l’objet du dernier chapitre dans lequel nous d´ eveloppons la programmation DC et DCA pour leur r´ esolution.

Nos algorithmes d´ evelopp´ es ont ´ et´ e impl´ ement´ es ` a l’aide de MATLAB, C, AMPL, et le

logiciel utilis´ e pour r´ esoudre les sous-programmes convexes est CPLEX.

M´ ethodologie

Nous pr´ esentons dans ce chapitre les fondements de la programmation DC et DCA (DC Algorithms), les techniques de S´ eparation et Evaluation, ainsi que des r´ esultats concernant la p´ enalisation exacte pour la programmation en variables mixtes enti` eres.

1.1 Introduction ` a la programmation DC et DCA

L’optimisation offre un cadre de mod´ elisation et d’algorithmique tr` es riche pour tous les domaines de sciences appliqu´ ees. On peut distinguer deux branches de l’optimisation d´ eterministe : la programmation convexe et la programmation non convexe.

Th´ eoriquement on peut r´ esoudre tout programme convexe, mais encore faut-il bien ´ etu- dier la formulation du programme convexe en question - la reformulation constitue d’ailleurs un th` eme de recherche d’actualit´ e - et qu’il soit bien adapt´ e aux structures sp´ ecifiques des probl` emes trait´ es, pour proposer des variantes performantes peu coˆ uteuses et donc capables d’atteindre des dimensions r´ eelles tr` es importantes.

Lorsque la convexit´ e de l’objectif et des contraintes n’est pas v´ erifi´ ee, on est en face d’un probl` eme d’optimisation non convexe. L’absence de cette double convexit´ e rend la r´ e- solution d’un programme non convexe difficile voire impossible en l’´ etat actuel des choses.

Contrairement ` a la programmation convexe, les solutions optimales locales et globales sont

`

a distinguer dans un programme non convexe. L’analyse et l’optimisation convexes mo- dernes se voient ainsi contraintes ` a une extension logique et naturelle ` a la non convexit´ e et la non diff´ erentiabilit´ e. Les m´ ethodes num´ eriques conventionnelles de l’optimisation convexe ne fournissent que des solutions locales bien souvent ´ eloign´ es des solutions glo- bales si les structures sp´ ecifiques des programmes non convexes ne sont pas exploit´ ees dans leur construction.

Durant ces deux derni` eres d´ ecennies, la recherche en optimisation non convexe a lar- gement b´ en´ efici´ e des efforts des chercheurs et s’est enrichie de nouvelles avanc´ ees consi- d´ erables. Il y a deux approches diff´ erentes mais compl´ ementaires en programmation non convexe :

1. Approches globales continues dont les nouveaux outils algorithmiques sont inspir´ es par les techniques combinatoires de la Recherche Op´ erationnelle. Elles consistent ` a localiser les solutions optimales ` a l’aide des m´ ethodes d’approximation, des tech- niques de coupe, des m´ ethodes de d´ ecomposition, de s´ eparation et ´ evaluation. Elles

5

ont connu de tr` es nombreux d´ eveloppements importants depuis plus d’un quart de si` ecle, ` a travers les travaux de Hoang Tuy (reconnu comme le pionnier), R. Horst, P.

Pardalos, Pham Dinh Tao, Le Thi Hoai An, N. V. Thoai... L’inconv´ enient majeur des m´ ethodes globales est leur coˆ ut exhorbitant en temps de calcul qui les empˆ eche de traiter, en pratique, des probl` emes d’optimisation non convexe r´ eels de tr` es grande taille. Le calcul d’une solution globale d’un programme non convexe reste la quˆ ete du Saint Graal pour les optimiseurs. Et tout le monde convient qu’il faille d´ evelopper les approches locales performantes et ´ economiques capables de r´ esoudre ces probl` emes

`

a tr` es grande dimension. On rejoint ainsi la communaut´ e de l’Optimisation Non Li- n´ eaire avec des outils th´ eoriques et algorithmiques sp´ ecifiques : la Programmation DC et DCA. Dans ce contexte, les probl` emes d’optimisation combinatoire sont refor- mul´ es grˆ ace ` a des techniques de p´ enalit´ e exacte en Programmation DC et trait´ es par DCA.

2. Approches locales et globales d’analyse convexe qui sont bas´ ees sur l’analyse et l’opti- misation convexe. Ici la programmation DC (Difference of Convex functions) et DCA (DC Algorithms) jouent le rˆ ole central car la plupart des probl` emes d’optimisation non convexe sont formul´ es/reformul´ es sous la forme des programmes DC. La program- mation DC et DCA constituent l’´ epine dorsale de la programmation non convexe et de l’optimisation globale. Ils sont introduits par Pham Dinh Tao en 1985 ` a l’´ etat pr´ eliminaire ( [121–123]) et d´ evelopp´ es intensivement ` a travers de nombreux travaux communs de Le Thi Hoai An et Pham Dinh Tao depuis 1994 ( [85–92,124–127]) pour devenir maintenant classiques et de plus en plus utilis´ es par des chercheurs et pra- ticiens de par le monde, dans diff´ erents domaines des sciences appliqu´ ees. Ces outils th´ eoriques et algorithmiques constituent une extension de l’analyse et l’optimisation convexes, assez large pour couvrir la quasi-totalit´ e des probl` emes d’optimisation non convexe de la vie courante mais pas trop pour pouvoir exploiter l’arsenal puissant de ces derniers.

En particulier, la programmation DC et DCA ont ´ et´ e utilis´ es, avec beaucoup de succ` es, par de nombreux chercheurs et praticiens de diff´ erents domaines en sciences appliqu´ ees des diff´ erents Laboratoires dans le monde (Princeton, Stanford, MIT, Berkeley, Carne- gie Mellon, Cornell, Imperial College, Institut fur Allgemeine Mechanik (IAM, RWTH- Aachen), California, Mannheim, Heidelberg, Wisconsin, Iowa, Minnesota, Florida, North Carolina at Chapel Hill, Tokyo Institute of Technology, Fribourg, Hanoi Institute of Ma- thematics, Coimbra, Vienna, Copenhague, Louvain, Pukyong, Namur, Microsoft, Google, Yahoo, Nasa, ... ) pour mod´ eliser et r´ esoudre leurs programmes non convexes issus de diff´ erents domaines, en particulier : Transport-Logistique, T´ el´ ecommunication, Bioinfor- matique, Finance, Data Mining and Machine Learning, Cryptologie, M´ ecanique, Traite- ment d’Image, Robotique & Vision par Ordinateur, P´ etrochimie, Contrˆ ole Optimal, Pro- bl` emes Inverses, Probl` emes Mal-Pos´ es, Programmation Multiobjectif, Multilevel Program- ming, Variational Inequalty Problems (VIP), Mathematical Programs with Equilibrium Constraints (MPEC), etc.

La popularit´ e de la programmation DC et DCA r´ eside dans leur versatilit´ e, flexibilit´ e,

robustesse, rapidit´ e et performance compar´ ees ` a des m´ ethodes existantes, leur adaptation

aux structures des probl` emes trait´ es et leur capacit´ e ` a r´ esoudre des probl` emes industriels

de grande dimension. Pour une ´ etude plus d´ etaill´ ee de DCA nous renvoyons le lecteur ` a la

page web http://lita.sciences.univ-metz.fr/~lethi/ [84].

1.1.1 El´ ´ ements d’analyse convexe Notations et propri´ et´ es

Ce paragraphe est consacr´ e ` a un rapide rappel d’analyse convexe. Pour plus de d´ etails en analyse convexe, on pourra se reporter, par exemple aux ouvrages de R.T. Rockafellar [136], de J.B. Hiriart-Urruty et al. [58]. Dans la suite, R

est l’espace euclidien muni du produit scalaire usuel not´ e h., .i et de la norme euclidienne associ´ ee kxk

= p

hx, xi. On note R = R ∪{−∞, +∞} muni d’une structure alg´ ebrique d´ eduite de celle de R avec la convention +∞ − (+∞) = +∞ ( [136]).

D´ efinition 1.1 (Fonction indicatrice d’un ensemble) Soit C un sous-ensemble de R

. La fonction indicatrice de C, not´ ee χ

, est d´ efinie (∀x ∈ R

) par

χ

(x) :=

( 0 si x ∈ C +∞ si x / ∈ C

D´ efinition 1.2 (Ensemble convexe) Un sous-ensemble C de R

est dit convexe si (1 − λ)x

+ λx

∈ C, ∀x

, x

∈ C et ∀λ ∈ [0, 1]

D´ efinition 1.3 (Poly` edre convexe) Un sous-ensemble C de R

est dit poly` edre convexe s’il est l’intersection d’un nombre fini de demi-espaces de R

,

C =

m

\

i=1

x ∈ R

| ha

, xi − b

≤ 0, a

∈ R

, b

∈ R .

D´ efinition 1.4 (Fonction convexe) Une fonction f d´ efinie sur un sous ensemble C de R

est dite convexe si C est convexe et

f ((1 − λ)x

+ λx

) ≤ (1 − λ)f (x

) + λf(x

), ∀x

, x

∈ S, ∀λ ∈ [0, 1]. (1.1) f est dite strictement convexe si l’in´ egalit´ e (1.1) est stricte d` es que x

6= x

et λ ∈]0, 1[.

L’ensemble des fonctions convexes sur un ensemble convexe C est un cˆ one convexe que l’on note Conv(C).

Le domaine effectif d’une fonction convexe f d´ efinie sur C, not´ e domf , est d´ efini par domf = {x ∈ C | f(x) < +∞}.

La fonction convexe f est dite propre si elle ne prend jamais la valeur −∞ et domf 6= ∅.

D´ efinition 1.5 (Sous-gradient et sous-diff´ erentiel) Soit f une fonction convexe sur R

et x

∈ domf . On appelle sous-gradient de f au point x

tout vecteur y ∈ R

v´ erifiant

f (x) ≥ f(x

) + hy, x − x

i, ∀x ∈ R

.

L’ensemble de tous les sous-gradients de f en x

est appel´ e sous-diff´ erentiel de f au point x

. On le note ∂f(x

).

Si f est diff´ erentiable en x

, le sous-diff´ erentiel de f en x

est r´ eduit ` a un seul ´ el´ ement, le gradient de f en x

, ∂f(x

) = {∇f(x

)}.

Le domaine du sous-diff´ erentiel de f, not´ e dom ∂f, est d´ efini par

dom ∂f = {x ∈ R

| ∂f (x) 6= ∅}.

Pour une fonction convexe f sur R

et x ∈ domf, ∂f (x) est un sous-ensemble convexe ferm´ e de R

.

D´ efinition 1.6 (-sous-gradient et -sous-diff´ erentiel) Soit un r´ eel strictement positif, f une fonction convexe sur R

et x

∈ domf. Un vecteur y ∈ R

est appel´ e un -sous-gradient de f au point x

si

f (x) ≥ (f (x

) − ) + hy, x − x

i, ∀x ∈ R

.

L’ensemble de tous les -sous-gradients de f en x

est appel´ e -sous-diff´ erentiel de f au point x

. On le note ∂ f (x

).

D´ efinition 1.7 (Fonction s.c.i.) Soit f : R

−→ R et x

∈ R

. La fonction f est dite semi-continue inf´ erieurement (s.c.i) en x

si et seulement si,

lim inf

x→x⁰

f (x) ≥ f (x

).

On note Γ

( R

) l’ensemble des fonctions convexes s.c.i. et propres sur R

.

D´ efinition 1.8 (Fonction conjugu´ ee) Soit f ∈ Γ

( R

). La fonction conjugu´ ee de f , not´ ee f

, est d´ efinie par

y ∈ R

, f

(y) = sup{hx, yi − f (x) | x ∈ R

}.

Proposition 1.1 Si f ∈ Γ

( R

) et x ∈ R

alors

y ∈ ∂f(x) ⇐⇒ f (x) + f

(y) = hx, yi et y ∈ ∂f(x) ⇐⇒ x ∈ ∂f

(y).

Soit f ∈ Γ

( R

). Alors f est convexe poly´ edrale si et seulement si domf est un poly` edre convexe et

f (x) = sup{ha

, xi − b

, i = 1, . . . , m} + χ

(x).

Proposition 1.2 Si f ∈ Γ

(R

) est convexe poly´ edrale,

f(x) = sup{ha

, xi − b

, i = 1, . . . , m} + χ

(x), a

∈ R

, b

∈ R , ∀i = 1, . . . , m, alors

∂f(x) est un poly` edre convexe non vide pour tout x ∈ domf .

f

l’est aussi et dom ∂f = domf. De plus, si f est finie partout alors domf

= co{a

, i = 1, . . . , m},

f

(y) = min (

X

i=1

λ

b

| y =

m

X

i=1

λ

a

,

m

X

i=1

λ

= 1, λ

≥ 0, ∀i = 1, . . . , m )

.

Fonctions DC

D´ efinition 1.9 (Fonction DC) Soit C un sous-ensemble convexe non vide de R

et f : C −→ R une fonction. La fonction f est dite DC sur C si elle peut s’´ ecrire comme la diff´ erence de deux fonctions g, h convexes sur C,

f (x) = g(x) − h(x), ∀x ∈ C.

On dit que g − h est une d´ ecomposition DC de f , et que g, h sont des composantes DC de f .

Si f est une fonction DC sur un ensemble convexe C et si f admet une d´ ecomposition DC comme f = g − h alors pour toute fonction φ convexe finie sur C, (g + φ) − (h + φ) fournit aussi une d´ ecomposition DC de f. Ainsi, toute fonction DC admet une infinit´ e de d´ ecompositions DC.

L’ensemble des fonctions DC sur C est not´ e DC(C). L’espace vectoriel engendr´ e par Conv(C) est exactement DC(C),

DC(C) = Conv(C) − Conv(C).

L’espace vectoriel DC(C) est assez vaste pour contenir la plupart des fonctions objectifs de la vie courante et est stable par rapport ` a des op´ erations usuelles en optimisation.

Pour plus de d´ etails sur les fonctions DC, le lecteur peut consulter [61,84,85,92,93,126, 127, 149].

1.1.2 Programmation DC Programme DC

D´ efinition 1.10 (Programme DC) On appelle programme DC tout probl` eme d’optimisa- tion de la forme

inf{f(x) = g(x) − h(x) | x ∈ R

} (P

) o` u g, h ∈ Γ

( R

).

(P

) est un probl` eme d’optimisation sans contrainte. Un probl` eme d’optimisation avec une contrainte convexe (i.e., un convexe ferm´ e non vide C) de la forme

inf{f (x) = g(x) − h(x) | x ∈ C}

est ´ equivalent ` a (P

) via l’addition de la fonction indicatrice de C ` a la premi` ere composante de f .

Dualit´ e DC

Consid´ erons le programme DC

α = inf{g(x) − h(x) | x ∈ R

} (P

) o` u g, h ∈ Γ

( R

).

Grˆ ace ` a la convention (+∞) − (+∞) = (+∞), le probl` eme dual de (P

) est donc

α = inf{h

(y) − g

(y) | y ∈ R

} (D

)

o` u g

, h

∈ Γ

( R

) sont des fonctions conjugu´ ees de g et de h respectivement. (D

) est aussi un programme DC. De plus, (P

) et (D

) ont la mˆ eme valeur optimale et on peut observer la parfaite sym´ etrie entre ces deux probl` emes : le dual de (D

) est exactement (P

).

Les r´ esultats suivants donnent quelques propri´ et´ es concernant les solutions de (P

) et (D

).

Th´ eor` eme 1.1 Soient g, h ∈ Γ

( R

).

(i) x

est une solution globale de (P

) si et seulement si

α = (g − h)(x

) ≤ (h

− g

)(y), ∀y ∈ R

. (ii) y

est une solution globale de (D

) si et seulement si

α = (h

− g

)(y

) ≤ (g − h)(x), ∀x ∈ R

. Th´ eor` eme 1.2 Soient g, h ∈ Γ

( R

).

(i) inf{g(x) − h(x) | x ∈ domg} = inf{h

(y) − g

(y) | y ∈ domh

}

(ii) Si y

est un minimum de h

− g

alors chaque x

∈ ∂g

(y

) est un minimum de g − h.

Si x

est un minimum de g − h alors chaque y

∈ ∂h(x

) est un minimum de h

−g

. Ce dernier th´ eor` eme montre que la r´ esolution de l’un des deux probl` emes (P

) et (D

) implique celle de l’autre.

Conditions d’optimalit´ e en programmation DC

Il est bien connu en optimisation convexe que x

∈ R

minimise une fonction convexe f ∈ Γ

( R

) si et seulement si : 0 ∈ ∂f (x

).

En programmation DC, la condition n´ ecessaire et suffisante d’optimalit´ e globale est formul´ ee ` a l’aide des -sous-diff´ erentiels de g et h.

Th´ eor` eme 1.3 (Condition d’optimalit´ e globale) Soient g, h ∈ Γ

( R

) et x

∈ R

. x

est un minimum global de g − h si et seulement si

∂ h(x

) ⊂ ∂ g(x

), ∀ > 0. (1.2) D´ efinition 1.11 (Programme DC poly´ edral) Le programme DC (P

) est dit poly´ edral si l’une de ses composantes g ou h est une fonction convexe poly´ edrale.

D´ efinition 1.12 (Minimum local) Soient g, h ∈ Γ

( R

). Un point x

∈ domg ∩ domh est un minimum local de g − h s’il existe un voisinage V (x

) de x

tel que

(g − h)(x

) ≤ (g − h)(x), ∀x ∈ V (x

).

D´ efinition 1.13 (Point critique) Un point x

∈ R

est dit point critique ou point KKT g´ en´ eralis´ e de g − h si ∂g(x

) ∩ ∂h(x

) est non vide.

On note

P

= {x ∈ R

| ∂h(x) ⊂ ∂g(x)}, D

= {y ∈ R

| ∂g

(y) ⊂ ∂h

(y)}

et note P (resp. D ) l’ensemble des solutions globales du probl` eme (P

) (resp. (D

)).

Th´ eor` eme 1.4 (Condition n´ ecessaire d’optimalit´ e locale) Si x

est un minimum local de g − h alors x

∈ P

. Cette condition est suffisante si h est poly´ edrale. De plus si f est localement convexe en x

, en particulier si h est poly´ edrale et diff´ erentiable en x

, alors x

est une solution locale.

Th´ eor` eme 1.5 (Condition suffisante d’optimalit´ e locale) Si x

∈ domg ∩ domh admet un voisinage V tel que

∂h(x) ∩ ∂g(x

) 6= ∅, ∀x ∈ V ∩ domg alors x

est un minimum local de g − h.

Th´ eor` eme 1.6

1. ∂h(x

) ⊂ ∂g(x

), ∀x

∈ P et ∂g

(y

) ⊂ ∂h

(y

), ∀y

∈ D.

2. (Transport de minima globaux) [

x^∗∈P

∂h(x

) ⊆ D ⊂ domh

.

La premi` ere inclusion devient ´ egalit´ e si g

est sous-diff´ erentiable dans D (en parti- culier si D ⊂ ir(domg

) ou si g

est sous-diff´ erentiable dans domh

). Dans ce cas, D ⊂ dom∂g

∩ dom∂h

.

Par dualit´ e,

[

y^•∈D

∂g

(y

) ⊆ P ⊂ domg.

La premi` ere inclusion devient ´ egalit´ e si h est sous-diff´ erentiable dans P (en particulier si P ⊂ ir(domh) ou si h est sous-diff´ erentiable dans domg). Dans ce cas, P ⊂ dom∂g ∩ dom∂h.

3. (Transport de minima locaux) Soit x

∈ dom∂h un minimum local de g − h et y

∈ ∂h(x

). Supposons que V (x

) est un voisinage de x

v´ erifiant (g − h)(x) ≥ (g − h)(x

), ∀x ∈ V (x

) ∩ domg. Si

x

∈ int(domh), y

∈ int(domg

) et ∂g

(y

) ⊂ V (x

) alors y

est un minimum local de h

− g

.

1.1.3 DCA (DC Algorithms)

Bas´ e sur la condition d’optimalit´ e locale et la dualit´ e DC, DCA consiste en la construc- tion des deux suites {x

} et {y

}, candidates ` a ˆ etre solutions optimales des programmes DC primal et dual respectivement, de telle mani` ere que les suites {g(x

) − h(x

)} et {h

(y

) − g

(y

)} soient d´ ecroissantes et {x

} (resp. {y

}) converge vers une solution pri- mal r´ ealisable x e (resp. une solution dual r´ ealisable e y) v´ erifiant les conditions d’optimalit´ e locale et

x e ∈ ∂g

( y), e e y ∈ ∂h( e x).

Les deux suites {x

} et {y

} sont d´ etermin´ ees de fa¸ con que x

(k ≥ 0) est une solution du probl` eme convexe :

min n

g(x) − [h(x

) + hx − x

, y

i] | x ∈ R

o

(P

)

y

(k ≥ 0) est une solution du probl` eme convexe : min n

h

(y) − [g

(y

) + hy − y

, x

i] | y ∈ R

o

(D

) L’interpr´ etation de DCA est simple : ` a chaque it´ eration k, la seconde composante du probl` eme primal (P

) (resp. probl` eme dual (D

)) est remplac´ ee par sa minorante affine h

(x) := h(x

) + hx − x

, y

i au voisinage de x

, d´ efinie par un sous-gradient y

de h en x

(resp. g

(y) := g

(y

) + hy − y

, x

i au voisinage de y

, d´ efinie par un sous-gradient x

de g

en y

). L’ensemble des solutions du probl` eme convexe obtenu (P

) (resp. (D

)) n’est rien d’autre que ∂g

(y

) (resp. ∂h(x

)),

x

∈ ∂g

(y

), y

∈ ∂h(x

).

Le processus est alors r´ ep´ et´ e jusqu’` a la convergence.

Algorithme DCA x

∈ domg, k ←− 0 . R´ ep´ eter

1. Calculer y

∈ ∂h(x

).

2. Calculer x

∈ ∂g

(y

).

Jusqu’` a la convergence.

En r´ esum´ e, on peut d´ ecrire l’algorithme DCA ` a l’aide du sch´ ema suivant : x

−→ y

∈ ∂h(x

)

.

x

∈ ∂g

(y

) −→ y

∈ ∂h(x

) Convergence de DCA

DCA n’est d´ efini que si l’on peut construire les suites {x

} et {y

} ` a partir d’un point x

choisi ` a l’avance.

Lemme 1.1 (Existence des suites) Les suites {x

} et {y

} sont bien d´ efinies si et seule- ment si

dom∂g ⊂ dom∂h et dom∂h

⊂ dom∂g

Supposons que {x

} et {y

} sont bien d´ efinis. Le th´ eor` eme de convergence de DCA requiert que ces deux suites soient born´ ees.

Lemme 1.2 (Bornitude des suites) Si g − h est cœrcive (i.e. lim

kxk→+∞

(g − h)(x) = +∞) alors

(i) la suite {x

} est born´ ee,

(ii) si de plus, {x

} ⊂ int(domh) alors {y

} est aussi born´ ee.

Par dualit´ e, si h

− g

est cœrcive alors (iii) la suite {y

} est born´ ee,

(iv) si de plus, {y

} ⊂ int(domg

) alors {x

} est aussi born´ ee.

La convergence de l’algorithme est assur´ ee par les r´ esultats suivants :

Th´ eor` eme 1.7 (Convergence de DCA) Supposons que les suites {x

} et {y

} sont bien d´ efinies. Alors DCA est une m´ ethode de descente sans recherche lin´ eaire mais avec une convergence globale et poss` ede les caract´ eristiques suivantes :

1. Les suites {(g − h)(x

)} et {(h

− g

)(y

)} sont d´ ecroissantes et

• (g − h)(x

) = (g − h)(x

) si et seulement si



 

 

y

∈ ∂g(x

) ∩ ∂h(x

), y

∈ ∂g(x

) ∩ ∂h(x

), [ρ(g) + ρ(h)]kx

− x

k = 0.

De plus, si g et h sont strictement convexes sur R

alors x

= x

. Dans ce cas, DCA se termine ` a la (k + 1)

it´ eration (convergence finie de DCA).

• (h

− g

)(y

) = (h

− g

)(y

) si et seulement si



 

 

x

∈ ∂h

(y

) ∩ ∂g

(y

), x

∈ ∂h

(y

) ∩ ∂g

(y

), [ρ(h

) + ρ(g

)]ky

− y

k = 0.

De plus, si h

et g

sont strictement convexes sur Y alors y

= y

. Dans ce cas, DCA se termine ` a la (k + 1)

it´ eration (convergence finie de DCA).

2. Si [ρ(g) + ρ(h)] > 0 (resp. [ρ(h

) + ρ(g

)] > 0) alors lim

k→+∞

kx

− x

k = 0 (resp.

k→+∞

lim ky

− y

k = 0).

3. Si la valeur optimale α du probl` eme primal (P

) est finie alors

• Les suites d´ ecroissantes {(g − h)(x

)} et {(h

− g

)(y

)} convergent vers la mˆ eme limite β ≥ α .

• Si de plus, les suites {x

} et {y

} sont born´ ees alors pour toute valeur d’adh´ erence e x de {x

} il existe une valeur d’adh´ erence y e de {y

} telle que

y e ∈ ∂g( x) e ∩ ∂h( e x) et g( e x) − h( x) = e β.

De mˆ eme pour la suite {y

}.

4. DCA a une convergence lin´ eaire pour un programme DC dans le cas g´ en´ eral. Dans le cas poly´ edral, cette convergence est finie.

5. DCA appliqu´ e aux programmes DC avec des donn´ ees subanalytiques a la convergence de la suite enti` ere {x

} (resp. {y

}).

Remarque 1.1

1. Il est clair que DCA s’applique aux fonctions convexes g et h, et non ` a la fonc- tion f elle-mˆ eme. On voit ainsi comment le m´ ecanisme de DCA fonctionne pour les programmes DC non diff´ erentiables (f est une fonction DC non diff´ erentiable).

Et puisqu’une fonction DC admet une infinit´ e de d´ ecompositions DC, il en aura au-

tant de DCA. Le choix d’une d´ ecomposition DC appropri´ ee est crucial car il condi-

tionne les qualit´ es essentielles (rapidit´ e, robustesse, globalit´ e des solutions calcul´ ees)

du DCA r´ esultant. Th´ eoriquement, le probl` eme de d´ ecomposition DC optimale reste

`

a d´ efinir et ` a ´ etudier. En pratique on cherche des d´ ecompositions DC bien adapt´ ees

`

a la structure sp´ ecifique du probl` eme trait´ e afin que les deux suites {x

} et {y

} soient obtenues ` a moindre coˆ ut en temps de calcul, si elles ne sont pas explicites.

Ici, peut ˆ etre plus qu’ailleurs, les techniques de reformulation sont omnipr´ esentes. Il est important de noter qu’avec des d´ ecompositions DC appropri´ ees, DCA permet de retrouver, comme cas particuliers, la plupart des m´ ethodes standard en programma- tion convexe/non convexe. D’autre part un programme convexe est un programme DC pour lequel DCA converge vers une solution (locale qui est aussi globale) : de cette mani` ere DCA permet de construire une infinit´ e d’algorithmes pour la programmation convexe, qui pourraient ˆ etre plus performants que les m´ ethodes existantes.

2. Il est important de noter qu’avec des d´ ecompositions DC appropri´ ees, DCA permet de retrouver, comme cas particuliers, la plupart des m´ ethodes standards en program- mation convexe/non convexe.

A notre connaissance, DCA est actuellement parmi les rares algorithmes de la pro- grammation non convexe, capables de traiter des probl` emes de tr` es grande taille et reste le seul algorithme performant pour des programmes non convexes non diff´ eren- tiables.

Programmation DC poly´ edrale

Consid´ erons le probl` eme (P

) dont l’une des composantes g, h est convexe poly´ edrale.

On peut supposer que la fonction h est poly´ edrale et est donn´ ee par h(x) = sup{ha

, xi − b

, i = 1, . . . , m} + χ

(x) o` u C est un poly` edre convexe non vide de R

(si dans (P

) la fonction g est poly´ edrale et pas h, on va consid´ erer le probl` eme dual (D

) car g

est poly´ edrale).

Supposons que α est fini. Ce qui implique domg ⊂ domh = C. D` es lors, au lieu de (P

) on peut consid´ erer le probl` eme ´ equivalent ( P e

) :

α = inf{g(x) − e h(x) | x ∈ R

} ( P e

) o` u e h(x) = sup{ha

, xi − b

, i ∈ I } avec I = {1, . . . , m}.

On a donc

α = inf

i∈I

inf

x∈Rⁿ

{g(x) − (ha

, xi − b

)}

Pour chaque i ∈ I , on note (P

) le probl` eme convexe suivant

α

= inf{g(x) − (ha

, xi − b

) | x ∈ R

} (P

) dont l’ensemble des solutions est ∂g

(a

).

Le probl` eme dual ( D e

) de ( P e

) est :

α = inf{e h

(y) − g

(y) | y ∈ co{a

, i ∈ I}} ( D e

) On note ´ egalement

J (α) = {i ∈ I | α

= α} et I (x) = {i ∈ I | ha

, xi − b

= e h(x)}

Th´ eor` eme 1.8

(i) x

∈ P si et seulement si I(x

) ⊂ J (α) et x

∈ T

i∈I(x^∗)

∂g

(a

).

(ii) P = S

i∈J(α)

∂g

(a

). Si {a

, i ∈ I } ⊂ dom ∂g

alors P 6= ∅.

(iii) e h(x) = max{hx, yi − e h

(y) | y ∈ co{a

, i ∈ I}} = max{ha

, xi − e h

(a

) | i ∈ I}.

(iv) J(α) = {i ∈ I | a

∈ D, e e h

(a

) = b

}; D e ⊃ {a

, i ∈ J (α)}.

Ainsi, r´ esoudre le programme DC poly´ edrale ( P e

) ram` ene ` a r´ esoudre m programmes convexes (P

). Afin de g´ en´ erer l’ensemble P , on peut d´ eterminer d’abord J (α) puis appli- quer le th´ eor` eme 1.8. En pratique, ceci peut ˆ etre utilis´ e si m est relativement petit. Dans le cas o` u m est grand, DCA sera appliqu´ e pour r´ esoudre localement ( P e

). On rappelle ci-dessous la description de DCA concernant le programme DC poly´ edral :

x

∈ R

choisi ` a l’avance.

It´ eration k, x

−→ y

∈ ∂ e h(x

) = co{a

, i ∈ I(x

)} et x

∈ ∂g

(y

).

En prenant y

= a

, i ∈ I(x

), le calcul de x

est r´ eduit ` a r´ esoudre le programme convexe suivant :

min{g(x) − hy

, xi | x ∈ R

}.

Noter que si y

= a

avec i ∈ J (α), alors x

∈ P (selon th´ eor` eme 1.8).

Les suites obtenues {x

} et {y

} sont discr` etes (c-` a-d elles ont seulement un nombre fini d’´ el´ ements diff´ erents). La convergence de DCA est donc finie dans ce cas.

1.2 M´ ethode par S´ eparation et Evaluation (SE)

On consid` ere le probl` eme de minimisation d’une fonction continue f sur un compact S

min{f (x) | x ∈ S ⊂ R

}. (P )

Il est bien connu que si S 6= ∅ alors le probl` eme (P ) admet une solution. On voudrait trouver une solution dite optimale globale x

∈ S telle que

f (x

) ≤ f (x) ∀x ∈ S.

L’id´ ee de base de la m´ ethode par S´ eparation et Evaluation (SE) consiste en la division successive d’un ensemble qui contient S en sous-ensembles de plus en plus petits. A chaque sous-ensemble contenant une partie de S, on associe une borne inf´ erieure de la valeur de la fonction objectif sur ce sous-ensemble en vue d’´ eliminer les parties non prometteuses et de s´ electionner un sous-ensemble que l’on va diviser par la suite.

D´ efinition 1.14 Soit M un compact de R

et I un ensemble fini d’indices. Un ensemble {M

: i ∈ I } des sous-ensembles compacts est appel´ e une partition de M si

M = [

i∈I

M

, M

∩ M

= ∂M

∩ ∂M

, ∀i, j ∈ I : i 6= j o` u ∂M

d´ enote la fronti` ere relative ` a M de M

.

1.2.1 M´ ethode de r´ esolution et convergence

Adoptons la notation min f (S) = min{f (x) | x ∈ S}. Le sch´ ema g´ en´ eral de SE se r´ esume de la mani` ere suivante :

Prototype 1 ( [59, 130])

• Initialisation

1. Choisir un compact M

⊃ S, un ensemble fini d’indices I

, une partition M

= {M

: i ∈ I

} de M

satisfaisant M

∩ S 6= ∅, ∀i ∈ I

.

2. Pour chaque i ∈ I

, d´ eterminer S

⊂ M

∩ S, S

6= ∅ et

γ

= γ(M

) := min f (S

), x

∈ arg min f(S

).

3. Pour chaque i ∈ I

d´ eterminer β

= β(M

) ≤ min f (S ∩ M

).

4. Calculer

γ

= min

i∈I0

γ

, (1.3)

x

∈ arg min{f (x

), i ∈ I

}, (1.4) β

= min

i∈I0

β

. (1.5)

• It´ eration k = 0, 1, . . .

k.1 Supprimer tout M

∈ M

v´ erifiant soit β

≥ γ

,

soit sur lequel min f (S) ne peut pas avoir lieu. Soit R

la collection des ´ el´ ements restants dans M

.

Si R

= ∅ alors s’arrˆ eter : x

est une solution globale de (P ).

k.2 S´ electionner M

∈ R

, choisir un ensemble fini des indices J

et construire une partition

M

= {M

: i ∈ J

} de M

telle que M

∩ S 6= ∅, ∀i ∈ J

.

k.3 Pour chaque i ∈ J

, d´ eterminer S

⊂ M

∩ S, S

6= ∅ et γ

= γ(M

) := min f (S

), x

∈ arg min f (S

).

k.4 Pour chaque i ∈ J

, d´ eterminer β

tel que β

≤ β

≤ min f (S ∩ M

).

k.5 Poser M

= (R

\ M

) ∪ M

. Soit I

l’ensemble des indices tel que M

= {M

: i ∈ I

} est la partition courante.

Soient γ

, β

, x

les quantit´ es correspondant ` a M

, i ∈ I

. k.6 Calculer

γ

= min

i∈I_k+1

γ

(1.6)

x

∈ arg min{f (x

), i ∈ I

} (1.7) β

= min

i∈I_k+1

β

(1.8)

et aller ` a l’it´ eration k + 1.

Conditions de la convergence

La m´ ethode SE converge dans le sens que chaque point d’accumulation de la suite {x

} est une solution de (P ). Evidemment, par construction de {x

},

x

∈ S, k = 0, 1, . . . (1.9)

γ

≥ γ

≥ min f(S) ≥ β

≥ β

(1.10) f (x

) ≥ f (x

), k = 0, 1, . . . (1.11) D´ efinition 1.15 Une estimation de borne est dite « coh´ erente » (consistent) si, pour une suite d´ ecroissante des sous-ensembles quelconque M

g´ en´ er´ ee par la phase de s´ epara- tion, i.e.,

M

⊂ M

, on a

q→∞

lim (γ

− β

) = 0. (1.12) Puisque β

≤ γ

≤ γ

, la condition (1.12) peut s’´ ecrire

q→∞

lim (γ

− β

) = 0. (1.13) Par la monotonie et la bornitude des suites {γ

}, {β

} on a

(f (x

) = γ

) → α, β

→ β, γ ≥ min f (S) ≥ β D´ efinition 1.16 Une s´ election est dite « compl` ete » si pour chaque

M ∈

∞

[

p=1

∞

\

k=p

R

on a

inf f (M ∩ S) ≥ α.

Une s´ election est dite « borne-am´ eliorante » (bound improving), si au moins apr` es chaque nombre fini d’it´ erations, on a

M

∈ arg min{β(M ) : M ∈ R

}. (1.14) Th´ eor` eme 1.9 [59] Supposons que S est ferm´ e, min f (S) existe et que dans le proto- type, l’op´ eration d’estimation de borne est coh´ erente.

(i) Si la s´ election est compl` ete alors γ := lim

k→∞

α

= lim

k→∞

f (x

) = min f(S). (1.15) (ii) Si la s´ election est borne-am´ eliorante alors

β := lim

k→∞

β

= min f (S). (1.16)

(iii) Si la s´ election est compl` ete, f est continue et {x ∈ S | f(x) ≤ f (x

)} est born´ e

alors chaque point d’accumulation de la suite {x

} r´ esout le probl` eme (P).

1.2.2 S´ eparation et Evaluation avec des ensembles non r´ ealisables

D´ efinition 1.17 Un ensemble M v´ erifiant M ∩S = ∅ est appel´ e « non r´ ealisable ». Un en- semble M v´ erifiant M ∩S 6= ∅ est appel´ e « r´ ealisable ». Un ensemble M est dit « incertain » lorsque nous ne savons pas si M est r´ ealisable ou non.

Evidemment, un ensemble sera ´ elimin´ e si on sait qu’il est non r´ ealisable. Lorsque les ensembles incertains sont admis, on va demander pour que

− ∞ < β(M) ≤ min f(M ∩ S), si M est r´ ealisable

− ∞ < β(M) ≤ min f(M), si M est incertain.

En g´ en´ eral, S

⊂ M ∩ S peut ˆ etre vide et il est possible que la borne α(M ) ´ egale l’infini. La variante du prototype ci-dessous sera appliqu´ ee lorsqu’on ne peut pas d´ ecider d´ efinitivement si M ∩ S 6= ∅ a lieu pour tous les ensembles de la partition donn´ ee. Noter que dans ce cas, les bornes sup´ erieures ne sont pas toujours disponibles. Pour la clart´ e, on va d´ ecrire cette variante en d´ etail. Remarquons que, par convention, le minimum sur un ensemble vide prend la valeur infinie.

Prototype 2 ( [60, 130])

• Initialisation

1. Choisir un compact M

tel que S ⊂ M

, un ensemble fini d’indices I

, une partition M

= {M

: i ∈ I

} de M

.

2. Pour chaque i ∈ I

, d´ eterminer S

⊂ M

∩ S, S

6= ∅ et

α

= α(M

) := min f (S

), x

∈ arg min f (S

).

Si S

n’est pas disponible (par des efforts raisonnables), on pose S

= ∅.

3. Pour chaque i ∈ I

, d´ eterminer β

= β(M

) v´ erifiant

β(M

) ≤ min f(S ∩ M

), si M

est r´ ealisable β(M

) ≤ min f(M

), si M

est incertain.

4. Calculer

α

= min

i∈I₀

α

(1.17)

x

∈ arg min{f (x

) : i ∈ I

} (1.18) β

= min

i∈I0

β

(1.19)

• It´ eration k = 0, 1, . . .

k.1 Supprimer tout M

∈ M

v´ erifiant soit β

≥ α

soit sur lequel min f (S) ne peut pas avoir lieu. Soit R

la collection des ´ el´ ements restants de M

.

Si R

= ∅ alors s’arrˆ eter : x

est une solution globale.