estimateur s’av`ere prohibitif pour des images de taille r´ealiste : la mise en œuvre d’une proc´edure d’inversion it´erative requiert la r´esolution, `a chaque it´eration, d’un syst`eme de taille N×N, o`u N est le nombre de pixels dans l’image, dont le coˆut de calcul est de l’ordre de N3. Dans un second volet de la th`ese, nous avons alors construit une m´ethode d’estima-tion approch´ee, reposant sur une troncature de la matrice de covariance du mod`ele. Plus pr´ecis´ement, nous avons consid´er´e la restriction de la covariance spatiale `a des patches de faible ´etendue, n´egligeant ainsi les corr´elations entre les pixels ´eloign´es. La complexit´e calculatoire a ainsi pu ˆetre r´eduite `a l’ordre de N2log N , sans que la qualit´e de la solution en soit fortement affect´ee [Liu et al., 2017].
Encadrement doctoral
• Penghuan Liu, Statistical and numerical optimization for speckle blind
structured illumination microscopy. ´Ecole Centrale de Nantes. Encadrement
`
a 30 %. Directeur de th`ese J´erˆome Idier (70 %). Financement du gouvernement
chi-nois via le China Scholarship Council (CSC). Th`ese soutenue en mai 2018.
• Corentin Friedrich, M´ethodes de reconstruction en tomographie de diffrac-tion 3-D. ´Ecole Centrale de Nantes, th`ese en co-tutelle avec Polytechnique Montr´eal. Encadrement `a 30 %. Directeur de th`ese J´erˆome Idier (40 %), co-directeur Yves
Gous-sard (Polytechnique Montr´eal, 30 %). Financement ´Ecole Centrale de Nantes et
Po-lytechnique Montr´eal. Th`ese soutenue en septembre 2016.
Publications associ´ees
• Articles de journaux : [Idier et al., 2018, Labouesse et al., 2017, Friedrich et al., 2015b].
• Conf´erences avec actes et comit´e de lecture : [Labouesse et al., 2016, Friedrich et al., 2015a, Liu et al., 2017, Labouesse et al., 2015].
2.5 Optimisation exacte en norme `
0Si les activit´es pr´ec´edemment d´ecrites ont essentiellement concern´e des applications en traitement du signal et de l’image, ce dernier th`eme est r´esolument plus amont . Il concerne le d´eveloppement d’algorithmes de r´esolution exacte de probl`emes d’optimisation
faisant intervenir la norme `0 pour l’approximation parcimonieuse. Le terme exact
signifie que le r´esultat est garanti de produire le minimum global du probl`eme fonction de coˆut consid´er´ee. Ce sujet se situe en dernier dans l’expos´e de mes recherches, traduisant
l’´evolution d’une partie de mon activit´e vers des questions avant tout algorithmiques.
L’optimisation exacte de crit`eres parcimonieux constitue une th´ematique qui m’est propre au sein de mon ´equipe de recherche et occupe d´esormais une place centrale de mon activit´e.
La notion de parcimonie a jalonn´e mon parcours de chercheur, et on la retrouve en
bonne place dans les chapitres ant´erieurs de ce manuscrit. Si j’y ai d´evelopp´e des algo-rithmes sp´ecifiques, la taille souvent grande des probl`emes abord´es (ou des contraintes
de mise en œuvre rapide voire en temps r´eel dans le cas du contrˆole non destructif),
m’a plutˆot orient´e vers des algorithmes en norme `1 et des approches gloutonnes, effi-caces en temps de calcul. La norme `0 6 repr´esente pourtant la mesure la plus exacte
6. Le terme de norme est clairement un abus de langage, puisque cette fonction ne v´erifie pas la propri´et´e d’homog´en´eit´e : on a ∀c 6= 0, kc xk0= kxk0. Ce n’est pas non plus une quasi-norme ni une pseudo-norme.
2.5 Optimisation `0 exacte Chapitre 2. Synth`ese des travaux
de la parcimonie, qui compte le nombre de composantes non nulles dans un vecteur :
kxk0 := Card{p|xp 6= 0} . L’approximation d’un vecteur y dans un dictionnaire A sous
contrainte de parcimonie peut alors se formuler par : min
x∈RP 1
2ky − Axk2 sous la contrainte (s.c.) kxk0 ≤ K. (2.1)
De nombreux articles en traitement du signal introduisent cette formulation pour s’en d´etourner au profit d’approches sous-optimales, pour des raisons ´evidentes de coˆut cal-culatoire, le probl`eme ´etant NP-difficile [Natarajan, 1995, Bienstock, 1996]. En revanche, un argument souvent rencontr´e consid`ere que la seule fa¸con de r´esoudre le probl`eme (2.1) de mani`ere globale est de r´esoudre l’ensemble des CPK = K!(PP !−K)! probl`emes possibles de moindres carr´es `a K composantes pour en prendre la meilleure7. Ce n’est pas le cas, et les probl`emes d’optimisation `a cardinalit´e contrainte ont donn´e lieu `a de nombreux travaux en optimisation [Li et al., 2006, Shaw et al., 2008, Bertsimas et Shioda, 2009, Cui et al.,
2013, par exemple]. Un autre argument souvent avanc´e justifiant le recours, par exemple,
`
a une formulation en norme `1, se r´ef`ere aux travaux autour de l’´echantillonnage com-press´e [Eldar et Kutyniok, 2012] : sous certaines hypoth`eses imposant que les colonnes de la matrice A soient suffisamment d´ecorr´el´ees entre elles, la r´esolution d’un probl`eme en
norme `1 permet de r´esoudre (2.1). Cependant, dans la plupart des probl`emes inverses
difficiles – et c’est le cas de toutes les applications consid´er´ees dans ce manuscrit – ces conditions ne sont pas valides et les r´esultats exp´erimentaux montrent clairement la nature
sous-optimale des approches en norme `1 et des algorithmes gloutons.
J’ai commenc´e `a m’int´eresser `a l’optimisation globale du probl`eme `0 suite `a des dis-cussions men´ees avec Herv´e Carfantan (IRAP, Toulouse) et des coll`egues sp´ecialistes de
recherche op´erationnelle, Jordan Ninin (Lab-STICC, Brest) et Marcel Mongeau (ENAC,
Toulouse). Un premier travail a alors vu le jour, notamment grˆace au soutien du GdR ISIS
via un projet jeunes chercheurs (2013), o`u diff´erents probl`emes d’approximation
parcimo-nieuse sont reformul´es en programmes en nombres mixtes (MIPs, mixed integer programs).
Les MIPs sont des probl`emes d’optimisation int´egrant des contraintes d’int´egrit´e sur une partie des variables [Wolsey, 1998], qui s’av`erent particuli`erement adapt´es `a l’optimisa-tion `0 : en introduisant des variables de d´ecision binaires bp ∈ {0, 1} encodant la nullit´e
des composantes de x (bp = 1 ⇔ xp 6= 0), la norme `0 s’´ecrit comme la simple somme
PP
p=1bp, g´en´erant une contrainte lin´eaire dans le probl`eme (2.1). Nous avons notamment montr´e dans [Bourguignon et al., 2015, Bourguignon et al., 2016c], en utilisant le logiciel
commercial CPLEX pour la r´esolution de ces MIPs, que :
i) pour des probl`emes inverses parcimonieux de taille mod´er´ee mais difficiles (avec au plus une dizaine de composantes non nulles dans un dictionnaire de 200 compo-santes), l’optimum global du probl`eme (2.1) peut ˆetre calcul´e de mani`ere exacte et garantie. Le temps de calcul certes bien plus ´elev´e que les algorithmes gloutons ou
en norme `1, mais sans commune mesure avec l’´evaluation explicite des CPK
solu-tions r´ealisables. Celui-ci s’est ´egalement av´er´e fortement d´ependent de la qualit´e de l’approximation, les probl`emes `a fort niveau de bruit ´etant bien plus difficiles `a r´esoudre.
7. Dans la litt´erature issue de la communaut´e du traitement du signal, on trouve cependant l’argument de r´eduire le nombre de combinaisons dans l’article de Tropp et Wright [Tropp et Wright, 2010] : Brute force. Search through all possible support sets, possibly using cutting-plane methods to reduce the number of possibili-ties.
Chapitre 2. Synth`ese des travaux 2.5 Optimisation `0 exacte
ii) Lorsque son calcul est r´ealisable, la solution globale obtenue est meilleure que celle des algorithmes classiques en termes de localisation du support (l’identification des composantes non nulles).
Suite `a ces premiers r´esultats encourageants, j’ai alors orient´e mes recherches vers la construction d’algorithmes de r´esolution d´edi´es, reposant sur le principe de s´eparation et ´
evaluation (branch-and-bound) `a la base des solveurs MIP. L’argument principal ayant
motiv´e cette orientation r´eside en ce que les solveurs commerciaux sont d´evelopp´es pour r´esoudre des classes de probl`emes les plus g´en´erales possibles, alors que le probl`eme `0 est
au contraire un MIP tr`es particulier. Cette ligne de recherche est au cœur du projet ANR
jeunes chercheurs MIMOSA que je porte, d´emarr´e en janvier 2017, et de la th`ese en cours de Ramzi Ben Mhenni.
La m´ethode de branch-and-bound [Wolsey, 1998] repose sur la construction implicite
d’un arbre de d´ecision binaire, o`u un probl`eme est divis´e en sous-probl`emes disjoints (´etape de s´eparation). Dans notre cas, cette s´eparation consiste `a prendre une d´ecision sur une variable : est-elle nulle (bp = 0) ou non-nulle (bp = 1) ? `A chaque nœud de l’arbre correspond ainsi un sous-probl`eme, pour lequel une partie des variables binaires est fix´ee et l’autre partie reste ind´etermin´ee. L’´evaluation d’un sous-probl`eme consiste alors `a calculer, de fa¸con peu coˆuteuse, une borne inf´erieure de l’ensemble des sous-probl`emes non encore explicit´es qu’il contient. Une mani`ere classique de proc´eder est de calculer la relaxation continue de l’ensemble des variables binaires non encore d´etermin´ees : bp ∈ {0, 1} devient bp ∈ [0, 1]. Le probl`eme d’optimisation associ´e rel`eve alors de l’optimisation continue (et convexe dans notre cas). Si cette borne inf´erieure est sup´erieure `a la meilleure valeur connue de la fonction objectif (qui est donc une borne sup´erieure sur la valeur optimale),
alors il est garanti que l’optimum ne peut ˆetre obtenu dans un de ces sous-probl`emes,
qui peuvent alors ˆetre ´elimin´es des combinaisons possibles. L’algorithme explore ainsi implicitement l’ensemble des solutions et fournit le minimum global en un nombre fini d’it´erations. Dans le pire des cas (si aucune ´elimination n’est r´ealis´ee), sa complexit´e est celle d’une recherche combinatoire exhaustive.
Nous avons propos´e des strat´egies de branchement et d’exploration (´etape de s´eparation) sp´ecifiquement construites pour ce probl`eme, en grande partie inspir´ees de la construc-tion des algorithmes gloutons d’estimaconstruc-tion parcimonieuse [Tropp et Wright, 2010]. Par ailleurs, nous avons montr´e que les probl`emes de relaxation continue mis en jeu lors de l’´etape d’´evaluation sont ´equivalents `a des probl`emes d’optimisation convexe faisant
in-tervenir un terme en norme `1 op´erant sur une partie des variables et des contraintes
suppl´ementaires de borne. Nous avons alors propos´e plusieurs algorithmes d’optimisation d´edi´es `a ce probl`eme, reposant sur le principe des m´ethodes homotopiques [Donoho, 2006] ou sur celui des ensembles actifs [Osborne et al., 2000, Lee et al., 2007]. Nous avons montr´e dans [Ben Mhenni et al., 2019a, Ben Mhenni et al., 2019b] que ces approches d´epassent
lar-gement les performances obtenues par l’utilisation d’un solveur MIP g´en´erique (CPLEX),
pourtant r´eput´e comme l’un des plus puissants.
Ma motivation initiale pour investir ce domaine de recherche ´etait essentiellement
m´ethodologique : dans quelle mesure peut-on r´esoudre des probl`emes `0 de mani`ere exacte, avec des algorithmes d´edi´es ? Au fil du d´eroulement de ces travaux, je me suis ´egalement
rendu compte que, sur des probl`emes particuliers, l’utilisation de reformulations MIP
permettait de formuler de mani`ere exacte d’autres contraintes qui sont habituellement
difficiles `a prendre en compte. C’est notamment le cas du d´em´elange spectral, o`u l’on
peut chercher `a imposer, en plus de la parcimonie au sens `0 , des contraintes de