La r´egularisation de Tikhonov est une m´ethode tr`es g´en´erale pour la r´egularisation de probl`emes inverses mal pos´es lin´eaires et non-lin´eaires dans les espaces de Hilbert et Banach mais ici on ne consid`ere que le cas lin´eaire. La m´ethode consiste `a poser
Rαyδ:= arg inf
z {kT z − yδ
k2+ αkzk2
}. (6.4)
Le terme de moindres carr´ees est ainsi p´enalis´e par la normekzk2 pour am´eliorer la stabilit´e de la solution. Le
param`etre de r´egularisation α d´etermine le compromis entre la pr´ecision et la stabilit´e:
• La valeur de α d´epend du niveau d’erreur δ dans les donn´ees: quand les donn´ees sont peu fiables, α doit ˆetre grand.
• Pour tout α > 0 le probl`eme r´egularis´e est bien pos´e.
• Pour tout α > 0 il y a une perte de pr´ecision par rapport `a la solution moindres carr´ees. • Le param`etre α doit ˆetre choisi tel que lorsque δ → 0, la solution r´egularis´ee converge vers T†y.
En ´ecrivant la condition du premier ordre pour le probl`eme de minimisation (6.4), on obtient directement xδα≡ Rαyδ= (T∗T + αI)−1T∗yδ. (6.5) Le r´esultat suivant montre que l’approche de Tikhonov permet effectivement de r´egulariser un probl`eme mal pos´e dans le sens de la d´efinition donn´ee plus haut. Pour simplifier l’expos´e, nous supposons que le probl`eme inverse admet une unique solution pour la donn´ee non-bruit´ee y (mais pas n´ecessairement pour la donn´ee bruit´ee yδ) et nous nous concentrons sur la question de continuit´e.
Th´eor`eme 5. Supposons que y est tel qu’il existe une unique solution x† du probl`eme T x = y.
(i) Pour tout α > 0, l’op´erateur Rα de la r´egularisation de Tikhonov est un op´erateur lin´eaire continu. (ii) Si α(δ) est choisi tel que
lim δ↓0α(δ) = 0 et lim δ↓0 δ2 α(δ) = 0, (6.6) alors lim δ↓0kxδ α(δ)− x†k = 0.
(iii) Si de plus x† ∈ R(T∗T ) alors la vitesse de convergence asymptotique maximale est atteinte pour α(δ) = Cδ2/3, dans quel cas on a
kxδα(δ)− x†k = O(δ2/3).
Remarque 6. Pour l’op´erateur d’int´egration d´efini dans l’exemple 8, la condition x† ∈ T∗T est ´equivalente `a dire que les donn´ees non-bruit´ees y sont 3 fois diff´erentiables, donc, c’est la mˆeme hypoth`ese qu’on a impos´e dans l’exemple 7, et ceci n’est pas surprenant qu’on obtient la mˆeme vitesse de convergence δ2/3.
Preuve. (i) Pour tout z∈ Y, on a
kT∗zk2=k(T∗T + αI)(T∗T + αI)−1T∗zk2= α2k(T∗T + αI)−1T∗zk2
+kT∗T (T∗T + αI)−1T∗zk2+ 2αkT (T∗T + αI)−1T∗zk2, (6.7) d’o`ukRαzk ≤ 1
αkT∗zk, ce qui d´emontr´e la continuit´e de Rα(puisque T est born´e). (ii) Par l’in´egalit´e du triangle,
kxδα− x†k ≤ kxδα− xαk + kxα− x†k, (6.8) o`u xα = (T∗T + αI)−1T∗y. Par analogie aux probl`emes d’estimation en statistique, le premier terme dans la partie droite peut ˆetre vu comme ’variance’ et le deuxi`eme comme ’biais’. On verra que le premier terme est d´ecroissant en δ et croissant en α et que le deuxi`eme terme est d´ecroissant en α. La valeur optimale de α permettra ainsi d’atteindre un compromis entre ces deux termes.
Pour estimer le premier terme on utilisera le fait que pour toute fonction continue f ,
f (T∗T )T∗= T∗f (T T∗). (6.9) Cette ´egalit´e est ´evidente pour les fonctions de type xn et donc pour les polynˆomes, et on peut l’´etendre `a toute fonction continue en l’approchant par une suite de polynˆomes. En utilisant cette ´egalit´e pour la fonction f (x) = 1
x+α,
kxδ
α− xαk2=kT∗(T T∗+ αI)−1(yδ − y)k2
=hT T∗(T T∗+ αI)−1(yδ− y), (T T∗+ αI)−1(yδ− y)i ≤ h(yδ− y), (T T∗+ αI)−1(yδ− y)i
≤ δ2
k(T T∗+ αI)−1k ≤ δ 2 α,
parce que k(T T∗ + αI)−1k ≤ α1 par le mˆeme argument qui a ´et´e utilis´e dans la premi`ere partie de cette d´emonstration. Ainsi, sous la condition (6.6), le premier terme dans (6.8) converge vers z´ero.
Le deuxi`eme terme dans (6.8) peut ˆetre r´e´ecrit comme
kxα− x†k = k(T∗T + αI)−1T∗y− (T∗T + αI)−1(T∗T + αI)x†k
=kα(T∗T + αI)−1x†k (6.10) Pour d´emontrer sa convergence vers 0, on supposera pour simplifier l’expos´e que l’op´erateur T∗T a un spectre discret{λi}∞
i=1, mais les mˆemes r´esultats peuvent ˆetre obtenu pour les op´erateurs dont le spectre est continu.1 Comme pour tout op´erateur auto-adjoint dans un espace de Hilbert, les vecteurs propres {vi}∞
i=1 associ´es aux valeurs propres {λi}∞
i=1 forment une base orthonorm´ee deX . En plus T∗T est d´efini positif, ce qui implique λi≥ 0 pour tout i, mais comme on a suppos´e que la solution x† est unique,N (T∗T ) ={0} et donc λi> 0 pour tout i. Soit{xi}∞
i=1 la d´ecomposition de x† dans la base{vi}∞
i=1. En utilisant (6.10), on a kxα− x†k2= ∞ X i=1 α2x2 i (λi+ α)2. PuisqueP∞ i=1x2
i =kx†k2<∞, pour tout ε > 0, on peut trouver n ∈ N tel que ∞ X i=n α2x2 i (λi+ α)2 < ∞ X i=n x2i ≤ ε2. D’un autre cˆot´e, pour tout i,
α2x2 i (λi+ α)2 <α 2x2 i λ2 i ,
et on peut donc trouver α0 tel que pour tout α < α0, n−1 X i=1 α2x2 i (λi+ α)2 < ε 2.
Ceci montre la convergence du deuxi`eme terme dans (6.8) vers z´ero sous la condition (6.6). (iii) Soit x†= T∗T z pour un z∈ X . Alors en utilisant (6.10), on a
kxα− x†k = αk(T∗T + αI)−1T∗T zk ≤ αkzk, d’o`u
kxδ
α− x†k ≤ √δα+ Cα.
pour une constante C > 0. On en d´eduit imm´ediatement la valeur asymptotiquement optimale de α(δ) ainsi que la vitesse de convergence associ´ee.
Exemple 11 (R´egularisation de Tikhonov pour l’op´erateur de diff´erentiation). Pour r´egulariser le probl`eme de diff´erentiation d’une fonction g∈ L2([−1, 1]) suivant l’approche de Tikhonov, on devrait r´esoudre le probl`eme suivant:
g = arg inf
f ∈L2([−1,1]){kT f − gk2
2+ αkfk2 2},
o`u T est l’op´erateur d’int´egration d´efini dans l’exemple 8. Il est plus simple de rechercher la fonction u = T f au lieu de f et minimiser ainsi
J(u) ={ku − gk22+ αku′k22}. sous la contrainte u(−1) = 0. La condition de 1er ordre pour ce probl`eme est
dJ(u + εh)
dε |ε=0= 0 pour toute fonction test h avec h(−1) = 0. Ceci implique
Z 1 −1 h(x)(u(x)− g(x))dx − Z 1 −1 h(x)u′′(x)dx + αh(1)u′(1) = 0. La fonction u est donc solution de
αu′′(x)− u(x) = −g(x) (6.11)
avec conditions aux bords u(−1) = 0 et u′(1) = 0. La forme g´en´erale de la solution de (6.11) est u(x) = u0(x) + Ae−x/√α+ Bex/√α,
o`u u0 est une solution particuli`ere de (6.11). On montre par diff´erentiation qu’une forme possible de u0 est u0(x) = Z 1 −1 g(z) 2√ αe −|x−z|√α dz. En imposant les conditions aux bords, on trouve
u(x) = Z 1 −1 g(z) √αsinh x+z√ α + e2/√ αsinhx−z√ α e2/√α + e−2/√α + Z 1 −1 g(z) 2√αe−|x−z|√α dz. Finalement, en revenant `a f = u′, on a f (x) = Z 1 −1 g(z) α coshx+z√ α + e2/√α coshx−z√ α e2/√α + e−2/√α + Z 1 −1 g(z) α e −|x−z|√α sign(x− z)dz.
Le premier terme est dˆu aux conditions aux bords; il disparaˆıtrait si au lieu de [−1, 1] on travaillait sur un intervalle infini. Le terme important est le deuxi`eme terme: il montre que la r´egularisation de Tikhonov pour l’op´erateur de diff´erentiation consiste `a lisser la fonction `a d´eriver avec un noyau exponentiel et appliquer l’op´erateur au r´esultat.
Exercice 27. On se place dans le cadre de l’exercice 26.
1. Calculer la solution de ce probl`eme pour la donn´ee Eδ en utilisant la r´egularisation de Tikhonov avec param`etre de r´egularisation α donn´ee par
Xδ
α= arg inf
X{kAX − Eδ
k2+ αkXk2 } pour un α > 0 fix´e, que peut-on dire sur la stabilit´e de calcul lorsque ε→ 0. 2. Supposons que α(δ) est choisi tel que α(δ)→ 0 quand δ → 0. Montrer que Xδ
α(δ)→ X† lorsque δ→ 0, o`u X† est la solution de norme minimale de (B.1). Pourquoi, dans ce cas on n’a pas besoin d’imposer une condition suppl´ementaire (voir le cours) sur α(δ) pour avoir la convergence?
Choix du param`etre de r´egularisation Les m´ethodes a priori utilisent l’information sur le niveau d’erreur δ et sur l’op´erateur T ou sur la (r´egularit´e de) solution. Par exemple, si on sait que x† ∈ R(T∗T ), on peut poser α = δ23 (m´ethode asymptotiquement optimal) .
Les m´ethodes a posteriori: utilisent aussi les donn´ees yδ. La m´ethode a posteriori la plus utilis´ee est connue sous le nom du principe de discr´epance (divergence). La fonction de discr´epance d’un probl`eme mal pos´e pour une donn´ee yδ fix´ee est d´efinie par
ε(α) =kT xδ α− yδ
k, (6.12)
o`u xδ
α est donn´e par (6.5). Le principe consiste alors `a choisir α maximal pour la discr´epance est encore acceptable, i.e., l´eg`erement sup´erieure `a l’erreur de donn´ees.
αopt= max{α : ε(α) = cδ},
o`u c > 1 est une constante proche de 1. On est oblig´e de prendre une constante strictement sup´erieure `a 1 pour s’assurer que α est toujours positif. Le r´esultat suivant montre que cette proc´edure est bien d´efinie (si δ≥ kyδk il faut prendre α =∞ ce qui correspond `a xδ
α= 0).
Proposition 17. La fonction de discr´epance (6.12) est une fonction croissante continue qui satisfait lim
α↓0ε(α)≤ δ lim
α↑∞ε(α) =kyδ k
Preuve. En utilisant l’identit´e (6.9), on obtient facilement
ε(α) = αk(T T∗+ αI)−1yδk, d’o`u la continuit´e et l’´egalit´e limα↑∞ε(α) =kyδ
k. D’un autre cˆot´e,
ε(α)≤ αk(T T∗+ αI)−1(y− yδ)k + kT xα− yk.
La norme du premier terme est inf´erieure `a δ, et dans la preuve du th´eor`eme 5 nous avons vu quekxα− x†k → 0 lorsque α→ 0 d’o`u kT xα− yk → 0.
La r´egularisation de Tikhonov avec le param`etre α choisi selon le principe de discr´epance converge toujours et permet d’atteindre la vitesse optimale si x†satisfait des conditions de r´egularit´e n´ecessaires, e.g. si x†∈ R(T∗T ) alors la vitesse est la mˆeme que dans th´eor`eme 5. Le grand avantage du principe de discr´epance est que la connaissance de la r´egularit´e de x† n’est pas n´ecessaire pour le choix de param`etre α.