M´ethodes it´eratives

logo

M´ ethodes it´ eratives

MR. BEY Mohamed-Amine

Module Analyse Num´erique (MI2E) Fiche : M´ethodes it´eratives 2013/2014 1 / 1

Jacobi

C = D et α = 1

x^k+1 = x^k + D⁻¹(b − Ax^k) Dx^k+1 = b − (A − D)x^k Pour i = 1, · · · ,n:

A_i,ix_i^k+1 = b_i − X

j6=i

A_i,jx_j^k

Gauss Seidel A = D − E − F

C = D − E et α = 1

x^k+1 = x^k + (D − E)⁻¹(b − Ax^k) (D − E)x^k+1 = b + Fx^k

Pour i = 1, · · · ,n:

A_i,ix_i^k+1 = b_i − X

j<i

A_i,jx_j^k+1 − X

j>i

A_i,jx_j^k

SOR A = D − E − F

Pour i = 1, · · · ,n:

A_i,ix˜_i^k+1 = b_i − P

j<i A_i,jx_j^k+1 − P

j>i A_i,jx_j^k x_i^k+1 = ωx˜_i^k+1 + (1 − ω)x_i^k

V´erification de C = ^D_ω − E.

A_i,ix_i^k+1

ω − (1 − ω)

ω x_i^k

= b_i − X

j<i

A_i,jx_j^k+1 − X

j>i

A_i,jx_j^k

(D

ω − E)x^k+1 = b −

−F − (1 − ω)

ω D

x^k = (D

ω − E)x^k + (b − Ax^k)

Convergence de Gauss Seidel

Si A est une matrice SDP, alors ρ

I − (D − E)⁻¹A

< 1 et la m´ethode de Gauss Seidel converge

On va montrer que pour tous A SDP et M inversible telle que

M^t + M − A

SDP alors

ρ(I − M⁻¹A) < 1

Preuve: on consid`ere la norme sur Rⁿ kxk²_⋆ = (Ax,x) et on va montrer que kI − M⁻¹Ak²_⋆ = sup

x6=0

k(I − M⁻¹A)xk²_⋆

kxk²_⋆ < 1 Soit x 6= 0, on d´efinit y 6= 0 tel que Ax = My

k(I − M⁻¹A)xk²_⋆ = (A(x − y),(x − y))

= kxk²_⋆ + (Ay, y) − 2(Ax,y)

= kxk²_⋆ + (Ay, y) − 2(My, y)

= kxk²_⋆ − ((M^t + M − A)y,y) < kxk²_⋆ On conclut pour Gauss Seidel avec

M^t + M − A = D − E + D − F − D + E + F = D > 0

M´ ethode de Richardson

Soit A ∈ Mn inversible et b ∈ Rⁿ. Soit x ∈ Rⁿ solution de Ax = b.

M´ethode de Richardson: soit α ∈ R, on construit une suite de solution x^k de la forme

x^k+1 = x^k + α(b − Ax^k).

On a donc

(x^k+1 − x) = (I − αA)(x^k − x), (x^k+1 − x) = (I − αA)^k(x¹ − x),

B = (I − αA)

Convergence: ssi ρ(B) < 1

Taux de convergence: kB^kk^1/k → ρ(I − αA)

M´ ethode de Richardon pour les matrices SDP

Soit A ∈ Mn SDP (Sym´etrique D´efinie Positive) et λ_i > 0, i = 1,· · · , n ses valeurs propres par ordre croissant

ρ(I − αA) = max

|1 − αλ₁|,|1 − αλ_n| α_opt = argmin_α∈Rmax

|1 − αλ₁|, |1 − αλ_n| α_opt = 2

λ₁ + λ_n, ρ(I − α_optA) = λ_n − λ₁

λ₁ + λ_n = κ − 1

κ + 1 < 1 Probl`eme: on ne connait pas les valeurs propres de A

Voir Exercice: M´ethode de Richardson `a pas variable

M´ ethode de Richardon pour les matrices SDP

Nombre d’it´erations pour une pr´ecision fix´ee:

kx^k+1 − xk₂ ≤

ρ(I − αoptA)^k

kx¹ − xk₂, kx^k+1 − xk₂ ≤ κ − 1

κ + 1 ^k

kx¹ − xk₂,

On cherche le nb d’it´eration k pour atteindre une pr´ecision ǫ, ie κ − 1

κ + 1 ^k

≤ ǫ,

k ≥ ln(¹_ǫ) ln(₁¹⁺₋^κ11 κ

) Pour κ grand:

k >

∼ κ

2 ln(1 ǫ )

M´ ethode de Richardon ` a pas variable pour les matrices SDP

Soit A ∈ Mn SDP (Sym´etrique D´efinie Positive).

On pose e^k = x − x^k, r^k = Ae^k = b − Ax^k, et on consid`ere l’algorithme it´eratif: x¹ donn´e et pour k = 1,· · ·





α^k = (r^k,r^k) (Ar^k,r^k), x^k+1 = x^k + α^k r^k. On montre que

α^k = Argmin_α∈R(Ae^k+1, e^k+1) = α²(Ar^k,r^k) − 2α(r^k, r^k) + (Ae^k,e^k), et

(Ae^k+1, e^k+1) =

1 − (r^k, r^k)²

(Ar^k,r^k)(A⁻¹r^k,r^k)

(Ae^k, e^k),

d’o`u

(Ae^k+1, e^k+1) ≤

1 − 1

Cond₂(A)

(Ae^k,e^k)

M´ ethode de Richardon ` a pas variable pour les matrices SDP: algorithme

Ax = b avec A matrice SDP

Choix de la pr´ecision ǫ sur le r´esidu relatif

Initialisation: x¹,r¹ = b − Ax¹,nr = nr⁰ = kr¹k It´erer tant que _nr^nr0 ≥ ǫ

p^k = Ar^k α^k = ^(r

k,r^k) (p^k,r^k)

x^k+1 = x^k + α^kr^k r^k+1 = r^k − α^kp^k nr = kr^k+1k

M´ ethode de Richardon pr´ econditionn´ ee

Pr´econditionnement: matrice C ∈ Mn inversible

x^k+1 = x^k + αC⁻¹(b − Ax^k) (x^k+1 − x) = (I − αC⁻¹A)(x^k − x)

B = (I − αC⁻¹A) On cherche un pr´econditionnement C tel que

C ∼ α A ie ρ(I − αC⁻¹A) << 1

le syst`eme Cy = r est peu coˆuteux `a r´esoudre

Exemple des matrices et pr´ econditionnements SDP

A, C ∈ Mn sym´etriques d´efinies positives.

Soient y = C^1/2x, y^k = C^1/2x^k, c = C^−1/2b on a

C^−1/2AC^−1/2

y = c, La matrice C^−1/2AC^−1/2 est SDP, et

y^k+1 = y^k + α

c − C^−1/2AC^−1/2y^k

Convergence ssi ρ(I − αC^−1/2AC^−1/2) < 1

α_opt = 2

λ_min(C^−1/2AC^−1/2) + λ_max(C^−1/2AC^−1/2)

ρ(I − αoptC^−1/2AC^−1/2) = λmax(C^−1/2AC^−1/2) − λmin(C^−1/2AC^−1/2) λmin(C^−1/2AC^−1/2) + λmax(C^−1/2AC^−1/2)

Exemple des matrices et pr´ econditionnements SDP

A, C ∈ Mn sym´etriques d´efinies positives.

Soient y = C^1/2x, y^k = C^1/2x^k, c = C^−1/2b on a

C^−1/2AC^−1/2

y = c, La matrice C^−1/2AC^−1/2 est SDP, et

y^k+1 = y^k + α

c − C^−1/2AC^−1/2y^k

Convergence ssi ρ(I − αC^−1/2AC^−1/2) < 1

α_opt = 2

λ_min(C^−1/2AC^−1/2) + λ_max(C^−1/2AC^−1/2)

ρ(I − αoptC^−1/2AC^−1/2) = λmax(C^−1/2AC^−1/2) − λmin(C^−1/2AC^−1/2) λmin(C^−1/2AC^−1/2) + λmax(C^−1/2AC^−1/2)

M´ ethode de Richardon pr´ econditionn´ ee ` a pas variable pour les matrices et pr´ econditionnements SDP: algorithme

Soient A et C SDP et le syst`eme Ax = b.

On applique l’algorithme de Richardon `a pas variable au syst`eme C^−1/2AC^−1/2y = C^−1/2b.

Il se formule comme pr´ec´edemment avec la matrice Ae = C^−1/2AC^−1/2, le

second membre c = C^−1/2b, les it´er´es y^k = C^1/2x^k et les r´esidus ˜r^k = C^−1/2r^k. En repassant `a A, x, r on obtient:

Choix de la pr´ecision ǫ sur le r´esidu relatif

Initialisation: x¹,r¹ = b − Ax¹,nr = nr⁰ = kr¹k It´erer tant que _nr^nr0 ≥ ǫ

q^k = C⁻¹r^k p^k = Aq^k α^k = ^(q

k,r^k) (p^k,q^k)

x^k+1 = x^k + α^kq^k r^k+1 = r^k − α^kp^k nr = kr^k+1k

Exemples de pr´ econditionnements

A = D − E − F

avec D diagonale de A (suppos´ee inversible), D − E = tril(A), D − F = triu(A) Jacobi:

C = D Gauss Seidel

C = D − E ou C = D − F SOR (Successive over relaxation) ω ∈ (0, 2)

C = D

ω − E

SSOR (Symmetric Successive over relaxation) ω ∈ (0, 2) C = D

ω − ED

ω − F