Méthodes de gradient

(1)

Méthodes de gradient Noémie Orvain et

Thomas Geslin

Introduction Méthode de gradient à pas constant Méthode de gradient à pas optimal

Méthodes de gradient

Noémie Orvain et Thomas Geslin

30 mars 2012

(2)

Thomas Geslin

1 Introduction

2 Méthode de gradient à pas constant

3 Méthode de gradient à pas optimal

(3)

Thomas Geslin

1 Introduction

2 Méthode de gradient à pas constant

3 Méthode de gradient à pas optimal

(4)

Thomas Geslin

1 Introduction

2 Méthode de gradient à pas constant

3 Méthode de gradient à pas optimal

(5)

Thomas Geslin

Problème : Résoudre Ax = b

où : A ∈ M _n ( R ) , b ∈ R ⁿ , n ∈ N.

(6)

Thomas Geslin

Méthodes itératives : On cherche : ( x _k ) _k ∈ N −→ x

avec x solution de Ax = b.

(7)

Thomas Geslin

Méthodes variationnelles : f : x 7→ ¹ ₂ h Ax | x i − h b | x i .

On va prouver que :

∇ f ( x ) = ∂ f

∂ x _k ( x )

k ∈{ 1 ,..., n }

= Ax − b

(8)

Thomas Geslin

On aura alors :

∇ f ( x ) = 0 ⇔ Ax = b.

(9)

Thomas Geslin

f ( x ) = 1

2 h Ax | x i − h b | x i

= 1 2

n

X

i , j = 1

a i , j x i x j −

n

X

i = 1

b i x i

= 1 2

X n i = 1

a _i , i x _i ² + X

i < j

a _i , j x _i x _j − X n

i = 1

b _i x _i

(10)

Thomas Geslin

f ( x ) = 1

2 h Ax | x i − h b | x i

= 1 2

n

X

i , j = 1

a i , j x i x j −

n

X

i = 1

b i x i

= 1 2

X n i = 1

a _i , i x _i ² + X

i < j

a _i , j x _i x _j − X n

i = 1

b _i x _i

(11)

Thomas Geslin

f ( x ) = 1

2 h Ax | x i − h b | x i

= 1 2

n

X

i , j = 1

a i , j x i x j −

n

X

i = 1

b i x i

= 1 2

X n i = 1

a _i , i x _i ² + X

i < j

a _i , j x _i x _j − X n

i = 1

b _i x _i

(12)

Thomas Geslin

f ( x ) = 1 2

n

X

i = 1

a i,i x _i ² + X

i < j

a i ,j x i x j −

n

X

i = 1

b i x i

d'où :

∂ f

∂ x _k ( x ) = a _k , k x _k + X

i < k

a _i , k x i + X

k < j

a _k , j

|{z}

= a

j,k

x j − b _k

= a _k , k x _k + X

i 6= k

a _k , i x i − b _k

= X n

i = 1

a _k , i x _i − b _k

= ( Ax ) _k − ( b ) _k

(13)

Thomas Geslin

f ( x ) = 1 2

n

X

i = 1

a i,i x _i ² + X

i < j

a i ,j x i x j −

n

X

i = 1

b i x i

d'où :

∂ f

∂ x _k ( x ) = a _k , k x _k + X

i < k

a _i , k x i + X

k < j

a _k , j

|{z}

= a

j,k

x j − b _k

= a _k , k x _k + X

i 6= k

a _k , i x i − b _k

= X n

i = 1

a _k , i x _i − b _k

= ( Ax ) _k − ( b ) _k

(14)

Thomas Geslin

f ( x ) = 1 2

n

X

i = 1

a i,i x _i ² + X

i < j

a i ,j x i x j −

n

X

i = 1

b i x i

d'où :

∂ f

∂ x _k ( x ) = a _k , k x _k + X

i < k

a _i , k x i + X

k < j

a _k , j

|{z}

= a

j,k

x j − b _k

= a _k , k x _k + X

i 6= k

a _k , i x i − b _k

= X n

i = 1

a _k , i x _i − b _k

= ( Ax ) _k − ( b ) _k

(15)

Thomas Geslin

f ( x ) = 1 2

n

X

i = 1

a i,i x _i ² + X

i < j

a i ,j x i x j −

n

X

i = 1

b i x i

d'où :

∂ f

∂ x _k ( x ) = a _k , k x _k + X

i < k

a _i , k x i + X

k < j

a _k , j

|{z}

= a

j,k

x j − b _k

= a _k , k x _k + X

i 6= k

a _k , i x i − b _k

= X n

i = 1

a _k , i x _i − b _k

= ( Ax ) _k − ( b ) _k

(16)

Thomas Geslin

∇ f ( x ) = 0 ?

(17)

Thomas Geslin

Proposition (admise) :

∀α ∈

0 , 2 ρ(A)

, f ( x − α∇ f ( x )) < f ( x )

(18)

Thomas Geslin

Méthode de gradient à pas constant

(19)

(20)

Thomas Geslin

On prend x ₀ ∈ R ⁿ , α ∈ i

0 , _ρ( ² _A ₎ h . On pose :

∀ k ∈ N , x _k + 1 = x _k − α∇ f ( x _k )

(21)

Thomas Geslin

Théorème :

Quel que soit le x ₀ de départ, la suite ( x _k ) _k ∈ N converge vers x ∈ R ⁿ vériant Ax = b.

Démonstration.

x _k+1 = x _k − α∇ f (x _k ) = x _k − α(Ax _k − b)

Méthode itérative de Richardson.

(22)

Thomas Geslin

Théorème :

Quel que soit le x ₀ de départ, la suite ( x _k ) _k ∈ N converge vers x ∈ R ⁿ vériant Ax = b.

Démonstration.

x _k+1 = x _k − α∇ f (x _k ) = x _k − α(Ax _k − b)

Méthode itérative de Richardson.

(23)

Thomas Geslin

Méthode de gradient à pas optimal

(24)

Thomas Geslin

On prend x 0 ∈ R ⁿ .

On pose ∀ k ∈ N , x _k + 1 = x _k − α _k ∇ f ( x _k )

avec α _k tel que : d

d α ( f ( x _k − α∇ f ( x _k ))(α _k ) = 0

(25)

Thomas Geslin

On prend x 0 ∈ R ⁿ .

On pose ∀ k ∈ N , x _k + 1 = x _k − α _k ∇ f ( x _k ) avec α _k tel que :

Méthodes de gradient