QUELQUES RAPPELS DE CALCUL MATRICIEL
Benoît MULKAY
Faculté de Sciences Economiques UNIVERSITE DE MONTPELLIER 1
Septembre 2008
1. Définitions et Axiomes
1.1. Définition d’une matrice
Une matrice est un tableau rectangulaire de p lignes et de q colonnes avec des nombre réels ℜ
ij ∈
a à la ième ligne et la jème colonne tels que i=1,K,p et j=1,K,q. Cette matrice d’ordre ou de genre p×q. Elle est notée :
[ ]
=
=
= ×
pq p
p
ij q q
q ij p
a a
a
a a a
a
a a
a
a A A
L L
M O M
M
M O
M M
L L
L L
2 1
2 22
21
1 12
11
.
1.2. Transposée d’une matrice
[ ]
ajiA′= est la transposée de la matrice A. Elle est d’ordre q×p.
1.3. Multiplication par un scalaire
Si λ est un scalaire, λA=
[ ]
λaij .1.4. Addition de deux matrices
Si B=
[ ]
bij est aussi une matrice d’ordre p×q : A+B=[
aij +bij]
1.5. Produit de deux matrices
Le produit matriciel est défini si B est aussi une matrice avec q lignes et r colonnes :
[ ]
cijC
AB= = est d’ordre p×r avec :
∑
== q
k ki ik
ij a b
c
1
.
1.6. Associativité du produit matriciel
( )
ABC=A( )
BC =ABC.1.7. Non-commutativité du produit matriciel
L’existence du produit matriciel AB n’implique pas nécessairement l’existence du produit matriciel BA. En général, le produit matriciel n’est pas commutatif : AB≠BA.
1.8. Distributivité
( )
(
B C)
AB AC.,A
BC AC C B A
+
= +
+
= +
1.9. Quelques règles de transposition
( ( ) )
( )
., ,
A B AB
B A B A
A A
′
= ′
′ + ′
= ′ + ′
′ =
′
1.10. Produit (scalaire) d’un vecteur
Si x est un vecteur-colonne n×1, alors x′ est un vecteur-ligne 1×n, et le produit scalaire de ce vecteur est la somme des carrés de ses composantes :
∑
=′ = n
i
xi
x x
1 2
1.11. Produit de Hadamard
Si les matrices A et B sont de même ordre p×q, le produit de Hadamard est un produit élément-par-élément des deux matrices : C=AoB, tel que :
ij.
ij
ij a b
c =
1.12. Matrice nulle
Si tous les éléments de la matrice A sont nuls : aij =0, pour tout i et j, on écrira : A=
0
.1.13. Orthogonalité
2 vecteurs
( )
n×1 x et y seront dits orthogonaux si et seulement si :.
=0
= ′
′y yx x
2 matrices compatibles A et B seront dits orthogonales si et seulement si :
0
.= AB
1.14. Norme d’un vecteur
La norme d’un vecteur x
( )
n×1 est définie par :.
2 1
1 2
=
= ′
∑
= n
i
xi
x x x
On peut prouver que : x+y ≤ x + y.
1.15. Rang d’une matrice
Le rang d’une matrice A, noté r(A), est le nombre minimum de lignes ou de colonnes linéairement indépendantes.
1.16. Propriétés du rang d’une matrice
Si r
( )
A = p (le nombre de lignes de A), on dira que A est de plein-rang (lignes). Si r( )
A =q(le nombre de colonnes de A), on dira que A est de plein-rang (colonnes).
1.17. Rang d’un produit matriciel
( )
AB min{
r( ) ( )
A,r B}
.r ≤
2. Matrices Carrées
2.1. Définition d’une matrice carrée
Une matrice A est dite carrée si le nombre de ligne est égal au nombre de colonnes : p=q.
2.2. Trace d’une matrice carrée
La trace d’une matrice carrée A, notée tr
( )
A , est la somme des éléments sur sa diagonale principale :( )
.tr
1
∑
=
= p
i
aii
AB
2.3. Propriété de la trace d’une matrice
( ) ( ) ( )
( ) ( )
( )
tr( )
.tr
, tr tr
, tr tr tr
A A
A A
B A B
A
′ = λ
= λ
+
= +
2.4. Propriété de circularité de la trace
Si AB et BA sont des matrices carrées (pas nécessairement du même ordre), alors :
( ) ( )
tr .tr AB = BA Si les produits matriciels ABC, CAB et BCA existent, alors :
( ) ( ) ( )
tr tr .tr ABC = CAB = BCA
2.5. Propriété de la trace d’une matrice (suite)
( ) ( )
tr .tr
1 1
∑∑
2= =
′ =
′ = p
i p
j
aij
A A A A
2.6. Matrice diagonale
Si aij =0, pour tout i≠ j, la matrice est dite diagonale et on écrira :
( )
=
=
pp pp
a a
a a
a a A
L M O M M
L L K
0 0
0 0
0 0
, , ,
diag 22
11
22 11
2.7. Matrice identité
La matrice identité est une matrice carrée d’ordre p, notée Ip, et est telle que :
( )
.1 0
0
0 1
0
0 0
1 1 , , 1 , 1 diag
=
=
L M O M M
L L
p K I
2.8. Neutre pour la multiplication
La matrice identité est le neutre pour la multiplication : AIp =IpA=A.
2.9. Autres matrices spéciales
On considère aussi le vecteur unitaire de dimension p×1 comportant uniquement des 1 :
. 1 1 1
= M jp
De même, la matrice unitaire carrée d’ordre p : Jp = jpjp′ est composée entièrement de 1.
Notez que r
( )
Jp =1. Attention à ne pas confondre Jp = jpj′p avec le produit scalaire : .p j j′p p =
On peut aussi définir le vecteur indicatrice p×1 entièrement composé de 0, sauf un 1 à la position n :
.
0 1 0
= M M en
2.10. Déterminant d’une matrice
Si A est une matrice carrée d’ordre p, on définira le déterminant de la matrice A comme :
( ) ∑ ( )
=
− +
=
= p
i
ij ij j
i a A
A A
1
1 det
où Aij est le (i,j)ème mineur de la matrice A : c’est-à-dire le déterminant de la matrice
( ) ( )
p−1× p−1 formée en éliminant la ième ligne et la jème colonne de A.2.11. Matrice adjointe
La matrice adjointe de A, notée adj
( )
A , est la transposée de la matrice dont le (i,j)ème élément est( )
−1i+j fois le mineur A . ij2.12. Propriétés du déterminant
scalaire.
un est si
, ordre d' carrée matrice une
aussi est si . ,
λ λ
= λ
=
′ =
A A
p B
B A AB
A A
p
2.13. Singularité d’une matrice
Si le déterminant de A est nul : A=0, la matrice A sera dite singulière. Dès lors : r
( )
A < p.2.14. Non-singularité d’une matrice
En revanche, si le déterminant de A est non-nul : A ≠0, la matrice A sera dite non-singulière ou régulière. Dès lors : r
( )
A = p.2.15. Inverse d’une matrice carrée
Si A est une matrice carrée non-singulière, la matrice inverse de A, noté A , existe et est telle −1 que :
1 .
1
Ip
A A AA− = − =
On dira alors que A est inversible.
2.16. Inverse et matrice adjointe
( )
A A−1=adj A .
2.17. Propriétés de l’inverse d’une matrice
( ) ( )
1( )
, 1 .1 1
= ′
′
=
− −
− −
A A
A
A .
Les éléments de A sont continus en A, sauf au point où −1 A=0.
2.18. Inverse d’un produit matriciel
( )
AB −1 =B−1A−1 si A ≠0 et B ≠0.2.19. Déterminant de l’inverse d’une matrice
0 A si
1 = −1 ≠
− A
A .
2.20. Propriété du rang d’une matrice
( ) ( )
AB =r A si B ≠0.r
2.21. Inverse d’une somme de matrice
Si H =A+BDC avec A et D des matrices carrées inversibles, alors :
( )
( )
(
1 1)
1 11
1 1 1 1
1
1 1 1 1
1 1
− −
−
−
−
− −
−
−
−
− −
−
−
−
−
− +
=
− +
=
+
−
=
A C B CA D
B A I
CA B CA D
B I A
CA B CA D
B A A H
2.22. Valeurs propres (eigenvalues)
Les p valeurs propres (eigenvalues ou racines caractéristiques) d’une matrice carrée A d’ordre p sont les racines du polynôme, notées λ1,λ2,K,λp :
. 0
1
= λ α
= λ
−
∑
= p
i i i
Ip
A
Les valeurs propres d’une matrice carrée quelconque peuvent être complexes.
2.23. Propriétés des valeurs propres
( ) ( ) ∏
∑
=
=
λ
= λ
=
p
i i p
i i
A A
1 1
det tr
Le nombre de valeurs propres λi non nulles de A est égal au rang de A : r( A . Les racines de )
=0 λ
− B
A sont les valeurs propres de la matrice B−1A (et aussi de la matrice AB quand −1
≠0 B ).
2.24. Vecteurs propres (eigenvectors)
Du fait que la matrice
(
A−λiIp)
est singulière pour les valeurs propres λi, il existe un vecteur xi de dimension( )
p×1 , appelé vecteur propre (ou eigenvector) de A, tel que :(
A−λiIp)
xi =0,ou encore :
i i
i x
Ax =λ .
2.25. Matrice symétrique
Une matrice A est symétrique si et seulement si : A=A′.
2.26. Valeurs propres d’une matrice symétrique
Toutes les valeurs propres d’une matrice symétrique sont réelles.
2.27. Matrice orthogonale
Une matrice A est orthogonale si et seulement si : AA′=A′A=Ip. Dès lors, on aura :
1 . A A− = ′
2.28. Valeurs propres d’une matrice orthogonales
Toutes les valeurs propres d’une matrice orthogonale sont égales à 1 ou –1.
2.29. Matrice idempotente
Une matrice A est idempotente si et seulement si : AA=A.
2.30. Valeurs propres d’une matrice idempotente
Toutes les valeurs propres d’une matrice idempotente sont égales à 0 ou 1.
2.31. Propriétés d’une matrice particulière
Si X est une matrice d’ordre T×K, alors la matrice X′X est symétrique.
2.32. Matrices de projection
Si X est une matrice d’ordre T×K, alors les matrices d’ordre K×K : B=X
( )
X′X −1X′et( )
XX X I BX I
W = K − ′ −1 ′= K − sont symétriques et idempotentes. La matrice B est de rang K et la matrice W est de rang : T−K.
Ces matrices sont des matrices de projection orthogonale ; la première B sur le sous-espace vectoriel engendré par les colonnes de X, et la seconde sur le sous-espace vectoriel orthogonal à celui engendré par les colonnes de X.
2.33. Forme linéaire
Si a et x sont des vecteurs colonnes n×1, l’expression a′x est appelée une forme linéaire en x :
∑
=′ = n
i i ix a x a
1
.
2.34. Forme quadratique
Si x est un vecteur colonne n×1 et A une matrice n×n, l’expression x′Ax est appelée une forme quadratique en x :
∑∑
= =
′ = n
i n
j
j i ijx x a Ax
x
1 1
.
2.35. Matrice définie-positive
Si toutes les valeurs propres de la matrice A sont strictement positives : λi >0 p
i 1, ,
pour tout = K , on dira que A est définie positive et on notera : A>0 (Remarque : cela n’implique pas que tous les éléments de A sont strictement positif).
2.36. Matrice semi-définie positive
Si toutes les valeurs propres de la matrice A sont positives ou nulles : λi ≥0 p
i 1, ,
pour tout = K , on dira que A est semi-définie positive et on notera : A≥0.
2.37. Matrice définie négative
Si toutes les valeurs propres de la matrice A sont strictement négatives : λi <0 p
i 1, ,
pour tout = K , on dira que A est définie négative et on notera : A<0.
2.38. Matrice semi-définie négative
Si toutes les valeurs propres de la matrice A sont négatives ou nulles : λi ≤0 p
i 1, ,
pour tout = K , on dira que A est semi-définie négative et on notera : A≤0.
2.39. Décomposition de Cholesky
Si A est une matrice symétrique d’ordre n, définie positive, alors : L
L A= ′
où L est une matrice (unique) triangulaire inférieure avec des éléments positifs sur la diagonale principale :
0 . 0 0
2 1
22 12 11
=
nn n
n l l
l l l l L
L M O M M
L L
2.40. Décomposition en valeur singulière
On décompose une matrice A d’ordre p×q avec p≥q et r
( )
A =r>0 en :V UW
A= ′
où :
′ =
×
×
′ =
×
. avec
est
négatifs, non
éléments des
avec diagonale, est
, avec
est
r r
I V V r
n V
r r W
I U U r
m U
3. Matrices Symétriques
3.1. Forme quadratique d’une matrice symétrique
Soit A une matrice symétrique, alors toutes les valeurs propres λi de A sont réelles, et tous les vecteurs propres xi sont réels. De plus on dira que A est :
• définie positive si x′Ax>0, pour tout x≠0,
• semi-définie positive si x′Ax≥0, pour tout x,
• définie négative si x′Ax<0, pour tout x≠0,
• semi-définie négative si x′Ax≤0, pour tout x,
• indéfinie si x′Ax≥0, pour quelques x, et x′Ax<0, pour d’autres x.
3.2. Matrice des vecteurs propres
Il existe une matrice orthogonale X =
(
x1,x2,K,xp)
dont les colonnes sont les vecteurs propres de A, telle que X′AX =Λ, où Λ=diag(
λ1,λ2,K,λp)
est la matrice diagonale des valeurs propres.3.3. Propriété de la matrice des vecteurs propres
. 0 si
1 ,
1= ′Λ ≠
Λ ′
=
−
− X X A
A
X X A
3.4. Valeur propre maximale
Soit λ
( )
A la plus grande valeur propre de A, on a :( ) ( )
′
= ′ λ
=
λ xx
Ax A x
i
i i sup
max
3.5. Valeur propre minimale
Soit λ
( )
A la plus petite valeur propre de A, on a :( ) ( )
′
= ′ λ
=
λ xx
Ax A x
i i
i inf
min
3.6. Rang et valeurs propres d’une matrice symétrique
Si la matrice symétrique A possède r valeurs propres non-nulles, alors r
( )
A =r.Si la matrice idempotente A possède r valeurs propres unitaires, alors r
( ) ( )
A =tr A =r.3.7. Propriétés d’une matrice définie positive
Si A est une matrice symétrique définie-positive d’ordre p, alors :
( )
( ) [ ] ( )
1 11 0 (définie-positive) r
0
− −
−
λ
= λ
>
=
>
A A
A p A
A
De plus, si B est de plein rang colonne, alors B′AB>0.
3.8. Racine carrée d’une matrice
Soit Λ12 =diag
(
λ112,λ122,,λ1p2)
, en écrivant A=X′ΛX avec X la matrice orthogonale des vecteurs propres de A, on aura :A BB B X
X
B= Λ12 ′ satisfait 2 = = .
On appellera B=A12 la racine carrée (unique et définie-positive) de la matrice A.
3.9. Propriétés d’une matrice définie positive (suite)
Si A et B sont deux matrices définies-positive d’ordre p, alors A – B est définie positive si et seulement si B−1−A−1 est définie-positive.
4. Matrices Partitionnées
4.1. Définition d’une matrice partitionnée
Une matrice A d’ordre p×q peut être partitionnée en nm blocs (ou sous-matrices) tels que :
=
×
×
×
×
×
×
× ×
×
m n n
n
m m
q p
nm q
p n q p
n
q p
m q
p q p
q p
m q
p q p
A A
A
A A
A
A A
A
A
L M O M M
L L
2 1
2 2
2 1 2
1 2
1 1 1
2 1
2 22
21
1 12
11
avec n p p
i i =
∑
=1 et∑
mj=1qj =q.4.2. Matrice partitionnée en 2 x 2 blocs
Le cas le plus simple est celui d’une matrice A partitionnée en 4 blocs :
=
×
×
×
×
2 2 1 2
2 1 1 1
22 21
12 11
q p q p
q p q p
A A
A A A
avec p1+p2= p et q1+q2 =q.
4.3. Cas particuliers
a) Si p1=q1 et p2 =q2, les matrices A11 et A22 sont carrées, et si A11 est inversible
11 ≠0
A , alors :
12 1 11 21 22 1 22 1
22
11 A où A A A A A
A
A = × • • = − −
b) Si la matrice A22•1 est aussi inversible A22•1 ≠0, on aura alors :
=
−
22 21
12 11 1
A A
A A A
avec :
( )
=
−
=
−
=
+
=
−•
−
−•
−•
−
−
−•
−
1 1 22 22
1 11 21 1
1 22 21
1 1 22 12 1 11 12
1 11 21 1
1 22 12 1
11 11
1
A A
A A A A
A A A A
A A A A I A
A p
c) Si aussi les matrices A22 =0, A11 =B et A12 = A′21 =C, on a alors :
= ′
0 C
C
A B une
matrice symétrique, et :
( ) ( )
( ) ( )
− ′
′
′
′
+ ′ ′
= − − − − −
− −
−
− −
−
− −
1 1 1 1
1
1 1 1
1 1 1 1
1 1
C B C B
C C B C
C B C C B B C C B C C I
A B p
d) Si p1=q1 et p2 =q2, les matrices A11 et A22 sont carrées, alors la matrice A est définie-positive A>0 si et seulement si les matrices A11 et A22 sont définies- positive : A11 >0 et A22 >0.
e) Si la matrice A21 =0, alors A= A11 × A22 . Donc A ≠0si et seulement si A11 ≠0 et
22 ≠0
A .
f) Si la matrice A est bloc-diagonale : A=diag
(
A1,A2,K,An)
où les sous-matrices A i sont des matrices carrées inversibles avec Ai ≠0 pour tout i, alors :(
11 21 1)
1 1
, , ,
diag − − −
−
=
=
=
∏
n n
i i
A A
A A
A A
K
5. Produit de Kronecker et Vectorisation
5.1. Définition du Produit de Kronecker
Si A est une matrice d’ordre m×n et B une matrice d’ordre p×q, on définira une matrice C d’ordre mp×nq avec la produit de Kronecker :
[ ]
=
=
⊗
=
B a B
a B a
B a B
a B a
B a B
a B a B a B A C
nm n
n
m m
ij
L M O M M
L L
2 1
2 22
21
1 12
11
5.2. Transposée du Produit de Kronecker
(
A⊗B)
′ =A′⊗B′.5.3. Inverse du Produit de Kronecker
Si A et B sont des matrices carrées inversibles, alors :
(
A⊗B)
−1=A−1⊗B−1.5.4. Déterminant du Produit de Kronecker
Si A et B sont des matrices carrées d’ordre respectif m et n, alors :
m.
n B
A B A⊗ =
5.5. Produit matriciel classique et Produit de Kronecker
(
A⊗B)(
C⊗D)
=AC⊗BD.5.6. Trace et Produit de Kronecker
( ) ( ) ( )
tr tr .tr A⊗B = A B
5.7. Vectorisation d’une matrice
Soit une matrice A d’ordre m×n, l’opérateur de vectorisation (vec) empile les colonnes de la matrice A pour obtenir un vecteur colonne d’ordre mn×1, tel que :
( )
=
=
mn n m m
a a a a a a
A a
M M M M
1 2 12
1 11
vec
5.8. Produit de deux matrices vectorisées
Si A et B sont deux matrices d’ordre m×n, alors :
( ) ( )
A ′ vecB =tr( )
A′Bvec et donc :
( )
AB =vec( )
A′′vec( )
B =vec( )
B ′vec( )
A′tr
( )
BA =vec( )
B′′vec( )
A =vec( )
A′vec( )
B′tr
(
A B)
vec( )
A vec( )
Bvec + = +
5.9. Produit de Kronecker et Vectorisation
Deux propriétés, intéressantes en économétrie, relient le produit de Kronecker à la vectorisation de matrices (attention à l’ordre des matrices) :
( ) ( ) ( )
( )
vec( )( )
vec( )
.tr
, vec vec
B C
A D ABCD
B A C ABC
⊗ ′
′′
=
′⊗
=
6. Dérivées de fonctions matricielles
6.1. Fonction vectorielle
Si f
( )
x :Rm→R est une fonction scalaire d’un vecteur x d’ordre m×1, alors on définira une fonction vectorielle y= f( )
x :Rm →Rn par :( )
( ) ( )
( )
=
=
x f
x f
x f x f y
n
M
2 1
6.2. Différentiation vectorielle
Si f
( )
x :Rm→R est une fonction scalaire d’un vecteur x d’ordre m×1, alors la dérivée première de f( )
x par rapport à x est le vecteur d’ordre m×1 :( )
( ) ( ) ( )
∂
∂
∂
∂∂
∂
∂ =
∂
xm
x f
x x f
x x f
x x f
M
2 1
.
La dérivée seconde de cette fonction scalaire f
( )
x par rapport à x est la matrice d’ordre mm× :
( ) ( )
∂
∂
= ∂
∂ ′
∂
∂
j i x x
x f x
x x
f 2
2
.
6.3. Règles de différentiation
Si A est une matrice carrée d’ordre p×p, x et y deux vecteurs d’ordre p×1, on aura alors :
, , x y
y x
x y x y
= ′
∂
∂ ′
∂ =
∂ ′
( )
. symétrique matrice
une est si 2
, ,
A x Ax
Ax x
x A x A
Ax x
x Ay Ay x
∂ =
∂ ′
+ ′
∂ =
∂ ′
∂ =
∂ ′
.
6.4. Différentiation matricielle
Si f
( )
X :Rm×n →R est une fonction scalaire d’une matrice X d’ordre m×n, alors la dérivée première de f( )
X par rapport à X est le vecteur d’ordre m×n :( ) ( )
.
∂
= ∂
∂
∂
xij
X f X
X f
6.5. Matrice Jacobienne et Jacobien
Si f
( )
x :Rm →Rn est une fonction vectorielle, on définit la matrice Jacobienne J d’ordre mn× :
( )
( ) ( ) ( )
( ) ( ) ( )
( ) ( ) ( )
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂ ∂
∂
∂
∂
∂
∂
′ =
∂
= ∂
m n n
n
m m
x x f x
x f x
x f
x x f x
x f x
x f
x x f x
x f x
x f
x x J f
L M O M
M
L L
2 1
2 2
2 1
2
1 2
1 1
1
.
Si m=n la matrice J est carrée, et le Jacobien est la valeur absolue du déterminant de J :
( )
x x J ∂f ′
= ∂
6.6. Jacobien d’une fonction matricielle
Si Y = f
( )
X :Rm×n →Rp×q est une fonction matricielle d’une matrice X d’ordre n×m, où Y est une matrice d’ordre p×q. La matrice Jacobienne J de cette transformation est d’ordremn pq× :
( ) ( )
′′∂
= ∂
X J Y
vec vec .
6.7. Règles de différentiation par rapport à un scalaire
Si les matrices A et B dépendent d’un scalaire θ, on aura alors :
′
θ
∂
= ∂ θ
∂
∂A′ A ,
( )
θ
∂ λ ∂ θ =
∂ λ
∂ A A
,
( )
θ
∂ + ∂
θ
∂
= ∂ θ
∂ +
∂ A B A B
,
( )
θ
∂ + ∂
θ
∂
= ∂ θ
∂
∂ B
A A B
AB ,
( )
θ
∂
= ∂ θ
∂
∂ A A
tr tr
,
( )
θ
∂
′ ∂ θ =
∂
∂ − A
A
A A 1
tr
( )
θ
∂
′ ∂ θ =
∂
∂ − A
A A 1
ln tr
1 1
1 − −
−
θ
∂
− ∂ θ =
∂
∂ AA
A A
6.8. Règles de différentiation matricielle
( )
si n'est passymétrique.ln 1
A A A
A = ′ −
∂
∂
( )
si est symétrique.dg
ln 2 1 1
A A
A A
A − −
−
∂ =
∂
( )
si n'est passymétrique.tr B A
A
AB = ′
∂
∂
( )
dg( )
si n'est passymétrique.tr B B A A
A
AB = + ′−
∂
∂
6.9. Différentiation et vectorisation
( )
( )
B A CABC′ = ⊗ ′
∂
∂ vec
vec ,
( ) ( )
′ =−( ) ( )
⊗ ′∂
∂ − − −
1 1
1
vec
vec A A
A
A ,