IV. Représentations des groupes
1. Représentations
Soit G un groupe et soit V unK-espace vectoriel. Unereprésentation linéairede G dans V est un morphisme de groupes
ρ: G−→GL(V).
En d’autres termes, on représente les éléments de G comme des automorphismes de V ou plus simplement, si V est de dimension finie et qu’on en choisit une base, comme des matrices (inversibles).
On notera la représentation (V,ρ), ou simplement, en l’absence d’ambiguïté,ρou V.
L’action d’un élémentg∈G sur V sera souvent notéeg·v(=ρ(g)(v)). C’est une action du groupe G sur V au sens de la déf. du § I.2.1.
Exemples 1.1. — 1° Une représentation de G dans un espace vectoriel de dimension 1 est un morphismeρ: G→K×. Si G est fini, l’image est un groupe cyclique (exerc. I.1.29).
2° Si G est défini comme un sous-groupe de GL(V) (ce qui est le cas de tous les groupes classiques), l’inclusion G,→GL(V) est appelée lareprésentation standard.
3° Si (e1, . . . ,en) est une base deKn, on obtient une représentation deSndansKnen po-santρ(σ)(ei)=eσ(i). Une telle représentation est appeléereprésentation de permutation.
Lesρ(σ) sont des matrices de permutation.
4° Si G est un groupe fini, on peut composer le morphisme de groupes de Cayley (ex. I.2.3)
G,−→Bij(G) g7−→(x7→g x)
avec la construction du 3° ci-dessus pour obtenir une représentation ρR: G→Bij(G)→GL(KG),
oùKGest l’espace vectoriel des fonctions de G dansK. Siεh: G→Kest la fonction caracté-ristique d’un élémenthde G, la famille (εh)h∈Gforme une base deKG. On aρR(g)(εh)=εg h
et, pour toutf ∈KG, on aρR(g)(f) :g07→f(g−1g0) pour toutg0∈G.
Cette représentation s’appelle lareprésentation régulièrede G.
1.1. Vocabulaire et propriétés. — Soit (V,ρ) une représentation de G.
Ladimension(on dit aussi ledegré) de la représentation est dim(V).
Unesous-représentationest un sous-espace vectoriel W⊆V stable sous l’action de G ; on parle de sous-espace G-invariant. Dans ce cas, on a des représentations induites sur W et sur le quotient V/W.
Exemples 1.2. — 1° Le sous-espace vectoriel
VG={v∈V| ∀g∈G g·v=v}
des vecteurs fixes sous G est un sous-espace G-invariant : sih∈G etv∈VG, on a pour tout g∈G
g·(h·v)=g·v=v=h·v, donch·v∈VG.
2° Si V=Knest la représentation de permutation du groupeSn, l’hyperplan V0=
n
(x1, . . . ,xn)∈V¯
¯
¯
n
X
i=1
xi=0o est une sous-représentation de V, ainsi que la droite
V1=K(1, . . . , 1) qui en est un supplémentaire si et seulement si car(K)-n
Unmorphismeentre des représentations (V,ρV) et (W,ρW) d’un groupe G est une appli-cation linéaireu: V→W telle que
∀g∈G u◦ρV(g)=ρW(g)◦u.
Dans ce cas, ker(u) et im(u) sont des sous-représentations de V et W, etuinduit un iso-morphisme de représentations
V/ ker(u)→∼im(u).
L’espace vectoriel des morphismes entre les représentations V et W est noté HomG(V, W), ou Hom(ρV,ρW). Des représentationsρVetρWde dimension finie d’un groupe G sont iso-morphes si et seulement si il existe une base de V et une base de W dans lesquelles, pour toutg∈G, les matrices deρV(g) et deρW(g) sont les mêmes.
Si V et W sont des représentations de G, on peut former les représentations suivantes :
— V⊕W pourρ(g)=(ρV(g),ρW(g)) ;
— V⊗W pourρ(g)=ρV(g)⊗ρW(g) ;
— V∗pourρ∗(g)=tρ(g−1) ;
— HomK(V, W)=V∗⊗W pourρ(g)(u)=ρW(g)◦u◦ρV(g)−1; en particulier l’espace des morphismes de représentations de V vers W est
HomG(V, W)=HomK(V, W)G;
— TdV,VdV, SdV sont aussi des représentations de G (on associe àg∈G les endomor-phismes (ρV(g))⊗d,Vd(ρV(g)), et Sd(ρV(g))). Si car(K)6=2, on a par (42) un isomor-phisme de représentations
V⊗V'V2V⊕S2V. (46)
1. REPRÉSENTATIONS 129
1.2. Représentations irréductibles. —
Définition 1.3. — Une représentation V estirréductiblesi elle est non nulle et que ses seules sous-représentations sont 0 et V.
Toute représentation de dimension 1 est bien sûr irréductible.
Exemples 1.4. — 1° Si G est abélien et queKest algébriquement clos, les seules repré-sentations irréductibles V de dimension finie de G sont de dimension 1. Soit g ∈G et soit W⊆V un sous-espace propre (non nul) deρ(g), pour une valeur propreλ∈K. On a, puisque G est abélien,
∀h∈G∀x∈W ρ(g)(ρ(h)(x))=ρ(h)(ρ(g)(x))=ρ(h)(λx)=λρ(h)(x),
doncρ(h)(x)∈W. Le sous-espace vectoriel W de V est donc stable par tous lesρ(h) : c’est une sous-représentation non nulle de V. Comme V est irréductible, elle est égale à V. Ceci entraîne que tous lesρ(g) sont des homothéties. Toute droite D⊆V est alors une sous-représentation, donc D=V.
Les représentations deZ/nZdansCsont données par l’image d’un générateur, qui doit être une racinen-ième de l’unité dansC. On obtient ainsi lesnreprésentations irréduc-tiblesρ0, . . . ,ρn−1deZ/nZ, données par
∀k∈Z/nZ ρj(k)=exp µ2k jπi
n
¶ .
Notons que tout cela n’est plus vrai lorsqueK=R: la représentation deZ/nZdansR2 qui fait correspondre àk∈Z/nZla rotation d’angle 2kπ/nest irréductible lorsquenÊ3 puisqu’aucune droite n’est laissée stable par toutes ces rotations.
2° PournÊ3, la représentation standard du groupe diédral DndansR2(ou dansC2) est irréductible, puisqu’aucune droite n’est laissée stable par tous les éléments de Dn.
3° Si dim(V)Ê2, les représentations standard de SL(V), GL(V) et Sp(V) sont irréducti-bles puisque ces groupes opèrent transitivement sur V {0}. C’est aussi le cas pour On(R), qui opère transitivement sur la sphère unitéSn−1, qui engendre l’espace vectorielRn.
4° SoientρV: G→GL(V) etρW: G→GL(W) des représentations de G. Si W est de di-mension 1, le groupe GL(W) s’indentifie canoniquement à K×(ex. 1.1.1°) et la représenta-tionρV⊗W: G→GL(V⊗W) est isomorphe à la représentation
G−→GL(V) g7−→ρW(g)ρV(g),
dont les sous-espaces G-invariants sont les mêmes que ceux deρV. En particulier,ρV⊗West irréductible si et seulement siρVl’est. Ce n’est plus vrai en général si dim(W)>1 (même siρWest irréductible ;cf.(46)).
Exercice 1.5. — Soit G un groupe fini.
a) Montrer que toute représentation irréductible de G est de dimension finieÉ |G|.
b) SupposonsKalgébriquement clos. Soit A≤G un sous-groupe abélien. Montrer que toute représentation irréductible de G est de dimensionÉ|G||A|.
Exercice 1.6. — Soit V un espace vectoriel réel de dimension finien>0 et soitdun entier positif.
a) SoitB=(e1, . . . ,en) une base de V. Donner une base naturelleBdde l’espace vectoriel SdV.
b) Montrer qu’il existe des réelsλ1, . . . ,λntels que, si P et Q sont des monômes unitaires de degrédennvariables, alors P(λ1, . . . ,λn)=Q(λ1, . . . ,λn) si et seulement si P=Q.
c) Montrer que GL(V) agit naturellement sur l’espace vectoriel SdV. On en déduit une repré-sentationρdde GL(V) dans SdV.
d) Soit W un sous-espace vectoriel non nul de SdV stable par l’action de GL(V). Montrer qu’il existe un sous-ensemble de la baseBdqui engendre W (Indication :on pourra considérer l’automorphismegde V qui envoieeisurλiei).
e) En déduire que la représentationρdest irréductible.
f ) Montrer qu’il existe, pour tout entierd∈{1, . . . ,n}, une représentation irréductible de GL(V) dansVd
V.
g) Que se passe-t-il si on remplace le corpsRpar un corps quelconque ?
1.3. SupplémentaireG-invariant. — Si W est une sous-représentation de V, il n’existe pas en général de supplémentaire G-invariant de W dans V.
Exemple 1.7. — Le groupe G≤GL2(K) des matrices triangulaires supérieures se re-présente dans V=K2par la représentation standard. La droite W=Ke1 est une sous-représentation dépourvue de supplémentaire T-invariant.
SiKest le corpsFp, on a ainsi un exemple avec un groupe G fini de cardinalp(p−1)2. Néanmoins, il y a quand même un résultat général d’existence de supplémentaire G-invariant pour certains groupes finis.
Théorème 1.8. — SiGest un groupe fini tel quecar(K)-|G|et queVest une représentation deG, tout sous-espaceG-invariant deVadmet un supplémentaireG-invariant.
Corollaire 1.9. — SoitGun groupe fini tel quecar(K)-|G|. Toute représentation deGde dimension finie est somme directe de représentations irréductibles.
On va donner deux démonstrations du théorème, une première particulière àK=R ouC, mais qui est valable aussi pour certains groupes infinis ; une seconde traitant tous les corps.
Première démonstration. — SupposonsK=RouCet V de dimension finie. On choisit un produit scalaire ou un produit scalaire hermitien sur V, noté〈,〉0. Puis on définit un autre produit scalaire par
〈v,w〉 = 1
|G| X
g∈G
〈g·v,g·w〉0. (47) Ce nouveau produit scalaire est G-invariant : pour toutg∈G, on a
〈g·v,g·w〉 = 〈v,w〉,
si bien queρest à valeurs dans O(V) ou U(V). En particulier, si W est un sous-espace G-invariant, W⊥est aussi G-invariant et fournit le supplémentaire voulu.
1. REPRÉSENTATIONS 131
L’ingrédient essentiel de cette démonstration consiste à fabriquer un produit scalaire G-invariant par moyennisation d’un produit scalaire quelconque donné. Si G est un groupe topologique compact, il est muni d’une mesure de probabilité G-invariante, la mesure de Haar : en remplaçant (47) par l’intégration sur le groupe, la démonstration s’étend à ce cas.
Seconde démonstration. — On applique encore un procédé de moyennisation. Choisis-sons un projecteur quelconquep0: V→V d’image un sous-espace G-invariant W et po-sons
p:= 1
|G| X
g∈G
ρ(g)◦p0◦ρ(g)−1∈End(V). (48) Commeρ(g) préserve W, l’image de cet endomorphisme est contenue dans W. Siv∈W, on aρ(g)−1(v)∈W, doncp0◦ρ(g)−1(v)=ρ(g)−1(v) etp(v)=v. Ceci montre quepest un projecteur d’image W.
Montrons que son noyau est invariant par G. Pour touth∈G, on a ρ(h)◦p◦ρ(h)−1= 1
|G| X
g∈G
ρ(h)◦ρ(g)◦p0◦ρ(g)−1◦ρ(h)−1
= 1
|G| X
g∈G
ρ(hg)◦p0◦ρ(hg)−1=p,
c’est-à-direρ(h)◦p=p◦ρ(h). En d’autres termes,pest un endomorphisme de la repré-sentationρ, donc son noyau (supplémentaire de W) est bien invariant par G.
Lemme de Schur 1.10. — SoitGun groupe, soient(V,ρV)et(W,ρW)des représentations ir-réductibles deGet soit u: V→Wun morphisme de représentations.
1° Soit u est nul, soit c’est un isomorphisme.
2° SiρV=ρW, queVest de dimension finie et queKest algébriquement clos, l’applica-tion u est une homothétie.
Démonstration. — 1° Les sous-espaces ker(u) et im(u) sont G-invariants, donc triviaux.
2° Siλest une valeur propre deu, alors ker(u−λIdV) est G-invariant et non nul, donc égal à V, etuest une homothétie.
Supposons G fini et car(K)-|G|. Par le cor. 1.9, on peut décomposer la représentation régulièreKG(ex. 1.1.4°) en somme
KG=M Ri
de représentations irréductibles. Soit (V,ρ) une représentation de G et soitv0∈V. L’appli-cation linéaire
u:KG−→V (f: G→K)7−→ X
g∈G
f(g)ρ(g)(v0)
est un morphisme de représentations. En effet, pour tout h ∈ G et tout g ∈G, on a u(εg)=ρ(g)(v0) et (cf.ex. 1.1.4°)
u◦ρR(h)(εg)=u(εhg)=ρ(hg)(v0)=ρ(h)◦ρ(g)(v0)=ρ(h)◦u(εg),
doncu◦ρR(h)=ρ(h)◦u. Siv06=0, l’applicationf n’est pas nulle (carf(εe)=v0), et si de plus V est irréductible,f est surjective, donc il y a au moins unitel quef|Risoit non nul ; par le lemme de Schur, c’est un isomorphisme et V est isomorphe à la représentation Ri.
On en déduit le résultat suivant(1).
Proposition 1.11. — SoitGun groupe fini tel quecar(K)-|G|. Il n’y a à isomorphisme près qu’un nombre fini de représentations irréductibles deGet chacune est de dimensionÉ |G|.
LorsqueKest algébriquement clos, ces résultats seront précisés dans le cor. 2.6.1° et, si de plus car(K)=0, dans la prop. 2.8, où on montre que la dimension d’une représentation irréductible estÉp
|G|.
Exercice 1.12. — Si car(K)-|G|, montrer que l’intersection des noyaux des représentations irréductibles de G est {e}.
Proposition 1.13. — SoitGun groupe fini tel quecar(K)-|G|et soientρ1, . . . ,ρ`les repré-sentations irréductibles deG. Toute représentation deGde dimension finie se décompose enL
ρnii, où les entiers naturels nisont uniquement déterminés par la représentation.
Démonstration. — L’existence d’une telle décomposition est le cor. 1.9. Montrons l’uni-cité desnipar récurrence sur la dimension de la représentation. Supposons V :=LVi iso-morphe à W :=LWj, où les Vi et les Wjsont des représentations irréductibles, éventuel-lement répétées. On va montrer qu’à permutation près, les (Vi) et les (Wj) sont la même collection de représentations. On dispose d’un isomorphisme de représentations
u: M Au moins un desuj est donc non nul et, quitte à rénuméroter les Wj, on peut supposer que c’estu1. Les morphismes de représentationsq1◦u|V1: V1→W1etp1◦u0|W1: W1→V1 sont alors non nuls. Par le lemme de Schur, ce sont des isomorphismes.
Pour appliquer l’hypothèse de récurrence, il suffit de montrer que le morphisme de représentations
1. Comme on l’a vu dans l’exerc. 1.5, la seconde partie est valable sans hypothèse sur la caractéristique du corps. Il en est de même de la première partie, mais il faut prendre garde que lorsque car(K)| |G|, il existe des représentations (de dimension finie) qui ne sont pas sommes de représentations irréductibles, donc il y a des représentations indécomposables qui ne sont pas irréductibles. Et malheureusement, pour certains groupes fi-nis, le nombre de classes d’isomorphisme de représentations indécomposables est infini (en caractéristiquep, Higman a démontré que c’est le cas si lesp-sous-groupes de Sylow ne sont pas cycliques).