Repr´esentations des groupes compacts

Repr´esentations des groupes compacts

25 septembre 2019

Vous avez d´ej`a vu en M1 la th´eorie des repr´esentations des groupes finis.

Dans ce chapitre, nous allons g´en´eraliser aux groupes compacts certains des r´esultats obtenus pour les groupes finis. Il nous faut commencer par d´efinir les groupes topologiques, et une bonne notion de repr´esentation pour de tels groupes.

Table des mati` eres

1 Groupes topologiques et repr´esentations 2

1.1 G´en´eralit´es . . . 2

1.2 Somme (directe). . . 5

1.3 Produit tensoriel . . . 6

1.4 Repr´esentation contragr´ediente . . . 7

2 Mesure de Haar 8 3 Repr´esentations des groupes compacts 16 3.1 Premiers r´esultats . . . 16

3.2 Lemme de Schur . . . 18

3.3 Coefficients matriciels et relations de Schur . . . 19

3.4 Transformation de Fourier pour les groupes compacts . . . 22

3.5 Th´eorie des caract`eres pour les groupes compacts . . . 29

1 Groupes topologiques et repr´ esentations

1.1 G´ en´ eralit´ es

Un groupe topologiqueGest `a la fois un groupe et un espace topologique s´epar´e, o`u l’on exige que ces deux structures soient compatibles, c’est `a dire que les applications

m:GˆGÑG, pg, hq ÞÑgh et

ι:GÑG, g ÞÑg^´1 soient continues.

Unerepr´esentationd’un groupe topologiqueGdans un espace vectoriel topologique V est la donn´ee d’un morphisme

π :GÑGLpVq tel que l’application

GˆV ÑV, pg, vq ÞÑπpgqv

soit continue. On note alors par le couple pπ, Vqcette repr´esentation de G.

Si V est un espace de Hilbert, muni d’un produit scalaire ă ¨,¨ ą inva- riant, i.e., tel que

ăπpgqv, πpgqwą“ăv, wą, g PG, v, w PV, on dit que la repr´esentation pπ, Vq estunitaire.

Lorsque l’espace de repr´esentationV est de dimension finie, on le suppose toujours muni de la topologie transcendante.

Exemples 1.1. – G “ SOpnq, V “ polynˆomes `a n variables `a coefficients complexes homog`enes de degr´e N et

pπpgqPqpxq “Ppg^´1xq. Munissons V du produit hermitien

pP, Qq “ ż

S^n´1

PpxqQpxqdx .

Alors pπ, Vq est une repr´esentation unitaire.

–G“SLp2,Rq,V “L²pR²q et

pπpgqfqpxq:“fpg^´1xq.

Avec le produit hermitien usuel surV,pπ, Vqest une repr´esentation unitaire.

Une sous-repr´esentation de pπ, Vq est un sous-espace ferm´e W de V invariant (ou stable) sous l’action de G, i.e., tel que

πpgqwPW, g PG, w PW .

Une repr´esentation pπ, Vq est dite irr´eductible si elle n’admet aucune autre sous-repr´esentation qu’elle-mˆeme ett0u.

Soient pπ₁, V₁q et pπ₂, V₂q deux repr´esentations d’un groupe topologique G. Unop´erateur d’entrelacemententre ces repr´esentations est une appli- cation lin´eaire continue T :V₁ ÑV₂ telle que

Tpπ₁pgqv₁q “ π₂pgqTpv₁q, g PG, v₁ PV₁.

On note Hom_GpV₁, v₂qou Hom_Gpπ₁, π₂ql’ensemble des op´erateurs d’entrela- cement entre pπ₁, V₁qet pπ₂, V₂q.

On dit alors que deux repr´esentations pπ₁, V₁q et pπ₂, V₂q sont iso- morphes ou ´equivalentes s’il existe T P Hom_GpV₁, V₂q bijectif entre ces deux repr´esentations tel queT^´1 PHom_GpV₂, V₁q.

Si pπ₁, V₁q et pπ₂, V₂q sont unitaires, on dit qu’elle sont unitairement

´

equivalentessi elles sont ´equivalentes via un op´erateur d’entrelacement uni- taire.

Lemme 1.1. (i) Soient pπ, Vq etpτ, Wqdeux repr´esentations d’un groupe topologique G et T : V : V ÑW un op´erateur d’entrelacement. Alors son noyau kerT est un sous-espace ferm´e de V invariant par π et son image imT est un sous-espace de W invariant par τ.

(ii) Soit pπ, Vq une repr´esentation d’un groupe topologique G et T un op´erateur d’entrelacement de pπ, Vq avec elle-mˆeme. Alors tout sous- espace propre de T est ferm´e et invariant par π.

D´emonstration. (i) Si v P kerT, alors, pour tout g PG, Tpπpgqvq “τpgqTpvq “ 0,

donc πpgqv P kerT. Si w P imT, il existe v P V tel que Tpvq “ w et, pour tout g P G,

τpgqw“τpgqTpvq “Tpπpgqvq, donc τpgqwPimT.

(ii) Soitλ une valeur propre de T et V_λ le sous-espace propre correspon- dant. Alors, pour tout g P G, pour tout v PV_λ,

Tpρpgqvq “ ρpgqTpvq “ λρpgqv, et donc ρpgqv PV_λ.

Le fait que tous ces sous-espaces soient ferm´es d´ecoulent des hypoth`eses sur T.

Th´eor`eme 1.2. Soit pπ, Vq une repr´esentation unitaire d’un groupe topolo- gique Gdans un espace de Hilbert V. Soit W un sous-espace invariant ferm´e de V. Alors l’orthogonalW^K de W dansV est stable sous l’action de Get la repr´esentationpπ, Vqse d´ecompose en somme directe de sous-repr´esentations

V “W ‘W^K.

D´emonstration. Remarquons qu’´etant donn´e que W est ferm´e, il en est de mˆeme pour W^K. Comme la repr´esentation est unitaire et V “ W ‘W^K en tant qu’espaces vectoriels,W^K est stable sous l’action deG. Ceci fournit une d´ecomposition

V “W ‘W^K en somme directe de sous-espaces invariants.

Proposition 1.3 (Lemme de Schur). Une repr´esentation unitaire pπ, Vq d’un groupe topologique G sur un espace de Hilbert V est irr´eductible si et seulement si Hom_GpV, Vq “CId_V.

D´emonstration. Si V est r´eductible et W est sous-espace ferm´e non trivial de V invariant par π, alors, d’apr`es le th´eor`eme pr´ec´edent, la projection orthogonale sur W est un op´erateur d’entrelacement qui n’est pas multiple scalaire de l’identit´e.

R´eciproquement, soit T un op´erateur d’entrelacement pour pπ, Vq qui n’est pas multiple de l’identit´e. Comme π est unitaire, ^tT est aussi un

op´erateur d’entrelacement pour π. Il en va de mˆeme pour A “ ¹₂pT ` <sup>t</sup>Tq et B “ <sub>2i</sub><sup>1</sup>pT ´ <sup>t</sup>Tq. Comme T “A`iB, A ouB n’est pas multiple scalaire de l’identit´e deV. PrenonsApar exemple. Leth´eor`eme spectral, appliqu´e

`

a A, donne alors au moins une projection orthogonale P, non multiple sca- laire de l’identit´e, qui s’´ecrit comme un polynˆome enA, et donc en particulier est un op´erateur d’entrelacement. Dans ce cas,pπ, Vqest r´eductible.

Il n’est pas vraiment possible d’en dire plus `a ce niveau de g´en´eralit´e. En particulier, il n’est pas vrai :

– qu’une repr´esentation irr´eductible soit toujours de dimension finie.

– qu’une repr´esentation (mˆeme de dimension finie) soit toujours unitaire.

– qu’une repr´esentation de dimension finie soit toujours compl`etement r´eductible.

1.2 Somme (directe)

Soient pπ₁, V₁q et pπ₂, V₂q deux repr´esentations des groupes topologiques G₁ et G₂ respectivement. L’espace vectoriel V₁ˆV₂ muni des deux projecteurs canoniques (continus)

p₁ :V₁ˆV₂ ÑV₁, p₂ :V₁ˆV₂ ÑV₂

est le produit des espaces vectoriels V₁ et V₂. La notion de somme directe est l´eg`erement diff´erente. Lasomme directedeV₁ etV₂ est aussi le produit V₁ˆV₂ mais muni des deux injections canoniques (continues)

i₁ :V₁ ÑV₁ˆV₂, i₂ :V₂ ÑV₁ ˆV₂.

On peut ainsi identifier V₁ et V₂ `a des sous-espaces ferm´es de V<sub>1</sub>ˆV<sub>2</sub>, noter V<sub>1</sub>‘V<sub>2</sub> plutˆot que V<sub>1</sub>ˆV<sub>2</sub> et ´ecrire v<sub>1</sub>`v₂ l’´el´ement pv₁, v₂q deV₁ˆV₂.

On munit maintenant V₁ ‘V₂ de la repr´esentation π₁ ‘π₂ de G₁ ˆG₂ d´efinie par :

pπ₁‘π₂qpg₁, g₂qpv₁`v<sub>2</sub>q:“π<sub>1</sub>pg<sub>1</sub>qv<sub>1</sub>`π₂pg₂qv₂, g₁ P G₁, g₂ PG₂, v₁ PV₁, v₂ PV₂. QuandG₁ “G₂ “G, on peut restreindre cette repr´esentation `a la diagonale G dans GˆG, et obtenir la somme directe (usuelle) deπ₁ et π₂ :

pπ₁‘π₂qpgqpv₁`v<sub>2</sub>q:“π<sub>1</sub>pgqv<sub>1</sub>`π₂pgqv₂, g PG, v₁ PV₁, v₂ PV₂.

On peut g´en´eraliser cette construction `a un nombre fini de repr´esentations pπ<sub>i</sub>, V<sub>i</sub>q de G. Nous verrons peut-ˆetre plus tard comment la g´en´eraliser `a un nombre infini de repr´esentations.

La terminologie et la notation “additive” se justifient par le fait quepπ₁‘ π₂, V₁ ‘V₂qest toujours isomorphe `a pπ₂‘π₁, V₂‘V₁qet que

dimpV₁‘V₂q “ dimV₁`dimV₂,

lorsqueV₁etV₂ sont de dimension finie. La repr´esentation deGdans l’espace nul t0u est un “´el´ement neutre” pour cette somme. Mais remarquons qu’une repr´esentation pπ, Vq non nulle n’admet pas “d’inverse”.

1.3 Produit tensoriel

Nous voudrions maintenant construire une op´eration analogue `a un produit : ppπ₁, V₁q,pπ₂, V₂qq ÞÑ pπ₁bπ₂, V₁bV₂q,

ayant de bonnes propri´et´es de distributivit´e par rapport `a la somme d´efinie pr´ec´edemment, et v´erifiant

dimpV₁bV₂q “dimV₁¨dimV₂, (1.1) lorsque V₁ etV₂ sont de dimension finie.

D´efinition 1.1. Soient V₁ etV₂ deux espaces vectoriels. Leproduit tenso- riel V₁bV₂ est un espace vectoriel muni d’une application

ι:V₁ˆV₂ ÑV₁bV₂, pv₁, v₂q ÞÑ v₁bv₂ v´erifiant :

(i) ι est bilin´eaire,

(ii) sipe_iqiPI est une base de V₁ et si pf_jqjPJ est une base de V₂, alors pe_ibf_jqiPI,jPJ

est une base de V₁bV₂.

Remarque. Un tel espace existe et est d´etermin´e `a isomorphisme lin´eaire pr`es. La propri´et´e (ii) entraˆıne la formule (1.1). L’espace V₁ bV₂ v´erifie la propri´et´e universelle suivante :

(ii’) soit φ : V₁ ˆV₂ Ñ W une application bilin´eaire quelconque. Alors il existe une unique application lin´eaire

φ˜:V₁bV₂ ÑW telle que ˜φ˝ι“φ.

La propri´et´e (ii’) est ´equivalente `a (ii).

Soient pπ₁, V₁qune repr´esentation d’un groupe topologiqueG₁ etpπ₂, V₂q une repr´esentation d’un groupe topologique G₂. Supposons que l’un des V_i est de dimension finie pour ´eviter des complications topologiques (en g´en´eral, il faudra prendre une certaine compl´etion).

On peut munir l’espace V₁ bV₂ d’une repr´esentation not´ee π₁ bπ₂ de G1ˆG2 d´efinie par

pπ₁bπ₂qpg₁, g₂qpv₁bv₂q “ π₁pg₁qv₁bπ₂pg₂qv₂, g₁ PG₁, g₂ P G₂, v₁ PV₁, v₂ PV₂. Lorsque G₁ “G₂ “ G, on obtient une repr´esentation de dimension finie de G, not´ee π₁bπ₂ d´efinie par

pπ₁bπ₂qpgqpv₁bv₂q “ π₁pgqv₁bπ₂pgqv₂, g PG, v₁ PV₁, v₂ PV₂. Remarquons que siπ1 etπ2 sont unitaires, il en va de mˆeme pour πbπ2.

1.4 Repr´ esentation contragr´ ediente

Pour un espace vectoriel V, notons V^˚ son dual alg´ebrique, i.e., l’espace des formes lin´eaires sur V, et V¹ son dual topologique, i.e., l’espace des formes lin´eaires continues surV. On sait que

ev:V Ñ pV¹q¹, v ÞÑ revpvq:λPV¹ ÞÑλpvqs

est une application lin´eaire inijective. Si V est de dimension finie, V¹ “ V^˚ et, par ´egalit´e des dimensions, cette application lin´eaire est un isomorphisme.

Sipπ, Vqest une repr´esentation d’un groupe topologiqueG, on d´efinit une repr´esentation π¹ de Gdans V¹, appel´ee repr´esentation contragr´ediente de π, par la formule suivante :

pπ¹pgqλqpvq “λpπpgq^´1vq, g PG, λPV¹, v PV, ou encore

πpgqλ:“^tpπpgq^´1qλ, g PG, λPV¹.

Remarquons que, lorsque V est de dimension finie et quepV¹q¹ est identifi´e `a V par la remarque ci-dessus, on a ppπ¹q¹,pV¹q¹q “ pπ, Vq.

2 Mesure de Haar

Un espace topologique est dit localement compact si tout point admet une base de voisinages compacts. Un groupe topologique est dit localement compact (resp. compact) s’il est localement compact (resp. compact) en tant qu’espace topologique.

Nous allons maintenant pr´esenter quelques exemples de groupes locale- ment compacts.. Tous ces groupes seront des sous-ensembles de R^N pour un N P N avec la topologie induite par la m´etrique usuelle, `a savoir si x“ px₁, . . . , x_Nq ety “ py₁, . . . , y_Nq, alors la distance dpx, yq est

dpx, yq:“ g f f e

N

ÿ

i“1

px_i´y_iq²

etGsera muni de la topologie comme sous-espace deR^N. Noter qu’avec cette topologie, un sous-ensemble X de R^N est compact si et seulement si X est un ferm´e born´e par le th´eor`eme de Heine–Borel. De plus, tous les espaces et groupes topologiques sont Hausdorff.

Exemple 2.1. Le groupe additif pRⁿ,`q des nombres r´eels est un groupe topologique localement compact. Il n’est pas compact parce queRⁿn’est pas born´e.

Exemple 2.2. Le groupe g´en´eral lin´eaire GL_npRq des matrices carr´ees inversibles avec le produit matriciel est un groupe topologique localement

compact. Ici GL_npRqest un ouvert de Rⁿ² parce que la fonctionM ÞÑdetM est continue et GL_npRq est l’image r´eciproque de d’un ouvert de R. La to- pologie sur GLnpRqest alors celle de sous-espace de Rⁿ

2. En effet, le produit matriciel est donn´e par des fonctions polynˆomiales et prendre l’inverse est donn´e par des fonctions rationnelles en utilisant la comatrice, et dans ces deux cas, ces fonctions sont continues. Ceci montre que GLnpRqest un groupe topologique. Il est ´evident que GL_npRq est localement compact. Cependant GL_npRq n’est pas compact. En effet,

¨

˚

˚

˚

˚

˚

˝

a 0 0 ¨ ¨ ¨ 0 0 1 0 ¨ ¨ ¨ 0 0 0 1 ¨ ¨ ¨ 0 ... ... ... . .. ...

0 0 0 ¨ ¨ ¨ 1

˛

‹

‹

‹

‹

‹

‚

P GL_npRq pour touta PR^˚

montre que GL_npRq n’est pas born´e.

Exemple 2.3. Le groupe sp´ecial unitaire SUpnq :“ tM P MatnˆnpCq |

tM M “I_n et detM “1uavec le produit matriciel est un groupe topologique.

De plus ce groupe est compact. En effet, si nous traduisons les conditions

tM M “ In et detM “ 1 en terme d’´equations sur les coefficients de la matrice M, nous obtenons que SUpnq est un sous-ensemble born´e ferm´e de R^p2nq

2. Si nous oublions la condition sur le d´eterminant, nous obtenons aussi un groupe topologique compact, le groupe unitaire Upnq.

Exemple 2.4. Le groupe sp´ecial orthogonal SO_npRq :“ tM P Mat_nˆnpCq |^tM M “I_n et detM “1uavec le produit matriciel est un groupe topologique. De plus ce groupe est compact. En effet, si nous traduisons les conditions^tM M “I_net detM “1 en terme d’´equations sur les coefficients de la matrice M, nous obtenons que SO_npRqest un sous-ensemble born´e ferm´e deRⁿ

2. Si nous oublions la condition sur le d´eterminant, nous obtenons aussi un groupe topologique compact, le groupe orthogonalO_npRq.

Exemple 2.5. Soit G un groupe fini. Alors G est un groupe topologique compact muni de la topologie discr`ete.

Dans la th´eorie des repr´esentations des groupes finis, on fait usage de la mesure de comptage normalis´ee, et de ses propri´et´es d’invariance `a gauche et `a droite. Rappelons cela bri`evement.

Soit G un groupe fini. On peut le munir de sa mesure de comptage normalis´ee µ_G. Plus explicitement, pour toute fonction f surG,

ż

G

fpgqdµ_Gpgq:“ 1

|G|

ÿ

gPG

fpgq.

La propri´et´e fondamentale de cette mesure est que quels que soientx, y PG, ż

G

plpxqrpyqfqpgqdµ_Gpgq “ ż

G

fpgqdµ_Gpgq,

i.e., la mesure µ_G est invariante par translation `a gauche et `a droite.

D´efinisons l’analogue pour un groupe topologique localement compact quelconque.

Rappelons qu’une mesure de Radon λ sur un espace topologique lo- calement compact X est une forme lin´eaire continue sur C_cpX,Rq, positive (i.e., si f ě0,λpfq ě0). Un th´eor`eme d’analyse nous dit qu’une telle forme lin´eaire est donn´ee par int´egration par rapport `a une mesure bor´elienne µ:

λpfq “ ż

X

f dµ

poss´edant certaines propri´et´es (localement finie et r´eguli`ere int´erieurement).

D´efinition 2.1. Soit G un groupe topologique localement compact. Une mesure de Radon µ_G sur G est dite mesure de Haar `a gauche (resp. `a droite) sur G, si pour toute fonction int´egrablef de G `a valeurs dansC, et pour tout tPG,

ż

G

LptqfpgqdµGpgq “ ż

G

fpgqdµGpgq (resp.

ż

G

Rptqfpgqdµ_Gpgq “ ż

G

fpgqdµ_Gpgqq. Nous admettrons le th´eor`eme suivant.

Th´eor`eme 2.1. Soit G un groupe localement compact. Alors il existe une mesure de Haar `a gaucheµ_G surG. Une telle mesure est unique `a un facteur scalaire r´eel strictement positif pr`es.

On peut lire la d´emonstration dans Bourbaki, Int´egration, chapitre VII.

Dans le cas des groupes compacts, on peut trouver dans [1, p. 7] une d´emonstration de ce r´esultat bas´ee sur le th´eor`eme d’Ascoli et le th´eor`eme du point fixe de Kakutani.

Exemple 2.6. Pour le groupe additif pRⁿ,`q, la mesure de Lesbegue est la mesure de Haar. On a

µpfq “ ż

Rⁿ

fpx₁, x₂, . . . , x_nqdx₁dx₂¨ ¨ ¨dx_n.

Cette int´egrale existe pour toute fonctionf mesurable. Il est facile de v´erifier queµest une mesure de Radon non nulle. L’invariance `a gauche s’obtient en consid´erant le Jacobien du changement de coordonn´ees.

Exemple 2.7. Pour le groupe g´en´eral lin´eaire GL_npRq, la mesure de Haar est de la forme

dµpXq “ 1

|detX|ⁿdX, o`u X “ px_ijqi,j“1,...,n etdX “

n

ź

i,j“1

dx_ij.

Ici GL_npRq est un sous-ensemble ouvert de Rⁿ

2 et dX est la restriction `a GLnpRq de la mesure de Lebesgue de Rⁿ

2. Il est clair que µ est une mesure de Radon non nulle. Il suffit de v´erifier que µ est invariant `a gauche. Pour M PGL_npRq, nous avons

ż

GLnpRq

fpM^´1XqdµpXq “ ż

GLnpRq

fpM^´1Xq 1

|detX|ⁿdX

“ ż

GLnpRq

fpYq |detM|ⁿ

|detM Y|ⁿ dY, en consid´erant les nouvelles coordonn´ees

Y “ py_ijqj,j “M^´1X et dY “

n

ź

i,j“1

dy_ij.

Alors la matrice jacobienne de ce changement de coordonn´ees est

¨

˚

˚

˚

˝

M 0 ¨ ¨ ¨ 0 0 M ¨ ¨ ¨ 0 ... ... . .. ...

0 0 ¨ ¨ ¨ M

˛

‹

‹

‹

‚

et nous obtenons bien l’´egalit´e ci-dessus entre int´egrales. Apr`es simplication, cette ´egalit´e devient

ż

GLnpRq

fpM^´1Xq 1

|detX|ⁿdX “ ż

GLnpRq

fpYq 1

|detY|ⁿdY .

Exemple 2.8. Pour le groupe sp´ecial orthogonal SO₃pRq, nous pouvons premi`erement noter que la fonction continue

g :r0,2πs ˆ r0, πs ˆ r0,2πs ÑSO3pRq, pθ, φ, θ¹q ÞÑRpθqRpφqRpθr ¹q, avec

Rpθq “

¨

˝

cospθq ´sinpθq 0 sinpθq cospθq 0

0 0 1

˛

‚ et Rpφq “r

¨

˝

1 0 0

0 cospφq ´sinpφq 0 sinpφq cospφq

˛

‚,

est surjective et est un hom´eomorphisme sur s0,2πrˆs0, πrˆs0,2πr (remar- quons que Rpθq et Rpφqr sont des matrices de rotation ayant respectivement pour axes l’axe des z et l’axe des x).

En effet, consid´erons une matrice A “ pa_ijq P SO₃pRq. Comme vecteur (colonne) de R³, nous pouvons, pour d´ecrire la derni`ere colonne de A, des coordonn´ees similaires aux coordonn´ees sph´eriques, i.e.,

¨

˝ a13

a₂₃ a₃₃

˛

‚“

¨

˝

sinpθqsinpφq

´cospθqsinpφq cospφq

˛

‚ avec 0 ďφ ďπ, 0ďθ ď2π .

De mˆeme, comme vecteur (ligne) de R³, nous pouvons utiliser des coor- donn´ees similaires aux coordonn´ees sph´eriques pour d´ecrire la derni`ere ligne de A, i.e.,

`a₃₁ a₃₂ a₃₃˘

“`

sinpθ¹qsinpφ¹q cospθ¹qsinpφ¹q cospφ¹q˘

avec 0 ďφ¹ ďπ, 0ďθ¹ ď2π. Nous pouvons noter premi`erement queφ<sup>1</sup> “φ car si ă ¨,¨ ą de´esigne le produit scalaire usuel sur R<sup>3</sup> (o`u les vecteurs sont

´

ecrits en colonne), alors

cospφq “ ă ^tp0,0,1q, A^tp0,0,1q ą“ăA^´1tp0,0,1q, ^tp0,0,1q ą

“ ă ^tA^tp0,0,1q, ^tp0,0,1q ą“ă ^tpp0,0,1qAq, ^tp0,0,1q ą“cospφ¹q,

et comme 0ďφ, φ¹ ďπ, nous avons bien φ“φ¹.

De plus, si nous consid´erons le produit Rp´θqARp´θ¹q, nous obtenons

¨

˝

b₁₁ b₁₂ 0 b₂₁ b₂₂ ´sinpφq

0 sinpφq cospφq

˛

‚.

Maintenant, si 0 ă φ ă π, alors sinpφq ‰ 0. De ceci et du fait que Rp´θqARp´θ¹q soit orthogonal, nous obtenons facilement que b₁₂ “ 0, b11 “ ˘1, b21 “ 0, b22 “ cospφq et de cette derni`ere ´equation et parce que detRp´θqARp´θ¹q “1, nous obtenons que b₁₁“1. En d’autres mots, si 0ăφăπ, alors A“gpθ, φ, θ¹q avec θ, φ, θ¹ comme ci-dessus.

Par contre siφ “0, π, alors sinpφq “ 0. La matrice ˆb₁₁ b₁₂

b₂₁ b₂₂

˙

PO₂pRq. Plus pr´ecis´ement, siφ “0 (resp. φ“π), alors

ˆb₁₁ b₁₂ b₂₁ b₂₂

˙

PSO₂pRq (resp.

ˆ b₁₁ b₁₂

´b₂₁ ´b₂₂

˙

PSO₂pRq). Donc, si φ “0, alors

Rp´θqARp´θ¹q “

¨

˝

b₁₁ b₁₂ 0 b21 b22 ´sinpφq

0 sinpφq 1

˛

‚“Rpθ²q pour un certainθ², et si φ “π, alors

Rp´θqARp´θ¹q “

¨

˝

b₁₁ b₁₂ 0

´b₂₁ ´b₂₂ ´sinpφq

0 sinpφq 1

˛

‚

¨

˝

1 0 0

0 ´1 0

0 0 ´1

˛

‚“Rpθ²qRpπqp

pour un certain θ². De tout ceci, nous pouvons conclure que la fonctiong est surjective et est un hom´eomorphisme sur s0,2πrˆs0, πrˆs0,2πr.

Nous avons ainsi une param´etrisation de SO₃pRq. En terme de cette derni`ere, la mesure de Haar est donn´ee par dµpgq “ sinpφqdθdφdθ¹, i.e.,

µpfq “ żπ

0

ż2π 0

ż2π 0

fpgpθ, φ, θ¹qqsinpφqdθdθ¹dφ .

Il n’est pas difficile de v´erifier qu’il s’agit bien d’une mesure de Radon non nulle. Il reste `a v´erifier l’invariance `a gauche. Fixons 0ďθ₀ ď2π, 0ďφ₀ ďπ et 0 ďθ₀¹ ď2π. Il nous v´erifier que

żπ 0

ż2π 0

ż2π 0

fpgpθ₀, φ₀, θ¹₀q^´1gpθ, φ, θ¹qqsinpφqdθdθ¹dφ

“ żπ

0

ż2π 0

ż2π 0

fpgpθ, φ, θ¹qqsinpφqdθdθ¹dφ .

Pour montrer ceci, il nous faut consid´erer les nouvelles coordonn´eesθ₁, φ₁, θ¹₁ d´efinies par

gpθ₀, φ₀, θ¹₀q^´1gpθ, φ, θ¹q “ gpθ₁, φ₁, θ₁¹q,

o`u 0ďθ₁ ď2π, 0ďφ₁ ďπ et 0ďθ₁¹ ď2π, et calculer le jacobien Bpθ₁, φ₁, θ¹₁q

Bpθ, φ, θ¹q .

Remarque. Dans l’´enonc´e du th´eor`eme pr´ec´edent, on peut remplacer “me- sure de Haar `a gauche” par “mesure de Haar `a droite”, mais les deux notions sont distinctes, une mesure de Haar `a gauche n’´etant pas n´ecessairement une mesure de Haar `a droite.

Cette remaque nous permet de d´efinir la notion defonction modulaire sur un groupe topologiqueG admettant une mesure de Haar. En effet, si µ_G est une mesure de Haar `a gauche sur G, et sihP G, on peut d´efinir la mesure Rphq ¨µG par

ż

G

fpgqdpRphq ¨µ_Gqpgq:“

ż

G

pRphq^´1fqpgqdµ_Gpgq,

pour toute fonction int´egrable f surG. AlorsRphqµ_G est encore une mesure de Haar `a gauche sur G. En effet, pour tout t PG,

ż

G

pLptqfqpgqdpRphqµ_Gqpgq “ ż

G

pRphq^´1pLptqfqqpgqdµ_Gpgq

“ ż

G

pLptqpRphq^´1fqqpgqdµGpgq “ ż

G

pRphq^´1fqpgqdµGpgq

“ ż

G

fpgqdpRphqµ_Gqpgq.

Le point crucial de ce calcul est que les actions LetR. Il d´ecoule de ceci par unicit´e de la mesure de Haar, `a un facteur scalaire r´eel strictement positif pr`es, que :

Rphqµ_G“∆phqµ_G

pour un certain ∆phq PR^ą0. Ceci d´efinit la fonction modulaire ∆ sur G. Un calcul simple montre que

∆ph1h2q “∆ph1q∆ph2q, h1, h2 PG .

La fonction modulaire ∆ est donc un caract`ere de G dans R<sup>˚</sup>`. Il est assez facile de montrer que ce caract`ere est continu, en prenant pour fonction f dans l’identit´e ci-dessus la fonction caract´eristique d’un voisinage compact de l’origine e de G, et en utilisant les propri´et´es de r´egularit´e de la mesure µG. On a, pour toute fonction int´egrable f surG, et tout h PG,

ż

G

fpghqdµGpgq “∆phq ż

G

fpgqdµGpgq. (2.1) Th´eor`eme 2.2. Soit Gun groupe compact. Toute mesure de Haar `a gauche de G est aussi une mesure de Haar `a droite, i.e., G est unimodulaire. On peut normaliser la mesure de Haar µ_G de sorte que µ_GpGq “1.

D´emonstration. Soit µ_G une mesure de Haar `a gauche sur G. Comme G est compact, on peut int´egrer la fonction constante `egale `a 1 surG. En appliquant (2.1) avec cette fonction, on obtient, pour touthPG,

µ_GpGq “∆phqµ_GpGq.

La fonction modulaire est donc identiquement ´egale `a 1 surG, et ceci signifie queµ<sub>G</sub>est une mesure de Haar `a droite . La deuxi`eme assertion est ´evidente.

Exemples 2.1. – SiGest un groupe fini, il est compact pour la topologie discr`ete, et la mesure de comptage normalis´ee est une mesure de Haar.

– Dans un groupe topologique ab´elien, toute mesure de Haar `a gauche est aussi une mesure de Haar `a droite.

– Une mesure de Haar sur le groupepR,`q est un multiple scalaire de la mesure de Lebesgue.

– Si G “Up1q “ tz P C| |z| “ 1u, une mesure de Haar est un multiple scalaire de _2iπz^dz . Si l’on identifie Up1q et R{2πZ par θ ÞÑ e^iθ, cette mesure est donn´ee par ^dθ_2π.

Les trois principaux probl`emes en th´eorie des repr´esentations d’un groupe topologique localement compact G sont :

(1) Obtenir une classification explicite des repr´esentations unitaires irr´eductibles deG, ou pour d’autres classes int´eressantes de repr´esentations irr´eductibles.

(2) Donner une analyse explicite de L²pGq.

(3) Analyser les repr´esentations unitaires de G, qui apparaissent souvent naturellement en math´ematiques.

Essayer de r´epondre `a ces questions `a ce niveau de g´en´eralit´e semble pour l’instant impossible. Des r´eponses partielles, voir compl`etes, ont ´et´e obtenues pour certaines classes de groupes topologiques localement compacts.

3 Repr´ esentations des groupes compacts

3.1 Premiers r´ esultats

Nous allons commencer par un r´esultat int´eressant, mais qui ne servira pas vraiment dans la suite, et dont nous omettons la d´emonstration.

Th´eor`eme 3.1. Toute repr´esentation irr´eductible d’un groupe compact dans un espace de Banach est de dimension finie

Pour la d´emonstration, voir par exemple [1, Corollaire 5.8].

Proposition 3.2. Soit pπ, Vq une repr´esentation de dimension finie d’un groupe compact G. Alorspπ, Vqest irr´eductible si et seulement si pπ¹, V¹q est irr´eductible.

D´emonstration. Comme ppπ¹q¹,pV¹q¹q “ pπ, Vq quand V est de dimension finie, il suffit de montrer une seule implication pour obtenir l’´equivalence.

Supposonspπ, Vqirr´eductible et soitW un sous-espace ferm´e deV¹ invariant par π¹. Alors l’orthogonal dans V de W est ferm´e et invariant par π, et ne peut donc ˆetre que t0u ouV. Ceci montre que W “ t0u ouV¹.

Nous avons ensuite cette g´en´eralisation aux groupes compacts d’un th´eor`eme que vous avez d´ej`a vu pour les groupes finis.

Th´eor`eme 3.3. Toute repr´esentation d’un groupe compact G de dimen- sion finie peut ˆetre munie d’un produit hermitien invariant, qui rend la repr´esentation unitaire.

D´emonstration. La d´emonstration est la mˆeme que celle pour les groupes finis, grˆace `a l’existence de la mesure de Haar sur G.

Soit pπ, Vq une repr´esentation de dimension finie d’un groupe compact G muni d’une mesure de Haar µ_G normalis´ee. Comme V est de dimension finie, on peut le munir d’un produit hermitien p¨,¨q0 quelconque. D´efinissons un nouveau produit hermitien p¨,¨q1 par

pv, wq1 :“

ż

G

pπpgqv, πpgqwq0dµGpgq, v, wPV .

Ce nouveau produit v´erifie les propri´et´es de sesquilin´earit´e requises et est positif. Il est d´efini car si

pv, vq1 “0,

alors le terme sous l’int´egrale ´etant positif, il est nul. Pour g “e, ceci donne pv, vq₀ “0, et donc v “0.

V´erifions que ce nouveau produit hermitien est invariant parπ. Pour tout hP H :

pπphqv, πphqwq₁ “ ż

G

pπpgqπphqv, πpgqπphqwq₀dµ_Gpgq

“ ż

G

pπpghqv, πpghqwq0dµGpgq

“ ż

G

pπpgqv, πpgqwq₀dµ_Gpgq

“ pv, wq1.

Le point crucial du calcul est donc juste un changement de variables dans la somme.

Remarquons que l’hypoth`ese de la dimension finie ne sert qu’`a s’assurer que V est un espace de Hilbert. Si l’on suppose au d´epart que pV,p¨,¨q0q est un espace de Hilbert de dimension infinie, le mˆeme proc´ed´e de moyenne donne un nouveau produit hermitien p¨,¨q1 invariant par G. Il est facile de voir que la topologie d´efinie par ce nouveau produit hermitien est la mˆeme

que l’ancienne (les normes induites ´etant ´equivalentes), et doncV est encore un espace de Hilbert pour p¨,¨q1.

On dit qu’une repr´esentation est compl`etement r´eductible, ou semi- simple, si elle peut s’´ecrire comme somme directe de repr´esentations irr´eductibles.

Corollaire 3.4. Toute repr´esentation de dimension finie d’un groupe com- pact G est compl`etement r´eductible.

D´emonstration. Cela d´ecoule du th´eor`eme pr´ec´edent et du th´eor`eme 1.2 de la mˆeme fa¸con que pour les groupes finis, `a l’aide d’une r´ecurrence sur la dimension de la repr´esentation.

Tout espace vectoriel complexe de dimension finie peut ˆetre muni d’un produit hermitien qui en fait un espace de Hilbert. Le th´eor`eme 3.3ci-dessus montre que l’on peut, par un argument de moyenne, rendre ce produit her- mitien invariant sous l’action de G.

Que se passe-t-il si l’on part d’une repr´esentation (non n´ecessairement unitaire) de G dans un espace de Hilbert ? Peut-on la rendre unitaire ?

L’argument de moyenne marche encore, et l’on obtient un produit hermi- tien invariant sous l’action de G. Le probl`eme est de v´erifier que la nouvelle topologie d´efinie par le produit hermitien invariant co¨ıncide avec l’ancienne, en particulier, que l’espace reste complet. La r´eponse `a cette question est positive :

Proposition 3.5. Toute repr´esentation d’un groupe compact G dans un es- pace de Hilbert H peut ˆetre munie d’un produit hermitien invariant sous l’ac- tion de G, qui rend la repr´esentation unitaire et d´efinit la mˆeme structure topologique sur H.

Voir [1, Prop 2.7]. La d´emonstration n´ecessite bien sˆur un peu d’analyse, en particulier le th´eor`eme de Banach–Steinhaus.

3.2 Lemme de Schur

Soit G un groupe compact. Notons Gp l’ensemble des classes d’´equivalences des repr´esentations (de dimension finie) irr´eductibles deG.

Nous allons donner plus bas l’analogue aux groupes compacts du lemme de Schur pour les groupes finis. Pour le d´emontrer, nous aurons du lemme suivant.

Th´eor`eme 3.6 (Lemme de Schur). Soit T un op´erateur d’entrelacement entre deux repr´esentations de dimension finie irr´eductiblespπ₁, V₁qetpπ₂, V₂q d’un groupe compact G. Alors

– Si pπ₁, V₁q et pπ₂, V₂q ne sont pas ´equivalentes, alors T “0,

– Si pπ₁, V₁q et pπ₂, V₂q sont ´equivalentes, alors Hom_GpV₁, V₂q est de di- mension 1. De mani`ere ´equivalente, Hom_GpV₁, V₂q est l’ensemble des multiples scalaires de l’identit´e de V₁.

D´emonstration. Le premier point d´ecoule facilement du lemme 1.1. En effet, sipπ₁, V₁qetpπ₂, V₂qne sont pas ´equivalentes,T n’est pas inversible. S’il n’est pas injectif, son noyau est non trivial. Mais pπ₁, V₁q ´etant irr´eductible, ceci donne par invariance de kerT que kerT “ V1, et donc T “ 0. De mˆeme s’il n’est pas surjectif, son image imT est un sous-espace invariant de V₂ diff´erent de V₂. La repr´esentation pπ₂, V₂q ´etant irr´eductible, imT “ t0u, et donc T “0.

Pour le second point, soit T P Hom_GpV₁, V₂q et consid´erons une valeur propre λ de T. Soit V_λ le sous-espace propre correspondant. Il est non nul par hypoth`ese, et donc par irr´educibilit´e de pπ₁, V₁q, V_λ “ V₁. Ceci montre que T “ λId_V1. L’´equivalence entre les deux formulations du second point vient du fait que, si S :V₁ ÑV₂ est un op´erateur d’entrelacement inversible r´ealisant l’´equivalence entre pπ₁, V₁q etpπ₂, V₂q, l’application

Hom_GpV₁, V₁q ÑHom_GpV₁, V₂q, T ÞÑS˝T

est un isomorphisme lin´eaire continu d’inverse donn´e par T ÞÑS^´1˝T.

3.3 Coefficients matriciels et relations de Schur

Nous commen¸cons cette section par un lemme assez g´en´eral sur les repr´esentation d’un groupe compact.

Lemme 3.7. Soient pπ, Vq et pτ, Wq deux repr´esentations d’un groupe com- pact G et soitA PHompV, Wq. Alors

A^˝ :“

ż

G

τpgqAπpgq^´1dµ_Gpgq d´efinit un ´el´ement de Hom_GpV, Wq.

D´emonstration. On a, par invariance de la mesure de Haar, A^˝πpgq “

ż

G

τptqAπpg^´1tq^´1dµ_Gptq “ ż

G

τpgtqAπptq^´1dµ_Gptq, i.e., A^˝πpgq “ τpgqA^˝.

Le r´esultat qui suit est une application du lemme de Schur qui nous servira pour la suite. Rappelons que, pour un groupe compactG,µ_Gd´esigne sa mesure de Haar normalis´ee.

Proposition 3.8. Soient pπ, Vq etpτ, Wqdeux repr´esentations irr´eductibles d’un groupe compact Get soit A:V ÑW une application lin´eaire continue.

Alors A^˝ est ´egal `a 0 si τ n’est pas ´equivalente `a π et ´egal `a _dim^trA_VId_V si pτ, Wq “ pπ, Vq.

D´emonstration. Comme on voit facilement que A^˝ est un op´erateur d’entre- lacement, d’apr`es le lemme de Schur, A<sup>˝</sup> “0 si τ n’est pas ´equivalent `aπ et A^˝ “αId_V si pτ, Wq “ pπ, Vq. Il reste `a d´eterminer α. On a

αdimV “trA^˝ “ ż

G

trpπpgqAπpg^´1qqdµ_Gpgq “trA .

SoitGun groupe compact. SoitCpGql’espace des fonctions continues sur G `a valeurs complexes. Cet espace, muni de la norme sup, est un espace de Banach. Nous allons introduire certains ´el´ements deCpGq, appel´es coefficients matriciels des repr´esentations.

Soit pπ, Vq une repr´esentation de G. On appelle coefficient matriciel de π une fonction sur G, `a valeurs complexes, de la forme

φ^π_v,λ :g ÞÑλpπpgqvq,

o`u λ PV<sup>1</sup> et v P V. La terminologie vient du fait o`u si l’on choisit une base ad´equate pour V et que l’on exprime l’application lin´eaire πpgq dans cette base sous forme matricielle, alors φ^π_v,λpgq d´esignera un coefficient de cette matrice.

Les relations de Schur, que vous connaissez pour les groupes finis, sont encore valides, ainsi que les propri´et´es d’ind´ependance lin´eaire des coefficients matriciels dans CpGq. Par contre, comme CpGq n’est pas de dimension finie, on ne peut pas en d´eduire que Gp est fini (en g´en´eral, il ne l’est pas).

Avant de donner ces r´esultats, introduisons la notation suivante. Pour toute fonction continue φ sur G, notons ˇφ:g ÞÑφpg^´1q.

Lemme 3.9 (Relations d’orthogonalit´e de Schur).

(i) Soit pπ, Vq une repr´esentation irr´eductible de G. Alors, pour tous v₁, v₂ P V, pour tous λ₁, λ₂ PV¹, on a :

ż

G

φ^π_v1,λ1pgqφˇ^π_v2,λ2pgqdµ_Gpgq “ λ₁pv₂qλ₂pv₁q d_π . o`u d_π “dimV.

(ii) Soient pπ₁, V₁q, pπ₂, V₂q deux repr´esentations irr´educitbles de G non

´

equivalentes. Alors, pour tous v₁ PV₁, v₂ PV₂, λ₁ P V₁¹, λ₂ PV₂¹, ż

G

φ^π_v1¹_,λ1pgqφˇ^π_v2²_,λ2pgqdµGpgq “ 0.

D´emonstration. Soient λ₁ P V₁¹, v₂ P V₂. Consid´erons l’application lin´eaire (continue) A:V1 ÑV2 d´efinie par

Apvq “ λ₁pvqv₂.

Soient maintenant aussi λ₂ P V₂¹ et v₁ P V₁. Alors, avec les notations du lemme 3.7, on a

λ₂pA^˝v₁q “ λ₂ ˆż

G

π₂pgqApπ₁pgq^´1v₁qdµ_Gpgq

˙

“ λ₂ ˆż

G

π₂pgqλ₁pπ₁pgq^´1v₁qv₂dµ_Gpgq

˙

“ λ₂ ˆż

G

λ₁pπ₁pgq^´1v₁qπ₂pgqv₂dµ_Gpgq

˙

“ ż

G

λ₁pπ₁pgq^´1v₁qλ₂pπ₂pgqv₂qdµ_Gpgq.

On effectue le changement de variables g ÞÑg^´1 dans l’int´egrale pour retrou- ver le membre de gauche des ´egalit´es dans (i) et (ii). On conclut grˆace `a la proposition 3.8 et au fait que trA“λ1pv2q quand π1 “π2.

Corollaire 3.10. Soient pπ_i, V_iq, i “ 1, . . . , r, des repr´esentations irr´eductibles d’un groupe compact G, non ´equivalentes deux `a deux. Pour chaque i, choisissons v_i P V_i et λ_i PV_i¹ non nuls. Alors les coefficients matri- ciels φ^π_vⁱ

i,λi sont lin´eairement ind´ependants dans CpGq.

D´emonstration. Supposons que ř

ic_iφ^π_vⁱ

i,λi “0. Fixons j entre 1 etr et choi- sissons λ¹_j P V_j¹ tel queλ¹_jpvjq “1 etv¹_j P Vj tel queλjpv¹_jq “ 1. Alors, d’apr`es le lemme pr´ec´edent, on a

0 “ ż

G

˜ ÿ

i

c_iφ^π_vⁱ

i,λipgq

¸ φˇ^π_v1^j

j,λ¹_jpgqdµ_Gpgq “ c_j ż

G

φ^π_vⁱ

i,λipgqφˇ^π_v^j1

j,λ¹_jpgqdµ_Gpgq

“ cjd^´1_πj . Donc c_j “0.

3.4 Transformation de Fourier pour les groupes com- pacts

SoitL²pGql’espace de Hilbert des fonctions (`a valeurs complexes, mesurables, modulo l’´egalit´e presque partout) de carr´e int´egrable par rapport `a la mesure de Haar normalis´eeµ_G, le produit hermitienp¨,¨qL² ´etant d´efini de la mani`ere habituelle suivante :

pf, hq_L² :“

ż

G

fpgqhpgqdµ_Gpgq. L’espace CpGq est un sous-espace dense de L²pGq.

D´efinissons le produit de convolution sur CpGq et L²pGq. Soient f₁, f₂ P CpGq. Leur produit de convolution f1˚f2 est d´efini par :

f₁˚f₂pgq “ ż

G

f₁ptqf₂pt^´1gqdµ_Gptq.

Il est clair que f₁ ˚f₂ PCpGq. L’in´egalit´e de Cauchy–Schwarz donne

|f₁˚f₂pgq| ď }f₁}2}f₂}2,

ce qui montre que le produit de convolution peut ˆetre ´etendu par continuit´e

`

a L²pGq:

˚:L²pGq ˆL²pGq ÑL²pGq.

L’espaceL²pGq muni du produit de convolution est une alg`ebre associa- tive. D’autre part, L<sup>2</sup>pGq est muni de la repr´esentation r´eguli`ere LˆR de GˆGet cette repr´esentation est unitaire.

Dans le cas des groupes finis, FpGq “L²pGq.

Pour les groupes compacts g´en´eraux, c’est l’espaceL²pGq, muni de toutes ses structures (espace de Hilbert, repr´esentation unitaire de GˆG, alg`ebre de convolution) qui joue le premier rˆole, comme nous allons le voir ci-dessous.

Remarquons que L²pGq n’admet pas d’´el´ement neutre, siG n’est pas fini.

Pour pπ, Vq une repr´esentation de dimension finie d’un groupe compact G, on d´efinit l’application

π :L²pGq ÑEndpVq, f ÞÑπpfq:“

ż

G

fpgqπpgqdµ_Gpgq.

L’int´egrale ci-dessus est bien d´efinie car, comme G´etant compact, L²pGq Ă L¹pGq.

Remarquons que EndpVq est naturellement muni d’une action deGˆG, not´ee Endπ par :

pEndpπqpg₁, g₂qAqpvq:“πpg₁qpAπpg₂q^´1vq, v PV, g₁, g₂ PG, APEndpVq. (3.1) Proposition 3.11. L’application π est un morphisme d’alg`ebres de L<sup>2</sup>pGq dans EndpVq qui entrelace la repr´esentation r´eguli`ere LˆR de GˆG sur FpGq et la repr´esentation Endπ dans EndpVq.

D´emonstration. Il s’agit de montrer que si f1, f2 P L²pGq, πpf₁˚f₂q “πpf₁qπpf₂q.

Dans le membre de droite, le produit est la composition des op´erateurs dans

EndpVq. Calculons πpf1˚f2q “

ż

G

pf1˚f2qpgqπpgqdµGpgq

“ ż

G

ˆż

G

f₁ptqf₂pt^´1gqdµ_Gptq

˙

πpgqdµ_Gpgq

“ ż

G

ż

G

f₁ptqf₂pgqπptgqdµ_Gpgqdµ_Gptq

“ ż

G

ˆż

G

f₁ptqπptqdµ_Gptq

˙

f₂pgqdµ_Gpgq

“ πpf1qπpf2q.

Montrons que π est un op´erateur d’entrelacement. Soient x, y P G, f P L²pGq. Calculons :

πppLˆRqpx, yqfq “ ż

G

ppLˆRqpx, yqfqpgqπpgqdµ_Gpgq

“ ż

G

fpx^´1gyqπpgqdµGpgq

“ ż

G

fpgqπpxgy^´1qdµ_Gpgq

“ πpxq ż

G

fpgqπpgqdµ_Gpgqπpy^´1q

“ πpxqπpfqπpy^´1q.

Ceci permet de d´efinir la transform´ee de Fourier Ff d’une fonction f PL²pGqcomme pour les groupes finis. Pour f PL²pGq, on pose

Ffpδq:“π_δpfq “ ż

G

fpgqπ_δpgqdµ_Gpgq, δPG .p

Lemme 3.12. La transformation de Fourier v´erifie les propri´et´es suivantes : (i) Pour tous f₁, f₂ PFpGq,

Fpf1˚f2q “Fpf1qFpf2q.

(ii) L’application F est unGˆG-morphisme deL²pGqdansś

δPGpEndpV_δq.

D´emonstration. D´ecoule imm´ediatement de la proposition3.11.

Il faut remarquer que cette transform´ee de Fourier est `a valeurs dans le produit infini ś

δPGpEndpVδq. Ceci pose un probl`eme pour d´efinir la trans- form´ee de Fourier inverse, celle-ci ´etant d´efinie par une somme sur Gp (qui n’est pas fini en g´en´eral), qui pourrait ne pas converger. Pour ´eviter cela, nous allons restreindre le domaine de la transform´ee de Fourier inverse `a À

δPGpEndpV_δq. La somme directe à

δPGp

EndpV_δq est le sous-espace de ś

δPGpEndpV_δq constitu´e des familles pFpδqq_δPGp telles que Fpδq “ 0 sauf pour un nombre fini de δ P G. Ceci nous assurera que lap transform´ee de Fourier inverseF est bien d´efinie sur ce sous-espace, puisque seul un nombre fini de termes sont non nuls dans la somme d´efinissant la transform´ee de Fourier inverse.

D´efinissons la transform´ee de Fourier inverse. Soit pFpδqq_δPGp P à

δPGp

EndpV_δq. Posons, pour toutg PG,

FFpgq:“ ÿ

δPGp

d_δtrpπ_δpgq^tFpδ¹qq “ ÿ

δPGp

d_δtrpπ_δ¹pgq^tFpδqq. On obtient ainsi une fonction sur G.

Lemme 3.13. Pour tout F “ pFpδqq_δPGp PÀ

δPGpEndpV_δq, F FF “F .

D´emonstration. Rappelons que si V est un espace vectoriel de dimension finie, la forme bilin´eaire sym´etrique

pA, Bq ÞÑtrpABq

sur EndpVqest non d´eg´en´er´ee. On a doncF FF “F si et seulement si pour tout δ PGp et toutAP EndpVδq, trppF FFqpδqAq “ trpFpδqAq. Calculons

trppF FFqpδqAq “ tr ˆˆż

G

pFFqpgqπ_δpgqdµ_Gpgq

˙ A

˙

“ tr

¨

˝

¨

˝ ż

G

ÿ

νPGp

d_νtrpπ_ν¹pgq^tFpνqqπ_δpgqdµ_Gpgq

˛

‚A

˛

‚

“ ÿ

νPGp

d_ν ż

G

trpπ_ν¹pgq^tFpνqqtrpπ_δpgqAqdµ_Gpgq. Si l’on fixe une base pviqi deVν de base duale pv_i^˚qi, on a

trpπ_ν¹pgq^tFpνqq “ÿ

i

v_ipπ_ν¹pgq^tFpνqv_i^˚q

“ ÿ

i

pπ_νpgq^´1v_iqp^tFpνqv_I^˚q “ÿ

i

pπ_νpgq^´1v_iqpw_i^˚q

“ ÿ

i

w_i^˚pπ_νpgq^´1v_iq “ ÿ

i

φˇ^ν_v

i,w^˚_ipgq, o`u l’on a pos´e w^˚_i :“^tFpνqv^˚_i.

De mˆeme, en fixant une base pe_jqj deV_δ de base dualepe^˚_jqj, trpπ_δpgqAq “ ÿ

j

e^˚_jpπ_δpgqAe_jq “ÿ

j

e^˚_jpπ_δpgqf_jq “ÿ

j

φ^δ_f,e˚ jpgq, o`u l’on a pos´e f_j “Ae_j.

En reportant dans le calcul pr´ec´edent, ceci donne trppF FFqpδqAq “ ÿ

i,j

ÿ

νPGp

φ^δ_f

j,e^˚_jpgqφˇ^ν_v

i,w_i^˚pgqdµGpgq.

Les formules d’orthogonalit´e de Schur nous disent que les termes de cette somme sont nuls sauf si ν“δ, donc

trppF FFqpδqAq “ ÿ

i,j

w_i^˚pf_jqv_i^˚pe_iq

“ ÿ

i

p^tFpδqv_i^˚qpAv_iq “ ÿ

i

v_i^˚pFpδqAv_iq “ trpFpδqAq. Ceci termine la d´emonstration du lemme.

Le probl`eme est maintenant de d´eterminer l’image deF dans L²pGq.

Pour toutδ PG, on d´p efinitRpδqcomme le sous-espace deCpGqengendr´e par les coefficients matriciels de la repr´esentation δ. On pose aussi :

RpGq:“à

δPGp

Rpδq.

Il est alors facile de voir que F r´ealise un isomorphisme entre À

δGpEndpV_δq etRpGq, plus pr´ecis´ement, F r´ealise un isomorphisme entre chaque EndpV_δq et Rpδq.

Le th´eor`eme de Peter-Weyl pour les groupes compacts peut s’´enoncer ainsi :

Th´eor`eme 3.14 (Peter–Weyl). Soit G un groupe compact. Le sous-espace RpGq de CpGq est dense dans CpGq et dans L²pGq.

Dans le cas des groupes finis, pour montrer que F et F sont des iso- morphismes inverses l’un de l’autre, on montre que F F est l’identit´e, puis l’injectivit´e de F, la surjectivit´e de F s’en d´eduisant alors. Le r´esultat ci- dessus remplace la surjectivit´e de F. On le d´emontre en commen¸cant par

´

etablir un r´esultat analogue de l’injectivit´e de F.

Th´eor`eme 3.15. Pour tout g P G, g ‰ e, il existe une repr´esentation irr´eductible de dimension finie pπ, Vq de G telle que πpgq ‰Id_V.

On dit que les repr´esentations irr´eductibles de G “s´eparent les points”.

La d´emonstration de ce th´eor`eme utilise le th´eor`eme spectral pour les op´erateurs auto-adjoints compacts. Nous renvoyons le lecteur `a [1, chapitre 4].

Choisissons, dans chaque Rpδq, une base orthogonale. Alors le th´eor`eme ci-dessus affirme que la r´eunion de toute ces bases forme une base au sens hilbertien de l’espace de Hilbert L<sup>2</sup>pGq. Nous ´ecrivons ceci de la mani`ere suivante :

L²pGq “ àx

δPGpRpδq.

Nous pouvons maintenant identifier l’image deL²pGq par la transforma- tion de Fourier F. Il s’agit de l’espace de Hilbert

àx

δPGpEndpV_δq.