Autodualit´e : le cas r´eflexif

ce qui comprend tous les cas int´eressants, notamment les exemples 2.11. Il est facile de voir (m≥2) que la r´eflexivit´e deb´equivaut `a la condition suivante :

(2.16) K^τK=κI avec κcentral,

ou encoreK^τ=κK^∗. On a n´ecessairementκκ^στ = 1 etb(x, y)^∗ =κ⁻¹b(y, x)^τ (x, y ∈ k^m). Si k = R ou H (resp. k = C et τ = σ), alors κ = ±1 et b est hermitienne ou antihermitienne (resp. sym´etrique ou antisym´etrique). Sik=C et τ= id, alors|κ|²= 1 et on peut multiplierb pour la rendre hermitienne.

On confondra dans la suite toute matrice M ∈ Mm(k) avec l’´el´ement de L^k(k^m) qu’elle d´efinit. L’applicationτ◦M (semi-lin´eaire) sera not´eeτ M, de sorte que M^τ =τ M τ. Remarquer que τ K conserve l’orthogonalit´e et que (2.16) s’´ecrit (τ K)²=κI.

SoitHm(k) leR-espace vectoriel des matrices hermitiennes muni du produit euclidien d´efini positif 'X, Y(^I = Tr^h(XY) (voir (2.9)). La conjugaison par (τ K)⁻¹ d´efinit une isom´etrie deHm(k) :

ψK(X) = (τ K)⁻¹X(τ K) =K^∗X^τK %

X ∈Hm(k)&

.

D’apr`es (2.16),b est r´eflexive si et seulement siψK est involutive. On voit que Σb ={I}´equivaut `aψK = Id,i.e. τ= id et bproportionnelle, par un scalaire central de module 1, au produit hermitien '. , .( (voir plus g´en´eralement le lemme 2.15, 2).

N.B. — Pour all´eger les ´ecritures, on ram`enera tr`es souvent l’´etude d’un point A = P P^∗ = P ·I ∈ Vf,b (P ∈ P^f,b) `a celle du point I (point de vue du r´eseau Λ =P^∗O^m). Notonsk^m

A l’espacek^mmuni du produit scalaire hermitien x^∗Ay (x, y ∈k^m). Consid´erons en outre une repr´esentation ρ `a valeurs dans GVf,b∩GLm(O) et supposons A∈ V_f,b^ρ (i.e. ρ^∨ =ρ^∗−1 est A-unitaire). On a un isomorphisme

(2.17) (O^m,k^m

A, f, ρ^∨) ^P

∗

−−→(Λ,k^m

I , b, ς)

o`uς =P^∗ρ^∨P^∗−1 =P⁻¹ρP est unitaire et fixe Σb dansP_m^k. Les gradients de fP∗s|Σ^ς_b enI et defs|V_f,b^ρ enA se correspondentvia l’action isom´etrique deP surP_m^k.

CommeψK est involutive, la projection orthogonale deHm(k) sur l’espace tangent TIΣb = ker(ψK + Id) vaut simplement πb = ¹₂(ψK −Id). On d´efinit une application de k^mdansTIΣb par

Xu=uu^∗−K^∗u^τu^∗τK= 2πb(uu^∗) (u∈k^m, Xu∈TIΣb).

Plus g´en´eralement, siN est un sous-espace dek^m

I , on notePN la matrice (dans la base canonique) de la projection orthogonale surN et on pose

(2.18) XN = 2πb(PN) =PN −Pτ KN.

On a XN = 0 si et seulement si N est stable par τ K; en particulier Xu = 0

´equivaut `a Ku = u^ταavec αα^τ =κ. Noter aussi que Xu = 2∇(fu|Σ_b)(I) et que

(2.19) 1

2'X, Xu(I ='X, uu^∗(I =X{u} (X∈TIΣb, u∈k^m).

Dans la suite on note :

• MLm(k) le sous-groupe desPappartenant `a GLm(k) tels que|det(P)|= 1 (MLm(H) = SLm(H)),

• MUf(k) le groupe des similitudes unitaires relatives `af dont le multipli-cateur (´el´ement central) est de module 1.

Proposition 2.14 (stabilisateur deVf,b). — MU^∗_f(k) (resp. MUb(k)) est le stabilisateur de Vf,b (resp. deΣb)pour l’action de MLm(k)surP_m^k.

Preuve. — SoitP ∈MLm(k) fixant Σb. Comme SUb(k) est transitif sur Σb on peut supposer que P ·I =I, i.e. P ∈ Um(k). L’action isom´etrique de P sur TIPk^mfixe TIΣb, donc commute avecπb. Par suite on a P XuP^∗ =XP u pour toutu∈k^m, c’est-`a-direP K<sup>∗</sup>u<sup>τ</sup>u<sup>∗τ</sup>KP<sup>∗</sup>=K<sup>∗</sup>P<sup>τ</sup>u<sup>τ</sup>u<sup>∗τ</sup>P<sup>∗τ</sup>K, d’o`u l’on d´eduit que P^∗τKP K^∗u^τ =u^ταu (αu ∈k), puis (m≥2) queP^∗τKP K^∗ =αI avec αcentral de module 1. Inversement il est clair que MUb(k) stabilise Σb. Enfin, les groupes MU^∗_f(k) et MU^∗_b(k) = MUb(k) ´etant conjugu´es par tout ´el´ement dePf,b, on a aussi l’assertion surVf,b.

Consid´erons maintenant un sous-groupe de Lie G de MU^∗_f(k) contenant SU^∗_f(k) ainsi qu’une partieD non vide deO^m\ {0} stable parG^∗∩GLm(O).

Bien sˆur l’exemple principal est D = O^m\ {0} (invariant d’Hermite), mais il y a d’autres choix int´eressants, en particulier siG=U_f^∗(k) et sif repr´esente l’entier ξ,D={u∈ O^m\ {0};f(u, u) =ξ}([4]).

Th´eor`eme 1(non isotropie des points faiblement eutactiques)

1)Tout point A∈V_f,b^ρ faiblement eutactique pourµ^Dest non isotrope(donc µ^D(A)≥1).

2) Ici D = O^m\ {0}. Modulo l’action de G^ρ(O), il n’y a dans V_f,b^ρ qu’un nombre fini :

2a) de classes minimales contenant un point faiblement eutactique (par exemple extrˆeme ou eutactique),

2b)de points parfaits,

2c)de points eutactiques non d´eg´en´er´es.

o

En particulier le nombre de points strictement extrˆemes (i.e. parfaits et eutactiques)est fini modulo G^ρ(O).

Preuve. — 1) On peut supposer queρest triviale (lemme 2.8) et on se ram`ene par (2.17) au point I ∈ Σb. Soit M le sous-espace de k^m engendr´e par l’en-semble des vecteurs minimaux. Si M est totalement isotrope pour b, on a la d´ecomposition orthogonale

k^m=M⊕(M^⊥∩M^⊥b)⊕(M^⊥b)^⊥.

On v´erifie queτ K permuteM et L= (M^⊥b)^⊥ (et conserveM^⊥∩M^⊥b). Par suiteXM =PM−PL ∈TIΣb (voir (2.18)). D’apr`es (2.19), on a 'XM, Xt(^I = 2µ(A) /= 0 pour tout vecteur minimal t du r´eseau, ce qui contredit l’eutaxie faible (lemme 1.1, 4).

2) On d´eduit de l’assertion 1) la finitude des classes«faiblement eutactiques» (proposition 2.13) ainsi que celle des points eutactiques non d´eg´en´er´es (propo-sition 1.6, 2), unicit´e). CommeV_f,b^ρ est d´efinie dansP_n^R(n=m, 2mou 4m) par des ´equations alg´ebriques `a coefficients entiers (proposition 2.9, 2), la finitude des points parfaits r´esulte de 2a) et du corollaire 1.12, 1).

Note 2.12. — L’assertion 2c) est `a comparer avec la finitude, pour les r´eseaux isoduaux r´eels et Π trivial, des points eutactiques avec rang(SA) maximal, [10, cor. 6.9]. La non isotropie est une condition bien plus faible ; il existe par exemple un r´eseau orthogonal eutactique et non d´eg´en´er´e avec rang(SA) = 1 (exemple 2.15).

SoitA =P P^∗ ∈V_f,b^ρ o`uP ∈ P<sup>f,b</sup>. Dans les ´enonc´es qui suivent, on notera toujours M (resp. MA) le sous-espace de k<sup>m</sup> engendr´e (ou ce qui revient au mˆemeR-engendr´e) par les vecteurs minimaux de Λ =P<sup>∗</sup>O<sup>m</sup>(resp. deA) etςla repr´esentation `a valeurs dans Um(k)∩MUb(k) donn´ee par (2.17). ´Evidemment M et M^⊥ sont stables parς (ς-modules) carSA⊂D est stable parρ^∨. D´efinition 2.3. — Un sous-moduleN duς-modulek^mesttotalement stable par une applicationϕsi tout sous-module de N est stable parϕ.

Lemme 2.15. — 1) Soit N un sous-module de k^m. Alors N est totalement stable par τ K si et seulement si tout ς-endomorphisme hermitien qui laisse stable N commute avecτ K.

2) La vari´et´e V_f,b^ρ est r´eduite `a un point si et seulement si le ς-module k^m est totalement stable par τ K.

Preuve. — 1) SupposonsN totalement stable par τ K et soitX appartenant

`a L<sup>ς</sup>(k<sup>m</sup>)∩Hm(k), o`u L^ς(k^m) d´esigne l’anneau des endomorphismes du ς -module k^m. Les composants isotypiques de N ´etant stables par X et τ K, on peut supposer queN est isotypique. SoitSun sous-module simple deN (type de N). L’´el´ement de L^ς(N) induit par X sera encore not´e X. On sait que

Ω =Lς(S) est un corps (lemme de Schur) et que la composition des applications donne `a droite une structure de Ω-espace vectoriel (`a droite) surW =Lς(S, N), et `a gauche un isomorphisme d’anneaux du commutant Lς(N) sur LΩ(W).

De plusLς(S,·) est une correspondance bijective entre les sous-modules deN et les sous-espaces vectoriels deW (cf. [14, Alg., ch. 8,§4.4]). Sachant queς est

`

a valeurs dans Um(k)∩MUb(k) et queτ K stabilise les sous-modules deN, on v´erifie que la conjugaison parτ K induit une application semi-lin´eaire Φ deW dans W stabilisant chaque sous-espace vectoriel. De mˆeme τ KX(τ K)⁻¹ est dansL^ς(N).

Si dimΩW ≥ 2, il existe λ ∈ Ω tel que Φ(w) = w◦λ pour tout w ∈ W (Φ stabilise chaque droite). Mais Φ fixe l’injection de S dansN, doncλ= 1.

Pour toutw∈W, on aX◦w∈W et τ KX(τ K)⁻¹◦w= Φ(X◦w) =X◦w, d’o`uτ KX(τ K)⁻¹=X.

Reste le cas o`u dimΩW = 1, i.e. N = S. Le corps Ω = W est muni de l’automorphisme continu Φ, de l’anti-automorphisme involutif continuξinduit par∗, et on aX ∈Ω<sup>ξ</sup>. On peut ´ecarter le cas ´evident o`u Ω est isomorphe `a R.

Alors Ω contient un ´el´ement de carr´e −1 qui ne peut ˆetre hermitien car non positif, doncξest non trivial. Si Ω3C,ξest la conjugaison et Φ (identit´e ou conjugaison) fixe chaque ´el´ement de Ω^ξ. Enfin si Ω3 H,ξ est conjugu´e `a la conjugaison (anti-automorphisme involutif) et dimRΩ^ξ = 1 ; mais Ω^ξ contient les homoth´eties centrales, c’est donc le centre de Ω et il est fixe point par point par Φ.

R´eciproquement, soitLun sous-module de N. Alors la projectionPL com-mute avecτ K,i.e. Lest stable parτ K.

2) L’espace tangent TIΣ^ς_b est r´eduit `a {0} si et seulement si tout ´el´ement deHm(k)∩ L^ς(k^m) commute avecτ K. L’assertion 2) est donc cons´equence de l’assertion 1).

Th´eor`eme 2(crit`ere de non d´eg´en´erescence). — Soit ρ : Π→ G∩GLm(O) et soit A∈V_f,b^ρ .

1) On suppose que M^⊥ est totalement stable par τ K (ou de fa¸con ´equiva-lente que le ρ^∨-moduleM_A^⊥A est totalement stable parτ F^∨A). AlorsAest non d´eg´en´er´e pourµ^D.

2) Si A est eutactique pour µ^D, alors M^⊥ =M^⊥b (i.e. M^⊥ est stable par τ K)etAest non d´eg´en´er´e si et seulement siM^⊥ est totalement stable parτ K.

Preuve. — 1) Soit X ∈ TIΣ^ς_b nulle sur M. Comme X est hermitienne, X laisse stable leς-moduleM^⊥donc (lemme 2.15, 1) commute avecτ K. De plus X ∈ker(ψK+ Id), ce qui entraˆıneX = 0 et on conclut queAest non d´eg´en´er´e (proposition 2.3).

o

2) Pour ´etablir M^⊥ =M^⊥b, on peut supposer ρtriviale (lemme 2.8) et il suffit de voir queM^⊥b est inclus dansM^⊥. Dans le cas contraire, la relation

1

2'Xt, Xu(I =Xt{u}=..'t, u(..²−..b(t, u)..² (t, u∈k^m)

montre qu’il existe un vecteur de la formeXu semi-positif, ce qui est absurde (lemme 1.1, 2).

Supposons de plus que A est non d´eg´en´er´e dans V_f,b^ρ . Soit N un sous-module de M^⊥. Alors PN commute avec ς ainsi que ψK(PN), autrement dit πb(PN)∈TIΣ^ς_b. Comme M est stable par τ K, πb(PN) s’annule sur M, doncπb(PN) = 0 etN est stable parτ K.

Remarque 2.13. — La condition suffisante de non d´eg´en´erescence 1) est va-lable mˆeme sibn’est pas r´eflexive (on n’utilise pas le fait que ΨKest involutive).

Pour avoir des informations plus fines on est amen´e `a faire des hypoth`eses sur la repr´esentationρ. Nous dirons queρ: Π→GLm(k) estdiagonalisable si elle est somme directe de repr´esentations de dimension 1 agissant par homoth´eties centrales. Dans ce casρse factorise par un groupe d’exposant 2 sik=RouH (conjuguer `a une repr´esentation unitaire) et par un groupe ab´elien si k =C.

Inversement, il est clair que toute repr´esentation dans GLm(k) d’un groupe fini ab´elien Π, d’exposant 2 si k = R ou H, est diagonalisable. Les composants isotypiques des Π-modules N sont du type«sous-espaces propres» :

(2.20) Eχ="

u∈N;π·u=uχ(π),∀π∈Π# ,

o`u χest un caract`ere de Π `a valeurs dans le centre de k. Bien qu’´etant assez particuli`eres, les repr´esentations diagonalisables permettent de traiter des cas int´eressants et significatifs, comme l’invariant de Berg´e-Martinet (§2.10).

Remarque 2.14. — Siρest diagonalisable, un sous-moduleN est totalement stable parτ Ksi et seulement siτ Kstabilise tout composant isotypiqueEdeN en y induisant une homoth´etie centrale sidim^kE≥2. En effet les composants isotypiques de N sont ici de la forme (2.20) et toutes leurs droites sont des sous-modules.

Corollaire 2.16 (cas diagonalisable). — Soit ρ comme dans le th´eor`eme2 avec Π ab´elien et suppos´e d’exposant 2 si k =R ouH, et soit nρ le nombre de composants isotypiques deρ. On noteab la dimension maximale d’un sous-espace anisotrope, i.e. sans vecteurs isotropes, pour b.

Soit A ∈ V_f,b^ρ eutactique et non d´eg´en´er´e pour µ^D (par exemple parfait et eutactique). Alors les composants isotypiques deM^⊥ (resp. deM_A^⊥A) sont ani-sotropes pour b(resp. pourf)et on a l’in´egalit´e

dim^kM^⊥≤nρab ≤ |Π|ab.

En particulier, sib est symplectique(k=RouC)les vecteurs minimaux deA engendrent k^m, et si b est sym´etrique sur C ou antihermitienne sur H, on a codim^kM ≤nρ≤ |Π|.

Preuve. — Soitu∈M^⊥ dans un composant isotypique. D’apr`es le th´eor`eme 2, 2) et la remarque 2.14, il existe αu ∈ k de module 1 tel que τ Ku = uαu, d’o`ub(u, u) =|u|<sup>2</sup>αu. Les composants isotypiques deM<sup>⊥</sup> sont donc de dimen-sion major´ee parab et leur nombrenρest au plus ´egal au nombre de caract`eres

«centraux» de Π, c’est-`a-dire|Π|. Dans le cas symplectique on a ab= 0. Sib est sym´etrique surCou antihermitienne surHil est facile de voir que tout plan poss`ede des vecteurs isotropes, doncab = 1.

Exemple 2.15. — Il se peut effectivement queM soit de grande codimension.

Dans R^p⊕R^q (p= 8k,k≥1 et q≥1) prenons K=Ip,q (forme de signature (p, q) usuelle) et consid´erons le r´eseau orthogonal impair Λ =E₈^k⊕Z^q. Alors Λ est eutactique car les gradients des vecteurs minimaux sont tous nuls,M =R^q et Λ est non d´eg´en´er´e (th´eor`eme 2, 1). Noter que si q= 1, il n’y a qu’un seul couple de vecteurs minimaux et Λ est un minimum local strict deµ parmi les r´eseaux orthogonaux de mˆeme type (proposition 1.6, 2a).

Pour tout module semi-simple M, on noteT^M l’ensemble des types qui ap-paraissent dans M et /

S∈TMMS la d´ecomposition deM en composants iso-typiques.

Th´eor`eme 3(rang des vecteurs minimaux pour les points parfaits) Soit ρ: Π→G∩GLm(O)et soit A∈V_f,b^ρ un point parfait pour µ^D. 1) PosonsN =M^⊥∩M^⊥b. Alors le sous-module/

S∈TN

k^m

S est totalement stable par τ K.

2) Dans le cas hermitien complexe (k =C, τ =id), symplectique r´eel ou antihermitien sur H(k=RouH,κ=−1), et siρest `a valeurs dansU_f^∗(O), on a N =M^⊥ =M^⊥b.

3) Si ρest isotypique (par exemple triviale)et V_f,b^ρ non r´eduite `a un point, on a N = {0}, donc dim<sup>k</sup>M ≥ <sup>1</sup>2m et mˆeme M = k<sup>m</sup> sous les hypoth`eses du2).

Preuve. — 1) PosonsE=M^⊥,F =M^⊥b et notonsT l’ensemble des vecteurs minimaux du r´eseau associ´e `a A par (2.17). La perfection de A entraˆıne que tout vecteur tangentX ∈TIΣ^ς_b est combinaisonR-lin´eaire desX_t^ς, donc desXt

(t∈T). MaisXts’annule surN et on aPEXtPF =PFXtPE= 0. Par suite (2.21) XPN = 0 et PEXPF =PFXPE= 0 (X ∈TIΣ^ς_b).

SoitSun sous-module simple deN, et soitLun sous-module dek^misomorphe

`aS. SiLn’est pas inclus dansS^⊥, l’applicationPLPS induit un isomorphisme

o

deSsurL; on aPLPS =Pτ KLPSd’apr`es (2.21), d’o`uτ KL=L. Par continuit´e deτ K, tout sous-module de k^misomorphe `aS est stable parτ K.

2) Dans les cas consid´er´es, il existe δ ∈ k central tel que K² =−δ²I. On observe alors que la matrice XY = δK^∗Y +δ^∗Y K appartient `a TIΣ<sup>ς</sup><sub>b</sub>, pour tout Y ∈ Hm(k)∩ Lς(k<sup>m</sup>) (on rappelle que ς est ici `a valeurs dans Ub(k)).

D’apr`es (2.21), on aPEXYPW = 0 o`uW =M ∩M^⊥b. En prenantY =PW, et sachant queKW est un sous-espace deE=M^⊥ disjoint deW, on voit que W = {0}. En utilisant encore (2.21) avec X = PE−PF on obtient que PE

et PF commutent, de sorte que F=W ⊕N, ce qui ach`eve la preuve de 2).

3) Si N n’est pas nul, alors k^m est totalement stable par τ K d’apr`es 1) et V<sub>f,b</sub><sup>ρ</sup> est r´eduite `a un point (lemme 2.15, 2).

Corollaire 2.17 (cas diagonalisable). — Sous les hypoth`eses du corol-laire2.16 (ρ diagonalisable), on a

(2.22) dim^kM ≥c(m−nρab)≥c%

m− |Π|ab&

o`u c=1 2

pour tout point parfait pour µ^D dans V_f,b^ρ . Si de plus f et ρ v´erifient les hypoth`eses de l’assertion 2) du th´eor`eme3, les in´egalit´es (2.22) sont vraies avec c= 1.

Preuve. — On majore la dimension du sous-moduleM^⊥∩M^⊥b comme dans la preuve du corollaire 2.16.

Corollaire 2.18. — Dans le cas symplectique r´eel ou complexe, supposons que tous les types deρsurksont de dimension impaire. SoitA∈V_f,b^ρ un point eutactique non d´eg´en´er´e ou parfait pourµ^D (on suppose de plusρsymplectique siA est parfait). Alors les vecteurs minimaux deA engendrentk^m.

Preuve. — Tout sous-espace dek^minvariant par l’application semi-lin´eaireτ K (τ =σsik=C) est de dimension paire. On a doncM^⊥ ={0} (th´eor`eme 2, 2) et th´eor`eme 3, 1), 2)).

Remarque 2.16. — Tous les ´enonc´es pr´ec´edents sont ind´ependants du th´eo-r`eme de Vorono¨ı, qui d’ailleurs n’est pas toujours v´erifi´e, mˆeme dans les meilleurs cas (voir remarque 2.7).

2.9. Finitude des classes minimales pour les r´eseaux autoduaux. —