Il nous faut commencer par un résultat concernant les invariants paramodu-laires des séries principales non ramifiées.
Lemme 4.2.1. Soit χ un caractère non ramifié de T et soit la représentation induite iG
Bχ. Alors les espaces (iG
Bχ)(J,+) et (iG
Bχ)(J,−) sont tous deux de
dimen-sion 1, si bien que dim(iG
Bχ)J+= 2.
Démonstration. Pour ε ∈ {+, −}, on a :
(iGBχ)(J,ε)=nf ∈ C∞(G,C)
f (bgj) = δB(b)1/2χ(b)αε(j)f (g), ∀b ∈ B, ∀g ∈ Go avec α+ le caractère trivial et α− le caractère η ◦ ν. Dans les deux cas, la factorisation G = BJ (du Corollaire 3.7.8) nous dit que f ∈ (iGBχ)(J,ε) est complètement déterminée par f (1) : l’application f 7→ f (1) est une injection de
(iGBχ)(J,ε)dansC.
Vérifions la surjectivité de cette application : soit donc λ ∈C, on définit f : G −→ C
bj 7−→ δB(b)1/2χ(b)αε(j)λ .
Il faut vérifier que l’application est bien définie, i.e. que la valeur de f en un point g ne dépend pas de l’écriture g = bj choisie. Supposons donc avoir b1j1= b2j2, soit b−12 b1= j2j1−1. On remarque alors que δB est trivial sur le groupe compact J et, par le Lemme 3.5.4, que le caractère αεet le caractère χ sont triviaux sur B ∩ J.
L’application f ainsi définie est lisse (elle est invariante par translations à droite par le sous-groupe compact ouvert J+) et elle est évidemment dans
(iGBχ)(J,ε). Finalement (iGBχ)(J,ε)est bien de dimension 1.
Lemme 4.2.2. La représentation de Steinberg StSO2n+1(F ) de SO2n+1(F ) n’a pas de J-invariants si 2n + 1 > 1 et n’a pas de J+-invariants si 2n + 1 > 3. De plus, StJSO+3(F ) est de dimension 1.
Démonstration. On note G = SO2n+1(F ) et on a StG = IndGB1/(P
B P IndGP1),
la somme portant sur les sous-groupes paraboliques de G (standard, à cause de la condition qu’ils contiennent B). On prendra garde au fait qu’il s’agit ici d’induites non normalisées ne faisant pas intervenir la fonction modulaire.
Le Lemme 4.2.1 nous dit1que la représentation IndGB1 admet des J-invariants (i.e. des (J, +)-invariants) de dimension 1. Or, si 2n+1 > 1, B G et IndG
G1 = 1
1. Le lemme travaille avec des induites normalisées, mais le résultat demeure, quitte à tordre par δ−1/2
apparaît dans ce par quoi on quotiente : représentation triviale qui a également des J-invariants de dimension 1. Par exactitude de la prise d’invariants par un sous-groupe compact ouvert (Lemme 1.2.5), les J-invariants de StG sont donc de dimension nulle.
En ce qui concerne les J+-invariants, il suffit d’après le Lemme 4.0.2 de regarder simultanément les (J, +)-invariants et les (J, −)-variants : on a πJ+ =
π(J,+)⊕ π(J,−).
On sait déjà que, pour 2n + 1 > 1, il n’y a pas (J, +)-invariants, considérons donc les (J, −)-variants de StGou, de façon équivalente, les (J, +)-invariants de η ⊗ StG= IndGBη/(P
B PIndGPη), où η est l’unique caractère quadratique non ramifié non trivial introduit au paragraphe 3.6.
Le Lemme 4.2.1 nous donne que la représentation IndGBη admet des J-invariants de dimension 1. Si 2n+1 > 3, alors le sous-groupe parabolique Pn cor-respondant au sous-groupe de Levi Mn= GLn(F )×SO1(F ) contient strictement le sous-groupe de Borel B. Or le Lemme 4.0.3 nous donne (IndGP
nη)J' ηMn∩J
|Mn .
Or Mn∩ J = GLn(O) × {1} et, par la Proposition 3.6.4, ν|Mn∩J = det, si bien que ν(Mn∩ J) ⊂ O×/(O×)2. D’où, finalement η|Mn∩J trivial et (IndGP
nη)J de
dimension 1.
Par le même argument d’exactitude de la prise d’invariants, on en déduit qu’il n’y pas de J-invariants (non triviaux) dans η ⊗ StG et finalement que StG n’admet pas de J+-invariants si 2n + 1 > 3.
Il reste à conclure dans le cas 2n+1 = 3. Or la Proposition 3.5.2 nous dit que dans ce cas, on est en fait en train de prendre les invariants par le sous-groupe d’Iwahori standard, dont on sait qu’ils sont de dimension 1 (on peut penser à l’isomorphisme exceptionnel SO3' PGL2, commenté au §8.1.1).
Corollaire 4.2.3. Les seules séries discrètes de SO3(F ) ayant des J+-invariants sont StSO3(F )et η ⊗ StSO3(F ).
La seule série discrète de SO3(F ) ayant des J-invariants est η ⊗ StSO3(F ). Démonstration. Raisonnons à l’aide de la correspondance de Langlands locale. À une telle série discrète doit correspondre, d’après (2.3) un paramètre discret ϕ de Sp2(C) = SL2(C).
— Le cas ϕ = χ⊕χ−1où χ est un caractère de WFest exclu car ce paramètre se factorise par le tore et donc n’est pas discret.
— Si ϕ = τ où τ est une représentation irréductible de WF (nécessairement autoduale et symplectique), le paquet de Langlands associé contient un seul élément π supercuspidal (on utilise encore l’isomorphisme SO3 ' PGL2). La représentation π ne peut avoir d’invariants par le groupe J+= I où I désigne le sous-groupe d’Iwahori standard (Proposition 3.5.2) car on aurait alors (par [Cas80], Proposition 2.6) que π se plonge dans une série principale non ramifiée, ce qui contredit sa supercuspidalité. — Si ϕ = χ⊗U2avec χ nécessairement autodual donc quadratique, le paquet
de Langlands associé contient un seul élément, qui est χ ⊗ StSO3(F ). Si cette dernière représentation a des J+-invariants, alors de même elle se
plonge dans une série principale non ramifiée, donc χ est non ramifié. Or il existe exactement deux caractères quadratiques non ramifiés de WabF ' F× : le caractère trivial et le caractère η.
On a donc identifié StSO3(F )et η ⊗ StSO3(F ), qui ont bien des J+-invariants. Par ailleurs, le groupe J agit par un signe sur les J+-invariants (car J+ est d’indice 2 dans J). On sait que ce signe est « − » pour la représentation StSO3(F ) (sans quoi elle aurait des J-invariants, ce qui n’est pas le cas d’après le Lemme 4.2.2). Comme η ◦ ν est le caractère non trivial de J/J+ = Z/2Z, ce dernier groupe (et donc J) agit par un signe « + » sur les J+-invariants de η ⊗ StSO3(F ), ce qui revient à dire qu’elle a en fait des J-invariants.
Pour traiter le cas 2n + 1 ≥ 5, nous commençons par un lemme technique. Lemme 4.2.4. Soit π une série discrète de SO2n+1(F ) avec 2n + 1 ≥ 5. On suppose que πJ6= {0}.
Alors, en notant P1= M1N1 le sous-groupe parabolique standard, où M1 = GL1× SO2n−1, on a que rGP1(π) est une représentation non nulle de M1. Mieux,
rGP
1(π) =M
i∈I
χi⊗ αi,
où les χi sont des caractères non ramifiés de F× et les αi sont des représenta-tions irréductibles de SO2n−1(F ) telles que αJ2n−1
i 6= {0}, et αi= Jacχi. Démonstration. On a I inclus dans J par la Proposition 3.4.2 (et même dans J+ par la Proposition 3.5.2) où I désigne le sous-groupe d’Iwahori standard. La représentation π a donc des invariants par I, si bien que, par la Proposition 2.6 de [Cas80], elle se plonge dans une série principale non ramifiée. Il existe ψ caractère du tore maximal standard T tel que π ,→ iGBψ, soit, par réciprocité de Frobenius, rGBπ ψ. En particulier, le foncteur de Jacquet (normalisé) par rapport à B est non nul, et donc, par transitivité du foncteur de Jacquet, il en est de même pour tous les sous-groupes paraboliques standard, en particulier pour P1.
Or, π étant irréductible, elle est G-engendrée par n’importe quel vecteur non nul, en particulier par ses J-invariants. Puisque G = P1J, le quotient rG
P1(π) est donc M1-engendré par ses (J ∩ M1)-invariants, et il en est de même de tous les quotients irréductibles de rG
P1(π). Or, on a vu au Corollaire 4.1.5 que rG
P1(π)
était semi-simple, donc chaque composant irréductible peut être vu comme un quotient et possède en particulier des (J ∩ M1)-invariants (qui l’engendrent). Finalement :
rGP1(π) =M
i∈I
χi⊗ αi, (4.5) où χiest un caractère de GL1et αi une représentation irréductible de SO2n−1, tels que (χi⊗ αi)J∩M1 = χOi × ⊗ αJ2n−1
i 6= {0} pour tout i (en utilisant la Proposition 3.4.3). En particulier, tous les caractères χi sont non ramifiés. On a alors αi = Jacχi (on a bien vu au Théorème 4.1.4 qu’il y avait au plus un constituant irréductible dans Jacχi).
Proposition 4.2.5. Il n’existe pas de série discrète de SO5(F ) ayant des inva-riants paramodulaires.
Démonstration. Selon la Remarque qui suit le Lemme 4.0.2, on peut supposer qu’il s’agit ici d’invariants par J. Supposons donc disposer d’une série discrète (π, V ) de SO5(F ) telle que πJ6= 0.
Notons ϕ le paramètre de Langlands de π. On sait, par (2.3), que c’est un paramètre discret si bien que l’on est dans une des cinq situations suivantes :
1. ϕ = θ avec θ autoduale symplectique irréductible ;
2. ϕ = τ ⊕ τ0 avec τ et τ0 autoduales symplectiques irréductibles distinctes ; 3. ϕ = (χ ⊗ U2) ⊕ τ0, avec χ autodual i.e. quadratique et τ0 autoduale
symplectique irréductible ; 4. ϕ = χ ⊗ U4, avec χ quadratique ;
5. ϕ = (χ ⊗ U2) ⊕ (χ0⊗ U2), avec χ et χ0 quadratiques distincts. Or, le Lemme 4.2.4 implique que rGP
1(π) est non nul et s’écrit sous la forme L
i∈Iχi⊗ αi, où les χi sont des caractères non ramifiés. Cela signifie donc qu’il existe au moins un i – et un caractère χi – tel que αi= Jacχi 6= 0. Or on sait que Jacχi 6= 0 implique (ρ, 2x + 1) ∈ Jord(ϕ) où l’on a écrit χi = ρ| · |xavec ρ caractère unitaire.
Ceci exclut donc les deux premiers cas qui ne font apparaître aucun caractère. Pour le troisième cas, le seul χi qui puisse donner lieu à un Jacχi non nul est χi = χ| · |1/2, pour lequel on a Jacχ|·|1/2 effectivement non nul d’après le Théorème 4.1.4. Mieux, on connaît son paramètre de Langlands, qui est alors τ0. On a donc rG
P1(π) = χ| · |1/2⊗ π0 où π0 est une représentation de SO3(F ) de paramètre de Langlands τ0. D’après le Lemme 4.2.4, π0 possède des invariants par J3: c’est donc, d’après le Corollaire 4.2.3, η ⊗ StSO3(F ). Or le paramètre de Langlands de cette dernière représentation est η ⊗ U26= τ0, ce qui nous fournit une contradiction.
Dans le quatrième cas, il est bien connu que le paquet de Langlands associé est un singleton contenant la seule représentation χ ⊗ StSO5(F ) qui n’a pas de J-invariants d’après le Lemme 4.2.2.
Enfin, dans le cinquième cas, puisqu’on sait que χ et χ0 doivent être qua-dratiques, non ramifiés et distincts, on a {χ, χ0} = {1, η}. Le Théorème 4.1.4 nous dit que Jacη|·|1/26= 0. Mieux, on connaît son paramètre de Langlands, c’est 1 ⊗ U2, qui est le paramètre de Langlands de la Steinberg de SO3(F ). Or cette représentation n’a pas de J3-invariants d’après le Corollaire 4.2.3.
Finalement, tous les cas sont exclus et il n’existe pas de série discrète de SO5(F ) avec des invariants paramodulaires.
Nous en arrivons donc à la proposition suivante, sur la piste de laquelle nous avons été mis par Colette Mœglin – qu’elle soit ici à nouveau remerciée. Proposition 4.2.6. Il n’existe pas de série discrète de SO2n+1(F ) pour 2n+1 ≥ 5 ayant des invariants paramodulaires.
Démonstration. On se ramène ici aussi (toujours en utilisant le Lemme 4.0.2) au cas d’une série discrète π ayant des J-invariants. Il s’agit de se ramener par ré-currence au cas où 2n + 1 = 5 en propageant des invariants (épi)paramodulaires. Soit ϕ le paramètre de Langlands (discret) de π.
On peut encore écrire, suivant le Lemme 4.2.4 : rGP
1(π) =M
i
χi⊗ Jacχi,
avec les conditions sur la non nullité de Jacχi données par le Théorème 4.1.4. Mieux, on sait qu’alors Jacχi a des invariants par J2n−1 et on connaît son paramètre de Langlands par le Théorème 4.1.4, ϕ−= ϕ ρ ⊗ U2x+1⊕ ρ ⊗ U2x−1
avec les notations de (4.4) et ρ = χi| · |−x. Si ce paramètre est discret, alors on a affaire (toujours par (2.3)) à une série discrète de SO2n−1(F ) qui a des invariants paramodulaires, ce qui fait fonctionner la récurrence.
Il reste donc à montrer que le cas où le paramètre de Jacχi n’est pas discret est exclu.
D’après le Théorème 4.1.4, ce cas ne se produit que si ϕ = (ρ ⊗ U2x+1) ⊕ (ρ ⊗ U2x−1) ⊕ R avec 2x − 1 > 0 et ρ = χi| · |−x. On a alors bien ϕ− = (ρ ⊗ U2x−1) ⊕ (ρ ⊗ U2x−1) ⊕ R paramètre non discret de Sp2n−2(C). Notons H le sous-groupe de Levi de Sp2n−2(C) défini par H = GL2x−1(C) × Sp2a(C) avec 2a = dim R et 2a + 2 × (2x − 1) = 2n − 2. On rappelle que la représentation ρ ⊗ U2x−1 est de dimension 2x − 1, qui est un entier pair. Le paramètre ϕ− est donc à valeurs dans le groupe H et on note φ− ce même paramètre corestreint au groupe H. Alors φ−est un paramètre, manifestement discret, pour le groupe L = GL2x−1(F ) × SO2a+1(F ) (qui est un sous-groupe de Levi de SO2n−1(F )) et on a bien bL = H (avec le même raccourci de notation qu’au début du paragraphe 2.2).
On peut donc considérer le paquet de Langlands Π(φ−) composé de séries discrètes pour L. Or φ− = ϕ1× ϕ2 avec ϕ1= ρ ⊗ U2x−1 et ϕ2= R donc
Π(φ−) = {π1 π2 |π1∈ Π(ϕ1), π2∈ Π(ϕ2)}.
Or Π(ϕ1) contient un seul élément (c’est un paquet pour GL2x−1(F )) qui est la représentation de Steinberg de GL2x−1(F ) tordue par le caractère ρ ; Π(ϕ2) est quant à lui un paquet de séries discrètes de SO2a+1(F ). On sait alors comment construire les représentations tempérées de SO2n−1(F ) correspondant au paramètre (tempéré) ϕ− à partir des séries discrètes de L correspondant au paramètre (discret) φ− : c’est l’induction parabolique qui est en jeu (([Wal03] Proposition III.4.1). On a donc :
Jacχi,→ iSO2n−1(F )
L ((ρ ⊗ StGL2x−1(F )) π2).
Les J2n−1-invariants s’injectent tout autant, ils sont non nuls pour Jacχi donc non nuls pour l’induite. Par le Lemme 4.0.3, la représentation induisante a alors des (J2n−1∩ L)-invariants et donc, par la Proposition 3.4.3, (ρ ⊗ StGL2x−1(F )) a des GL2x−1(O)-invariants. Or, un paramètre discret et non ramifié pour GLn
n’existe que pour n = 1. Puisque 2x − 1 est un entier pair strictement positif, nous obtenons donc une contradiction, ce qui exclut finalement bien le cas où Jacχi n’est pas discret.
Nous avons finalement démontré le théorème suivant.
Théorème 4.2.7. Les seules séries discrètes de SO2n+1(F ) (pour n variable) ayant des J+-invariants sont :
— la représentation triviale de SO1(F ) ; — la représentation StSO3(F );
— la représentation η ⊗ StSO3(F ).
Les seules séries discrètes de SO2n+1(F ) (pour n variable) ayant des J-invariants sont :
— la représentation triviale de SO1(F ) ; — la représentation η ⊗ StSO3(F ).
Dans tous les cas, les invariants considérés sont de dimension 1.