Une approche hilbertienne de l'hypothèse de Riemann généralisée

(1)

UNE APPROCHE HILBERTIENNE DE L’HYPOTHÈSE DE RIEMANN GÉNÉRALISÉE

par Anne de Roton

Résumé. — En généralisant dans [9] le théorème de Beurling et Nyman à la classe de Selberg, nous avons reformulé l’hypothèse de Riemann généralisée en terme d’un problème d’approximation. Nous poursuivons ici ce travail de généralisation par l’étude d’une distance liée à ce problème. Nous donnons une minoration de cette distance, ce qui constitue une extension du travail de Burnol [7] et de celui de Báez-Duarte, Balazard, Landreau et Saias [2], travail qui concernait la fonctionζde Riemann et que nous étendons aux fonctions de la classe de Selberg.

Abstract(An hilbertian approach of the generalised Riemann hypothesis)

In [9], we generalised Beurling and Nyman’s criterion to functions in Selberg’s class and therefore gave a formulation of the generalised Riemann hypothesis as an approximation problem. We give a lower bound for the distance involved in this problem. This is an extension of the papers [7] and [2], in which the Riemann zeta function was studied whereas we study any function in Selberg’s class.

1. Pr´esentation des r´esultats ; historique

Le théorème de Beurling et Nyman (cf. [4]) reformule l’hypothèse de Rie- mann pour la fonction ζen terme d’un problème d’approximation. On pourra consulter [3] pour un nouvel éclairage de ce théorème.

Texte re¸cu le 4 avril 2005, accept´e le 26 octobre 2005.

Anne de Roton, Institut Élie Cartan, UMR 7502, Nancy-Université, BP 239, 54506 Vandœuvre-lès-Nancy (France). • E-mail :deroton@iecn.u-nancy.fr

Classification math´ematique par sujets (2000). — 11M41.

Mots clefs. — Hypothèse de Riemann généralisée, classe de Selberg, opérateurs, transformée de Mellin, distance hilbertienne.

BULLETIN DE LA SOCIÉTÉ MATH ÉMATIQUE DE FRANCE 0037-9484/2006/417/$ 5.00 c

!Société Mathématique de France

(2)

Les travaux récents de Báez-Duarte, Balazard, Landreau et Saias [2] et Bur- nol [7] ont permis de poursuivre l’étude de ce problème d’approximation, tou- jours pour la fonctionζde Riemann.

Nous avons étendu dans [9] le théorème de Beurling et Nyman aux fonctions de la classe de Selberg. Nous allons dans cet article étendre le résultat de Burnol, qui améliore le résultat de [2], à cette même classe de fonctions.

Pour cela, nous construirons des vecteurs «presque orthogonaux» (nous préciserons plus loin cette notion) indexés par les zéros de la fonction de la classe de Selberg considérée. Afin d’obtenir un résultat analogue à celui de Burnol, nous prendrons en compte la multiplicité des zéros.

Commen¸cons par rappeler la d´efinition de la classe de SelbergS, introduite en 1989 dans [?], et qui est conjecturalement l’ensemble des fonctions L de formes automorphes.

Définition 1. — On dira qu’une fonctionF appartient à la classe de SelbergS si elle vérifie les conditions suivantes :

1) pour Res >1,F(s) =!∞

n=1ann^−sest une s´erie de Dirichlet absolument convergente ;

2) il existe un entier naturelmtel que (s−1)^mF(s) soit une fonction enti`ere d’ordre fini ;

3) la fonctionF satisfait une ´equation fonctionnelle de la forme : Φ(s) =ωΦ(1−s) o`u Φ(s) =Q^s∆(s)F(s), avec ∆(s) ="r

j=1Γ(λjs+µj),λj >0, Reµj ≥0,Q >0 et|ω|= 1 ; 4) pour tout ε >0,an=O(n^ε) ;

5) pour Resassez grand, logF(s) =!+∞

n=1bnn^−so`u bn = 0 sin n’est pas une puissance d’un nombre premier etbn=O(n^θ) pour unθ < ¹₂. Notations 1. — On notera :

• d= 2!r

j=1λj le degr´e deF,

• µ=!r

j=1(µj−¹₂).

• f la fonctions#→f(s).

Parmi les z´eros d’une fonctionF de la classe de Selberg, on distinguera :

• les z´eros de la forme −(n+µj)/λj, n ∈ N, j ∈ [1, r], que l’on appelera z´eros triviaux deF;

• les zéros deF de partie réelle égale à ¹₂ sont appelészéros critiquesdeF;

• la droite d’´equation Res= ¹₂ sera appel´eedroite critique.

• la partie du plan constituée des points de partie réelle comprise entre 0 et 1 sera appeléebande critique.

Conjecture 1. — Les zéros non triviaux deF sont de partie réelle égale à¹₂.

o

(3)

C’est ce que l’on appellehypothèse de Riemann généraliséepour la fonctionF et nous la noterons désormais (HRG).

Notons qu’en utilisant la symétrie induite par l’équation fonctionnelle, cette conjecture est équivalente à la non-annulation de la fonction F dans le demi- plan Res >¹₂.

Afin de caractériser l’hypothèse de Riemann généralisée pour une fonctionF de la classe de Selberg, nous avons introduit dans [9] la fonction complémentaire associée à F.

Définition 2. — Soit F une fonction de la classe de Selberg. On définit la fonction complémentaire associée à F par

ΨF :R⁺#−→C, x#−→Res#x^s

s F(s),1$

−%

n≤x

an. On d´efinit ´egalement la fonction Ψ_F⁽¹⁾ par

Ψ_F⁽¹⁾(x) = ΨF

#1 x

$.

Nous avons démontré dans [9] que l’hypothèse de Riemann généralisée pour une fonctionF de la classe de Selberg était équivalente à la densité d’un sous- espace de fonctions dans L²(0,1). Plus précisément, pour λ >0, on définit le sous-espace de fonctions

BF^λ =&

f :t#→

n

%

k=1

ckΨF

#αk

t

$, n∈N,∀k∈[1, n], ck ∈C, λ≤αk ≤1' . Dans le cas où Ψ_F⁽¹⁾∈L²(0,+∞), on définit la quantitéD(λ) comme la distance dans L²(0,+∞) entre la fonctionχ indicatrice de l’intervalle [0,1] et le sous- espaceB^λF.

Le th´eor`eme que nous avons obtenu est le suivant :

Théorème 1. — Soit F une fonction de la classe de Selberg S. Alors les as- sertions suivantes sont équivalentes :

1) la fonctionF vérifie l’hypothèse de Riemann généralisée ; 2) on aΨ_F⁽¹⁾∈L²(0,+∞)et limλ→0D(λ) = 0.

Remarque 1. — Nous avons d´emontr´e que la condition Ψ_F⁽¹⁾ ∈ L²(0,+∞)

était vérifée pour les fonctions de la classe de Selberg de degré strictement inférieur à 4 (cf. [10]).

Nous nous intéressons dans cet article à la fonction distanceD(λ) dans le cas où Ψ_F⁽¹⁾ ∈ L²(0,+∞). Le théorème que nous démontrons permet de majorer la vitesse de convergence de la fonction distanceD(λ). Plus précisément, nous obtenons le théorème suivant :

(4)

Théorème 2. — Soit F une fonction de la classe de Selberg telle que Ψ_F⁽¹⁾ appartient àL²(0,+∞).Alors on a

λ→0limD(λ) (

log#1 λ

$≥ )

*

* +

%

ρ

m²_ρ

|ρ|²,

où la somme porte sur les zérosρde F dans la bande critique etmρ désigne la multiplicité du zéro ρde F.

Remarque 2. — La majoration, donnée dans [?], du nombreN(T) de zérosρ d’une fonction de la classe de Selberg vérifiant|Imρ|< Tassure la convergence de la somme!

ρm²_ρ/|ρ|².

Ce résultat est l’analogue de celui de Burnol [7] pour la fonction ζ. Le ré- sultat des auteurs de [2] ne faisait pas intervenir la multiplicité des zéros de la fonction ζ et était donc moins précis. Il est d’autre part notable que seuls les zéros critiques interviennent dans ce résultat alors que la démonstration du théorème de Beurling et Nyman était basée sur la question de l’existence des zéros de partie réelle supérieure à ¹₂.

La démonstration de notre résultat est basée sur la construction de vecteurs indexés par les zéros critiques de la fonctionF de la classe de Selberg à laquelle on s’intéresse, vecteurs qui seront orthogonaux à un espace proche deB^λF. Un calcul de transformée de Mellin permet de fournir des candidats naturels pour ces vecteurs. Cependant, ces candidats n’étant pas des vecteurs deL²(0,+∞), nous serons amenés à les modifier de manière à conserver leur propriété d’or- thogonalité tout en rendant nos calculs formels licites. Une telle modification se fera par l’application d’opérateurs deL²(0,+∞).

Nous établirons dans le second paragraphe quelques estimations liées à l’uti- lisation de la formule de Stirling complexe. Nous rappelerons ensuite quelques propriétés des fonctions de Bessel, puis des opérateurs. Le cinquième paragraphe sera consacrée à l’étude de l’action d’un opérateur dit«de phase» associé à la fonction Ψ_F⁽¹⁾.

Nous construirons dans le sixième paragraphe des vecteurs indexés par les zéros de la fonctionF et vérifierons leurs propriétés d’orthogonalité.

Nous démontrerons le théorème 2 dans la dernière partie. Pour cela, nous minorerons la distance D(λ) par la norme de la projection orthogonale d’un vecteur proche de χsur le sous-espace vectoriel engendré par les vecteurs que l’on viendra de construire.

Nous supposons d´esormais que F est une fonction de la classe de Selberg telle que Ψ_F⁽¹⁾ ∈L²(0,+∞).

o

(5)

2. Quelques conséquences de la formule de Stirling complexe Par soucis de clarté, nous regroupons dans ce paragraphe quelques estimations techniques qui proviennent de la formule de Stirling complexe. Nous utiliserons la proposition suivante dont on trouvera une démonstration dans [5]

(formule (19), (VII.2.3)).

Proposition 2.1. — Il existe des constantes cν = cν(a) telles que, pour toutM ∈N,

(1) log Γ(s+a) =#

s+a−1 2

$logs−s+1

2log 2π+

M

%

ν=1

cνs^−ν+O# 1

|s|^M+1

$

uniform´ement pour|arg(s)| ≤π−εavecε >0fix´e etadans un compact deC,

|s|tendant vers l’infini.

2.1. Étude d’une fonction liée à l’équation fonctionnelle de F Notations 2. — Siω, Qet ∆(s) ="r

j=1Γ(λjs+µj) sont les données deF apparaissant dans l’équation fonctionnelle qu’elle vérifie, on pose

(2) UF(s) =ω Q^2s−1 ∆(s)

∆(1−s)· s 1−s· Notations 3. — Poura >0 etν≥0, on pose

fa,ν(s) = 1 2

#2 a

$s−ν Γ(¹₂s) Γ(ν−¹2s+ 1)· Nous allons relier la fonctionUF `a la fonctionfa,ν. Proposition 2.2. — Si on pose pourk= 0ouk= 1 (3) νk= 2 Reµ+d

2 +k, βk= 2k−1 + 2µ, a=d# Q⁻²

r

,

j=1

λ^−2λ_j ^j$1/d

, alors il existe des constantes c1,k et c2,k, dépendant uniquement des données de F et dek telles que, lorsque|s|tend vers l’infini, on ait uniformément par rapport às tel queε <|args|< π−ε,

UF(s)

s^2−k =c1,kfa,ν_k(ds+βk) +c2,ks⁻¹fa,ν_k(ds+βk) +O-

|fa,νk(ds+βk)| · |s|⁻². .

Démonstration. — Dans toute la démonstration, les constanteski seront des constantes convenables qui ne dépendront que des données deF.

(6)

En utilisant la formule (1), on a pourε≤ |arg(s)| ≤π−ε, si |s|tend vers l’infini,

log# ∆(s)

∆(1−s)

$=

r

%

j=1

-log Γ(λjs+µj)−log Γ(−λjs+λj+µj).

=

r

%

j=1

&

-λjs+µj−¹₂.

log(λjs)−λjs

−-

−λjs+λj+µj−¹2

.log(−λjs)−λjs' +k1s⁻¹+O(s⁻²)

=¹₂ds-

logs+ log(−s).

+s#%^r

j=1

2λjlogλj−d$ +

r

%

j=1

-µj−¹₂.

logs−#%^r

j=1

-µj−¹₂. +¹₂d$

log(−s) +k2+k3s⁻¹+O(s⁻²).

On a donc (4) logUF(s)

s^k = ¹₂ds-

logs+ log(−s). +s#

2 logQ+ 2

r

%

j=1

λjlogλj−d$ + (1 +µ−k) logs−-

µ+¹₂d+ 1.

log(−s) +k4+k5s⁻¹+O(s⁻²), uniform´ement pour s tel queε <|args|< π−εavec ε >0,|s| tendant vers l’infini.

D’autre part, pour α >0,a >0,ν ∈Retβ∈C, on a log-

fa,ν(αs+β).

=αs(log 2−loga) + log Γ-₁

2(αs+β).

−log Γ- ν−¹2

-αs+β. + 1.

+,1. En utilisant la formule de Stirling (1), on obtient

(5) log-

fa,ν(αs+β).

=¹₂αs-

logs+ log(−s).

+α(lnα−lna−1)s +¹₂(β−1) logs+-₁

2(β−1)−ν.

log(−s) +,2+,3s⁻¹+O(s⁻²) uniformément pour s tel queε <|args|< π−εavec ε >0,|s| tendant vers l’infini, où les constantes,i dépendent deα,a,ν et β.

En comparant (4) et (5), on obtient logUF(s)

s^2−k = logfa,νk(ds+βk) +k6+k7s⁻¹+O(s⁻²).

o

(7)

Il existe donc des constantes c1,k et c2,k, dépendant uniquement des données de F et dektelles que, lorsque |s| tend vers l’infini, on ait uniformément par rapport àstel queε <|args|< π−ε,

UF(s)

s^2−k =c1,kfa,νk(ds+βk) +c2,ks⁻¹fa,νk(ds+βk) +O-

|fa,νk(ds+βk)| · |s|⁻². . Proposition 2.3. — On a

(6) /

/UF(σ+iτ)/

/) |τ|^d(σ−¹²⁾

uniform´ement pourσ∈[σ1, σ2]et|τ|tendant vers l’infini. Poura >0etν∈R, si|τ|tend vers l’infini, on a

(7) /

/fa,ν(σ+iτ)/

/) |τ|^σ−1−ν, uniform´ement pour σ∈[σ1, σ2].

D´emonstration. — Ces estimations se d´eduisent facilement de (4) et (5).

2.2. Estimation d’un quotient de fonctions Γ en certains points.

Proposition 2.4. — Pourν∈R,Rez=N+¹₂ avec N ∈NetN ≥ |ν|+¹₂, on a

Γ(1−z)

Γ(ν+z) * e^2N

|z|^N|ν+z|^N+ν·

D´emonstration. — En utilisant la formule des compl´ements, on obtient : Γ(1−z)

Γ(ν+z)= π/sin(πz) Γ(ν+z)Γ(z)· On a pourz=N +¹₂+it,

/ / /

π sin(πz)

/ / /=/

/ /

2iπ

e^iπ(N⁺¹²⁾e^−πt−e^−iπ(N+¹²⁾e^πt / /

/= 2π e^−π|t|+ e^π|t|·

Evaluons `´ a présent le produit de fonctions Γ. D’après (1), on a uniformément pour Rez≥ |ν|+ 1,

log/

/Γ(ν+z)Γ(z)/ /=-

Rez−¹2

.log|z|+-

ν+ Rez−¹2

.log|ν+z| − |Imz|π + Imz#

arctanRez

Imz + arctanRez+ν Imz

$

−2 Rez−ν+ log 2π+O# 1

|z|

$

≥-

Rez−¹2

.log|z|+-

ν+ Rez−¹2

.log|ν+z|

− |Imz|π−2 Rez−ν+ log 2π+O# 1

|z|

$.

(8)

On obtient pour N≥ |ν|+¹₂ et 4z=N+¹₂+it, log/

/Γ(ν+z)Γ(z)/

/≥Nlog|z|+ (ν+N) log|ν+z| − |t|π

−2N−1−ν+ log 2π+O# 1

|z|

$ . On a donc

Γ(1−z)

Γ(ν+z) * |z|^−N|ν+z|^−ν−Ne^2N. On a donc bien la majoration annonc´ee.

3. Fonctions de Bessel

Les fonctions de Bessel sont étudiées dans le livre de Watson [12] qui est notre principale référence dans ce paragraphe. Nous en rappelons ici quelques propriétés et nous en donnons une représentation intégrale (proposition 3.1) qui ne se trouve pas dans [12].

Notations 4. — Siσ∈R, d´esormais0

(σ) d´esignera l’int´egrale0σ+i∞

σ−i∞. Définition 3. — Soit ν un réel. On définit la fonction de BesselJν comme suit (formule (8),§3.1 de [12]) :

∀x∈R, Jν(x) =

+∞

%

m=0

(−1)^m(¹₂x)^ν+2m m! Γ(ν+m+ 1)·

Cette s´erie converge absolument surR^+∗et la convergence est uniforme pourx dans un compact donn´e deR^+∗ et ν dans un compact deR(§3.13 de [12]).

Soitν∈R. Lorsquextend vers l’infini, la fonctionJν v´erifie

(8) Jν(x) =O# 1

√x

$.

Nous allons exprimer la fonction x^−νJν comme une intégrale proche d’une transformée de Mellin inverse. Nous savons déjà (formule (7),§6.5 de [12]) que siν ≥0, alors pour touts∈Ctel que Res∈]0, ν+ 1[, on a

M-

x^−νJν(x).

(s) = 2^s−ν−1Γ(¹₂s) Γ(ν−¹2s+ 1)· Nous allons ´etendre ce r´esultat.

Définition 4. — SoientT >0,Λ etcdes réels tels quec≤Λ. On considère le contour

C(T, c,Λ) :=1

c−i∞;c−iT; Λ−iT; Λ +iT;c+iT;c+i∞2 . Enon¸cons à présent quelques lemmes préliminaires.´

o

(9)

Lemme 1. — Soit f une fonction m´eromorphe sur Cv´erifiant : 1) T0:= sup3

|Imρ|; ρpˆole de f4

<+∞; 2) Λ0:= sup3

Reρ; ρ pˆole de f4

<+∞;

3) il existea >0 etb∈Rtels que, pour toutσ1< σ2, on ait //f(s)/

/* |τ|^aσ−b−1

uniform´ement pour σ∈[σ1, σ2] et|τ| tendant vers l’infini.

Si T,c etΛ v´erifient les conditions (9) T > T0, c < b

a et Λ>Λ0, Λ≥c alors l’int´egrale

I(x) := 1 2iπ

5

C(T,c,Λ)

f(s)x^−sds

converge pour x > 0 et sa valeur ne dépend pas des paramètres T, c et Λ vérifiant (9). De plus, pour toutε >0, on a lorsquextend vers l’infini,

I(x) =Oε(x^−b/a+ε).

Démonstration. — Il suffit d’appliquer le théorème des résidus entre deux contours vérifiant les hypothèses (9).

Lemme 2. — Soient a, b∈R^+∗. Supposonsb≥1. Alors on a 5 +∞

0

dτ

(a²+τ²)^b ≤ π 2

a^1−2b

√b ·

D´emonstration. — Remarquons dans un premier temps que puisque a > 0 et b > ¹₂, l’int´egrale est bien convergente. On a de plus, en effectuant le changement de variableτ^& =τ /a,

5 +∞

0

dτ

(a²+τ²)^b =a^1−2b 5 +∞

0

dτ (1 +τ²)^b, Un calcul avecMapledonne

5 +∞

0

dτ (1 +τ²)^b =

√π

2 ·Γ(b−¹₂) Γ(b) · La fonctionϕ(b) =√

bΓ(b−¹₂)/Γ(b) admet comme d´eriv´ee logarithmique ϕ^&(b)

ϕ(b) = 1 2b+%

q∈N

# 1

q+b− 1 q+b−¹₂

$≤ 1 2b+

5 +∞

0

# 1

t+b− 1 t+b−¹₂

$dt≤0.

On a donc pour b≥1, 5 +∞

0

dτ

(a²+τ²)^b =a^1−2b

√π

2 ·Γ(b−¹2) Γ(b) ≤

√π 2 ·a^1−2b

√b ϕ(1) =π 2 ·a^1−2b

√b ·

(10)

Lemme 3. — Soient a > 0 et ν ≥ 0. Si fa,ν est la fonction d´efinie dans la notation 3, alors on a uniform´ement pour xdans un compact deR^+∗ :

N→+∞lim 5

(−2N+1)

fa,ν(s)x^−sds= 0.

D´emonstration. — Posons KN(x) :=

5

(−2N+1)

fa,ν(s)x^−sds.

PourN ≥ |ν|+ 1, on a en posantz= 1−¹2set en utilisant la proposition 2.4 : KN(x) =

5

(N+¹2)

#2 a

$2−2z−νΓ(1−z)

Γ(ν+z)x^2z−2dz

=O#1 x

#eax 2

$2N5

(N+¹₂)

|dz|

|z|^N|ν+z|^N+ν

$ . Or siu, v≥1, on a 1/(uv)≤1/u+ 1/v. On a donc

KN(x) =O#1 x

#eax 2

$2N#5

(N+¹2)

|dz|

|z|^N + 5

(N+¹2)

|dz|

|ν+z|^N^+ν

$$. Or on a d’apr`es le lemme 2,

5

(N+¹2)

|dz|

|z|^N = 5 +∞

−∞

dt

((N +¹₂)²+t²)¹²^N * (N+¹₂)^1−N

√N et

5

(N+¹2)

|dz|

|ν+z|^N+ν = 5 +∞

−∞

dt

((N+ν+¹₂)²+t²)¹²^(N^+ν) * (N+ν+¹₂)^1−N−ν

√N+ν · Si N ≥2|ν|+ 1, on a donc

KN(x) =O#1 x

√N#eax 2

$2N#

N^−N +#N 2

$−¹2N$$

. Il est donc clair que l’int´egrale KN(x) := 0

(−2N+1)f(s)x^−sds tend vers 0 lorsqueN tend vers l’infini uniform´ement pourxdans un compact deR^+∗. Proposition 3.1. — Siν∈R et si

(10) T ≥1, c < ν et Λ>0, Λ≥c, alors l’int´egrale

5

C(T,c,Λ)

fa,ν(s)x^−sds

est convergente et sa valeur ne dépend pas des paramètres T,c etΛ vérifiant les conditions (10). De plus, on a

x^−νJν(ax) = 1 2iπ

5

C(T,c,Λ)

fa,ν(s)x^−sds.

o

(11)

Démonstration. — Afin d’alléger les notations, on écriraf pourfa,ν dans cette démonstration.

Les pˆoles de la fonction fa,ν(αs+β) sont les points −(2n+β)/α, n ∈ N. Le lemme 1 et l’estimation (7) permettent de montrer la premi`ere partie de la proposition.

Montrons maintenant que l’int´egrale g(x) := 1

2iπ 5

C(T,c,Λ)

f(s)x^−sds

est bien égale àx^−νJν(ax). SoitN > ¹₂(1−ν) un entier naturel positif. D’après le lemme 1, comme −2N+ 1< ν, on a

g(x) = 1 2iπ

5

C(T,−2N+1,Λ)

f(s)x^−sds.

Appliquons maintenant le théorème des résidus à la fonction f(s)x^−s sur le rectangleR:= [−2N+ 1−iT,Λ−iT,Λ +iT,−2N+ 1 +iT]. On obtient

(11) g(x) = 1

2iπ 5

(−2N+1)

f(s)x^−sds+

N−1

%

m=0

pmx^2m, o`upm= Res(f(s),−2m) = (2/a)^−2m−ν(−1)^m/(m! Γ(ν+m+ 1)).

D’apr`es le lemme 3, l’int´egrale KN(x) := 0

(−2N+1)f(s)x^−sds tend vers 0 lorsque N tend vers l’infini uniform´ement pour xdans un compact de R^+∗. On a donc, en faisant tendreN vers l’infini dans (11),

g(x) = %

m≥0

pmx^2m=x^−νJν(ax).

4. Op´erateurs invariants

4.1. Rappels. — Afin de donner des versions rigoureuses de calculs formels, nous travaillerons avec des opérateurs, linéaires et semi-linéaires, de l’espace L²(0,+∞).

Définition 5. — Soit θ un réel stictement positif. On définit l’opérateur de dilatation-contractionDθpar

Dθf(t) = 1

√θf#t θ

$

pour toute fonction f de L²(0,+∞) et tout réel t > 0. L’opérateur Dθ sera appeléopérateur de dilatation siθ >1 et decontraction sinon.

Remarquons que si L²(0,1) d´esigne l’ensemble des fonctions deL²(0,+∞) identiquement nulles sur [1,+∞[, ce que nous supposerons implicitement par la suite, les contractions laissentL²(0,1) stable.

(12)

D´efinition 6. — Un op´erateur T sur un sous-espace de L²(0,+∞) sera dit invariants’il commute avec les dilatations-contractions,i.e. si pour toutθ >0, on aDθT =T Dθ.

Donnons à présent quelques exemples d’opérateurs linéaires et semi-linéaires qui nous seront utiles par la suite.

Exemple 1. — On d´efinit :

• l’op´erateur de HardyH (qui est un op´erateur invariant) par H :f(t)#−→ 1

t 5 t

0

f(u)du;

• leprojecteur orthogonalQλdeL²(0,+∞) surL²(λ,+∞) pour toutλ >0 ;

• l’opérateur d’inversion J (J n’est pas linéaire mais semi-linéaire), par J:f(t)#−→ 1

tf#1 t

$.

On remarquera que l’image deL²(0,1) par l’opérateurJ est égale àL²(1,+∞).

La transformation de Mellin-Plancherel M:f(t)#−→ Mf(s) =

5 +∞

0

f(u)u^s−1du

´etablit une isom´etrie entre L²(0,+∞) et L²(s = ¹₂ +iτ,_2π¹ dτ) dont l’inverse est

M⁻¹:F(s)#−→

5

s=¹2+iτ

F(s)t^−sdτ 2π· Rappelons qu’ici,

• 0+∞

0 f(u)u^s−1dud´esigne la limite dans L²(0,+∞), lorsque T tend vers l’infini, de0T

1/Tf(u)u^s−1du;

• 0

s=¹2+iτF(s)t^−sdτ /2π d´esigne la limite dansL²(R), lorsqueT tend vers l’infini, de0T

−TF(¹₂+iτ)t⁻¹²^−iτ_2π¹ dτ.

On notera,., les normes dansL²(0,+∞) etL²(¹₂+iτ,_2π¹ dτ).

Rappelons (voir par exemple [7]) que si T(s) est une fonction Lebesgue- mesurable et essentiellement bornée sur Res = ¹₂, alors la transformation F(s) #→ T(s)F(s) définit via la transformation de Mellin inverse un opéra- teur borné invariant que l’on notera aussiT surL²(0,+∞) et que tout opéra- teur borné invariant peut être obtenu de cette manière. La classe d’équivalence pour l’égalité presque partout de la fonction T(s) est appelée le symbole de l’opérateurT. Nous noterons égalementT(s) toute extension méromorphe de la fonction T(s) initialement définie sur la droite critique. Remarquons que si|T(s)|= 1 presque partout sur la droite critique, alors l’opérateurT est unitaire.

o

(13)

Exemple 2. — Le symbole associé à l’opérateur de HardyH est la fonction H(s) = 1/(1−s).L’opérateur 1−H admets/(1−s) pour symbole et est donc unitaire.

Nous introduisons ici la notion d’op´erateur de phase, d´efinie par J.-F. Burnol dans [7] :

Proposition-Définition 1. — Soit f ∈ L²(0,+∞) une fonction dont la transformée de Mellin est presque partout non nulle sur Res = ¹₂. La fonction de phase associée àf, définie sur Res= ¹₂ par

Uf(s) := Mf(s) Mf(s)

est presque partout définie et de module1. L’opérateurUf qu’on lui associe est appelé opérateur de phaseassocié à la fonctionf; il est invariant, unitaire et vérifie Uf(f) =J(f). En particulier, sif ∈L²(0,1), alors Uff ∈L²(1,+∞).

Comme annoncé précédemment, on notera Uf(s) tout prolongement méro- morphe de la fonctionUf(s) définie originellement sur Res= ¹₂.

La proposition suivante nous permet de caractériser l’action de certains opé- rateurs à l’aide de leur action sur la fonction indicatriceχ.

Proposition 4.1. — Soit U : L²(0,+∞) → L²(0,+∞) un opérateur borné invariant. On suppose que la fonction ϕ:=U χ est de classe C¹ sur R^+∗. On suppose de plus que la fonction Φdéfinie surR^+∗ par

Φ(x) :=x ϕ^&(x)

appartient `aL²(0,+∞). Alors pour toute fonctionf deL²(0,+∞), la fonction Uf est d´efinie par la limite suivante dansL²(0,+∞) (cette limite existe bien):

Uf(t) := lim

T→+∞

5 T 1/T

f(v) d dvU χ#t

v

$dv.

D´emonstration. — Soitθ >0. PourT ≥max(θ,1/θ), on a gT(t) :=

5 T 1/T

Dθχ(v) d dvϕ#t

v

$dv

=θ⁻¹² 5 θ

1/T

d dvϕ#t

v

$dv=θ⁻¹²# ϕ#t

θ

$−ϕ# T t$$

. Or0+∞

0 |ϕ(T t)|²dt=T⁻¹,ϕ,², donc la limite de la fonctiongT dansL²(0,+∞) lorsqueT tend vers +∞est la fonctionDθϕ=U Dθχ(carU est invariant). Par linéarité, on en déduit la propriété recherchée pour les fonctionsf en escalier.

(14)

Reste à démontrer la propriété pour toutes les fonctions de L²(0,+∞).

SoitT >0. Considérons l’opérateurKT défini surL²(0,+∞) par KTf(x) =

5 T 1/T

f(v) d dvϕ#x

v

$dv.

Sif ∈L²(0,+∞), alors l’int´egrale d´efinissantKTfest absolument convergente.

Nous allons montrer que KT est un opérateur linéaire borné deL²(0,+∞) à valeurs dansL²(0,+∞). Pourf ∈L²(0,+∞), en posantu= 1/v, on a

KTf(x) =− 5 T

1/T

1 uf#1

u

$Φ(xu)du, ce qui montre queKTf est continue surR^+∗. D’autre part,

/

/KTf(x)/ /

2≤#5 T 1/T

1 u²

/ / /f#1

u

$/

/ /

2

du$#5 T 1/T

/ /Φ(xu)/

/

2du$

≤ ,f,²#5 T 1/T

//Φ(xu)/ /

2du$ . Or

5 +∞

0

5 T 1/T

//Φ(xu)/ /

2dudx= 5 T

1/T

5 +∞

0

//Φ(xu)/ /

2dxdu

=,Φ,² 5 T

1/T

du

u = 2,Φ,²logT, la fonctionKTf est donc une fonction deL²(0,+∞) et

,KTf, ≤6

2 logT,Φ, · ,f,. L’op´erateurKT est donc continu `a valeurs dansL²(0,+∞).

L’opérateur UT défini par UTf = U(f[1/T,T]) où f[1/T,T] est la restriction de la fonctionf à l’intervalle [1/T, T], est continu à valeurs dansL²(0,+∞) et co¨ıncide avecKT sur l’ensemble dense des fonctions en escalier, doncKT =UT. Sif ∈L²(0,+∞), par continuité de l’opérateurU,Uf est la limite quandT tend vers l’infini deU(f[1/T,T]) =KTf. On a donc bien la propriété recherchée.

5. Étude de l’opérateur de phase associé à Ψ_F⁽¹⁾ Rappelons (voir [9]) que pour ¹₂ < σ <1,

MΨ_F⁽¹⁾(s) =−F(s) s ·

o

(15)

La fonction F appartient à la classe de Selberg donc la fonction MΨ_F⁽¹⁾ se prolonge méromorphiquement à C en une fonction presque partout non nulle sur Res=¹₂.

On peut donc définir l’opérateur de phaseUF de la fonction Ψ_F⁽¹⁾. Son symbole associéUF(s) qui est égal àsF(s)/(sF(s)) sur la droite critique se prolonge méromorphiquement àCen la fonction

UF(s) = F(1−s) F(s) · s

1−s =ωQ^2s−1 ∆(s)

∆(1−s)· s 1−s· On retrouve la fonctionUF introduite en (2).

Nous allons décrire ici l’action de l’opérateur UF sur une fonction de L²(0,+∞). La proposition 4.1 nous montre que pour étudier l’action de UF, il nous faut d’abord étudier les fonctions ϕ(x) =UFχ(x) et Φ(x) =xϕ^&(x).

Lemme 4. — Les fonctionsϕ(x) =UFχ(x)etΦ(x) =xϕ^&(x)sont bien d´efinies surR⁺ et pour toutε >0, au voisinage de0, on a

ϕ(x) =O(x^−ε) et Φ(x) =O(x^−ε).

Démonstration. — Pour étudier les fonctionsϕet Φ, nous considérons les trans- formées de Mellin inverses des fonctionsUF(s)/setUF(s).

Les pˆoles de la fonctionUF(s) sont les points 1 et−(n+µj)/λj, avecn∈N, j = 1, . . . , r. On a

ϕ(x) = 1 2π

5

s=¹₂+iτ

UF(s) s x^−sdτ,

donc d’après le lemme 1, l’estimation (6) et une application du théorème des résidus, on a pour tousT >max1≤j≤r|Imµj|/λj, 0<Λ<1 etc < ¹₂,

ϕ(x) = 1 2π

5

C(T,c,Λ)

UF(s) s x^−sdτ.

En choisissantc < ¹₂− ¹_d, on montre que la fonctionϕ est de classeC¹ et la fonction Φ est d´efinie par

Φ(x) =− 1 2π

5

C(T,c^!,Λ)

UF(s)x^−sdτ,

pour tous T >max1≤j≤r|Imµj|/λj, 0<Λ <1 et c^& < ¹₂−¹_d. En choisissant c <0,c^& <0 et Λ petit dans les écritures intégrales de ϕet Φ, on établit que pour toutε >0, au voisinage de 0, on aϕ(x) =O(x^−ε) et Φ(x) =O(x^−ε).

Nous allons à présent donner une estimation des fonctionsϕ et Φ en +∞. L’un de nos objectifs est de montrer que la fonction Φ appartient à l’espace L²(0,+∞) afin de pouvoir appliquer la proposition 4.1.

(16)

Proposition 5.1. — On a (12) ϕ(x) =O-

x⁻¹²⁽¹⁺¹^d⁾.

et Φ(x) =O-

x⁻¹²⁽¹⁺¹^d⁾. . D´emonstration. — D’apr`es le lemme 1, si

(13) T > T0:= max

j=1,...,r

|Imµj| λj

, ck< 1 2−k

d et Λ>1, alors l’int´egrale

5

C(T,ck,Λ)

UF(s)s^k−1x^−sds

est convergente et sa valeur ne dépend pas des paramètresT,ck et Λ vérifiant les conditions (13). Pourk= 0 ouk= 1, on définit donc la fonctionIk par

Ik(x) := 1 2iπ

5

C1,k

UF(s)s^k−1x^−sds,

o`u C1,k = C(T, ck,Λ) avec T, ck et Λ v´erifiant les conditions (13). Avec ces notations, on a

ϕ(x) =I0(x)−1

xRes#UF(s) s ,1$

et Φ(x) =−I1(x) + 1 xRes-

UF(s),1. . Nous allons utiliser la fonction fa,ν, d´efinie `a la notation 3, afin de relier les fonctionsϕet Φ aux fonctions de BesselJν. Reprenons les notations de la proposition 2.2 et posons

(14) rk(s) :=UF(s)

s^1−k −sc1,kfa,νk(ds+βk)−c2,kfa,νk(ds+βk).

En utilisant la proposition 2.2 et l’estimation (7), on a

(15) rk(s) =O-

|τ|^d(σ−¹²^)+k−3. .

Les pˆoles derk sont les points 0, 1, et les points de la forme−(2,+βk)/det

−(2,+µj)/λj o`u ,∈Net j ∈[1, r]. En utilisant le lemme 1, on obtient donc que pourC2,k=C(T, ck,Λ) avec

(16)





 ck< 1

2 +2−k d , T >max#

1≤j≤rmax

|Imµj| λj

, 2|Imµ| d

$, Λ>max#

1,−1−2 Reµ d

$, la fonction

Rk(x) = 1 2iπ

5

C2,k

rk(s)x^−sds est bien d´efinie et v´erifie pour tout ε >0

(17) Rk(x) =Oε-

x⁻¹²⁻²^−k^d ^+ε. ,

o

(17)

lorsquextend vers l’infini. Notons Hk(x) = 1

2iπ 5

C3,k

fa,νk(ds+βk)x^−sds, Gk(x) = 1

2iπ 5

C3,k

sfa,νk(ds+βk)x^−sds, o`uC3,k=C(T, ck,Λ) avecT,ck, Λ v´erifiant

ck <1 2 −k

d, T > 2|Imµ|

d , Λ>max(0, ck).

Par d´efinition, on a

Ik(x) =c2,kHk(x) +c1,kGk(x) +Rk(x).

Nous allons à présent relier les intégralesGk etHk aux fonctions de BesselJνk. Après changement de variable, siC_3,k^& désigne l’image deC3,k par la transfor- mations#→ds+βk, on obtient en posantθ= 2 Imµ/d

Hk(x) = 1

dx^β^k^/d 1 2iπ

5

C3^!,k

fa,ν_k(z)(x^1/d)^−zdz

= 1

dx⁻¹²+(k−1)/d+iθJνk(ax^1/d) =O-

x⁻¹²⁺²^k−²^d³. , d’apr`es (8). D’autre part,Gk(x) =−xH_k^&(x) donc on a

Gk(x) =−1 d

#−1

2 +k−1 d +iθ$

x⁻¹²⁺^k−^d¹^+iθJν_k(ax^1/d)

− a

d²x⁻¹²⁺^k^d^+iθJ_ν^&_k(ax^1/d)

=O-

x⁻¹²⁻^2d¹⁺^k−^d¹. ,

d’après (8) et l’équation différentielle xJ_ν^&(x)−νJν(x) = −xJν+1(x) (formule (4), §3.2 de [12]).

Finalement, on a Ik(x) =O(x⁻¹²⁻²¹^d⁺^k−^d¹), donc puisqued≥1, on a ϕ(x) =O-

x⁻¹²⁽¹⁺¹^d⁾.

et Φ(x) =O-

x⁻¹²⁽¹⁺^d¹⁾. .

La fonction Φ appartient donc à l’espaceL²(0,+∞) et donc d’après la proposition 4.1, l’opérateurUF agit sur une fonctionf deL²(0,+∞) de la manière suivante :

(18) UFf(t) := lim

T→+∞

5 T 1/T

f(v) d dvϕ#t

v

$dv.

(18)

6. Choix de vecteurs orthogonaux

6.1. Étude formelle. — Nous minoreronsD(λ) par la norme de la projection orthogonale de χ sur un sous-espace orthogonal à B^λ_F. Nous chercherons donc des vecteurs orthogonaux àB^λ_F.

On supposera d´esormais que la fonction F ne s’annule pas dans le demi- plan Res > ¹₂.

En effet, si la fonctionF s’annule dans ce demi-plan, alors la distance D(λ) ne tend pas vers 0 d’après le théorème 1 et la minoration du théorème 2 est alors évidente.

Notations 5. — Soient w un nombre complexe et , un entier naturel. On d´efinit la fonctionψw,*surR^+∗ par

ψw,*(t) =# log1

t

$*

t^−wχ(t).

Notons que la fonctionψw,*appartient `aL²(0,+∞) si et seulement si Rew < ¹₂. Rappelons que pour ¹₂ < σ <1,

MΨ_F⁽¹⁾(s) =−F(s) s ·

Si on consid`ere le produit scalaire hilbertien de l’espaceL²(0,+∞), en posant f :=

n

%

k=1

ck√αkDαkΨ_F⁽¹⁾∈ BFλ, on a donc formellement pour tout,∈Net Res= ¹₂ :

-f, ψs,*.= 5 +∞

0

f(t)ψs,*(t)dt=#

−d ds

$* n

%

k=1

ckα^s_k#

−F(s) s

$.

Le second membre est nul pour s = ρ où ρ est un zéro de F et pour tout ,≤mρ−1 où mρ est la multiplicité du zéro ρ de F. Si les vecteurs ψρ,*

appartenaient à l’espaceL²(0,+∞), on aurait doncmρvecteurs orthogonaux à l’espace BF pour chaque zéro ρde F. Nous allons donc modifier ces vecteurs afin d’obtenir des vecteurs deL²(0,+∞).

Avant tout, commen¸cons par modifier la fonctionf afin d’obtenir une fonction deL²(0,1).

Définition 7. — ^• SimF désigne l’ordre du pôle 1 deF, on définit la fonc- tionZF comme suit :

ZF(s) =#s−1 s

$mF#

−F(s) s

$.

o

(19)

• On noteP l’op´erateur unitaire de symbole P(s) :=s−1

s ·

• L’op´erateurP est l’inverse de l’op´erateurH−1.

• Les fonctionsAF et χk sont d´efinies par

AF :=P^m^FΨ_F⁽¹⁾ et χk :=P^kχ.

On a la propri´et´e suivante :

Proposition 6.1. — La fonction AF appartient `aL²(0,1) et pourRes > ¹₂, MAF(s) =ZF(s).

D´emonstration. — Pour ¹₂ < σ <1,

MAF(s) =ZF(s).

Or la fonctionZF est une fonction de l’espace de Hardy du demi-plan Res > ¹₂ donc d’après le théorème de Paley-Wiener,AF est une fonction deL²(0,1) et l’égalitéMAF(s) =ZF(s) est valable pourσ > ¹₂.

Remarquons de plus que comme l’op´erateurP est unitaire, la distance Dλ

que l’on cherche est ´egale `a la distance entre la fonction χmF et l’espace C_F^λ suivant :

D´efinition 8. — On appelleraC_F^λ le sous-espace deL²(0,1) suivant : C_F^λ =&

t#→

n

%

k=1

ck√

αkDαkAF(t) ; n∈N,∀k∈[1, n], λ≤αk≤1' .

Cette premi`ere op´eration nous a permis de remplacerB^λF par un sous-espace deL²(0,1).

Avec ces notations, pour f(t) :=

n

%

k=1

ck√

αkDαkAF(t)∈CFλ, on a donc formellement pour Res= ¹₂ et pour tout,∈N

-f, ψs,*.=#

− d ds

$* n%

k=1

ckα^s_kZF(s).

(20)

6.2. Modification des vecteurs : conservation de l’orthogonalité Nous allons à présent modifier les vecteursψs,* en leur appliquant des opé- rateurs.

Définition 9. — On définit l’opérateurVF, opérateur de phase associé à la fonctionAF. On a donc

VF(AF) =J(AF), et le symbole associ´e `aVF est la fonction

VF(s) :=# s 1−s

$2mF

UF(s).

Définition 10. — Soitλ un réel vérifiant 0 < λ < 1. Supposons que la limite lorsque le complexe w de partie réelle strictement inférieure à ¹₂ tend verss= ¹₂+iτ de

V_F⁻¹QλVF(ψw,*)

existe dansL²(0,+∞). On note alorsY_s,*^λ,F cette limite.

En cas d’existence de la limite, calculons le produit hilbertien d’une fonction appartenant `a l’espace C_λ^F avec la fonction Y_s,*^λ,F. Nous allons montrer que l’application des op´erateurs conserve le produit hilbertien.

Proposition 6.2. — Si la limite qui d´efinitY_s,*^λ,F existe, alors pour toute fonction f ∈C_F^λ d´efinie par

f :=

n

%

k=1

ck√αkDαkAF, on a

-f, Y_s,*^λ,F.=#

− d ds

$*#%ⁿ

k=1

ckα^s_kZF(s)$ . D´emonstration. — Soitwun complexe v´erifiant Rew < ¹₂. On a

;V_F⁻¹QλVF(ψw,*), f<

=

n

%

k=1

ck√αk

;V_F⁻¹QλVF(ψw,*), DαkAF

<

=

n

%

k=1

ck√αk;

VF(ψw,*), QλDαkVFAF<

en utilisant successivement le fait que VF est unitaire, invariant et Qλ auto- adjoint. Observons `a pr´esent que VFAF =JAF. On obtient donc

;V_F⁻¹QλVF(ψw,*), f<

=

n

%

k=1

ck√αk;

VF(ψw,*), Dα_kVFAF<

=

n

%

k=1

ck√αk-ψw,*, DαkAF.

o

(21)

=# d dw

$* n

%

k=1

ck√

αk-D_α−1

k ψw,0, AF.

=# d dw

$* n

%

k=1

ckα^−w_k 5 1

0

t^−wAF(t)dt.

Prenons maintenant la limite lorsquew tend versspuis le conjugu´e de notre expression. On obtient

-f, Y_s,*^λ,F.=#

− d ds

$*#%ⁿ

k=1

ckα^s_kZF(s)$ .

6.3. Convergence dans L²(0,+∞). — Nous venons de voir qu’en cas d’existence de la limite, les vecteurs que l’on a choisis conservent le produit hilbertien formel. Nous allons maintenant montrer que le choix des opérateurs de phaseUF etVF garantie l’existence de cette limite. En effet, c’est le compor- tement deψw,*au voisinage de 0 qui entraine la divergence du produit scalaire formel. Les opérateurs UF et VF conservent la localisation de ce problème et l’application du projecteurQλle supprime, et permet ainsi d’obtenir une limite dansL²(0,+∞).

Au vu de (18), il est naturel d’introduire la fonction suivante.

D´efinition 11. — Soientk∈ Net w∈Ctel que 0 <Rew < ¹₂(1 +¹_d). On d´efinit, si elle existe, la limite ponctuelle de la fonction deR^+∗ suivante :

φw,k(t) := lim

η→0

5 1 η

#log#1 v

$$k

v^−w d

dvUFχ#t v

$dv.

Remarque 3. — D’après (18), on a déjà montré l’existence de cette limite pour Rew < ¹₂ et l’on sait de plus que dans ce casUFψw,*=φw,*.

Nous allons montrer l’existence deφw,k(t) pour 0<Rew < ¹₂(1 +¹_d) et nous en donnerons une majoration uniforme en wappartenant `a un compactK de la bande verticale 0<Rew < ¹₂(1 +¹_d).

Proposition 6.3. — Pour toutt >0, toutk∈Net tout complexewvérifiant 0<Rew < ¹₂(1 +¹_d), la limite définissant φw,k(t) existe. Pour toutt >0 fixé, cette limite est holomorphe en w. Si ε est un réel strictement positif et si w appartient à un compactKde la bande verticaleε≤Rew < ¹₂(1 +¹_d), alors on a uniformément par rapport àwles majorations

φw,k(t) =







O(t⁻¹²⁽¹⁺¹^d⁾), sit≥1,

δ0,kUFχ(t) +# d dw

$k

(UF(w)x^−w) +O(t^−ε) si0< t≤1.

(22)

Démonstration. — Intégrons par parties l’intégrale définissantφw,k(t) : 5 1

η

#log#1 v

$$k

v^−w d

dvUFχ#t v

$dv

==#

log#1 v

$$k

v^−wUFχ#t v

$>1 η

+ 5 1

η

#k+wlog1 v

$#log#1 v

$$k−1

v^−w−1UFχ#t v

$dv

=δ0,kUFχ(t)−# log#1

η

$$k

η^−wUFχ#t η

$

+ 5 1/η

1

(k+wlogu)(logu)^k−1u^w−1UFχ(tu)du en effectuant le changement de variableu= 1/vdans la derni`ere int´egrale.

Lorsquettend vers l’infini, on aUFχ(t) =O(t⁻¹²⁽¹⁺¹^d⁾) d’apr`es (12) ; donc

#log#1 η

$$k

η^−wUFχ#t η

$*t⁻¹²⁽¹⁺^d¹⁾# log#1

η

$$k

η¹²⁽¹⁺¹^d^)−Re^w et si Rew < ¹₂(1 + ¹_d), on a

η→0lim

#log#1 η

$$k

η^−wUFχ#t η

$= 0.

• Si on supposet≥1, on a pour Rew <¹₂(1 + ¹_d), 5 +∞

1

(k+wlogu)(logu)^k−1u^w−1UFχ(tu)du

=O#5 +∞

1

(k+wlogu)(logu)^k−1u^Re^w−1(tu)⁻¹²⁽¹^d⁺¹⁾du$

=O(t⁻¹²⁽^d¹⁺¹⁾).

La limite définissantφw,k(t) existe donc bien. Pour toutt≥1 fixé, cette limite est holomorphe en w. Si w appartient à un compactK de la bande verticale 0 < Rew < ¹₂(1 + _d¹) et si t ≥1, alors on a uniformément par rapport à w la majoration

φw,k(t) =O(t⁻¹²⁽¹⁺^d¹⁾).

• Supposons maintenant 0 < t < 1. Remarquons tout d’abord que, pour tout k∈N, on a

# d dw

$k

(wu^w−1) = (k+wlogu)(logu)^k−1u^w−1.

o