IFT 6561 Simulation: aspects stochastiques

IFT 6561

Simulation: aspects stochastiques

Fabian Bastin DIRO

Universit ´e de Montr ´eal

Automne 2013

Tests statistiques

L’ ´etude des propri ´et ´es th ´eoriques d’un g ´en ´erateur ne suffit; il estindispensable de recourir `a des tests statistiques pour valider celui-ci.

mbox

Nous formulons l’hypoth `ese

H₀ : “{u₀,u₁,u₂, . . .}sont des variables al ´eatoires i.i.d. U(0,1)⁰⁰.

Nous savons queH₀est fausse, mais comment pouvons-nous le d ´etecter?

Pour ce faire, d ´efinissons une statistiqueT, fonction deu_i, dont la distribution sousH₀est connue (ou approximativement).

Nous rejetonsH₀si la valeur deT est trop extr ˆeme.

Tests statistiques

La puissance et l’efficacit ´e du test d ´ependent fortement de la classe d’alternatives. Diff ´erents tests d ´etectent des probl `emes diff ´erents.

L’id ´eal serait de disposer d’une statistiqueT qui imite la variable al ´eatoire d’int ´er ˆet pratique. Ce n’est cependant gu `ere r ´ealisable en pratique.

Impossible de construire un g ´en ´erateur de variables al ´eatoires qui passerait tous les tests. Compromis: construire un

g ´en ´erateur qui passe le plus de tests raisonnables.

La plupart des tests ´etudient la r ´epartition uniforme d’un

Tests statistiques

Avoir une bonne couverture uniforme ne suffit toutefois pas: les points g ´en ´er ´es doivent avoir l’apparence d’ind ´ependance les uns par rapport aux autres.

Les tests d’uniformit ´e, qui repr ´esentent la majeure partie des tests `a notre disposition, remplissent partiellement ce second objectif dans la mesure o `u ils sont valid ´es pour des

sous-ensembles de points tr `es vari ´es.

Certains tests cependant sont sp ´ecifiquement conc¸us pour tester les corr ´elations entre les points produits par un g ´en ´erateur.

TestU01

Le logiciel TestU01 (http://www.iro.umontreal.ca/

˜simardr/testu01/tu01.html), impl ´emente un nombre tr `es important de tels tests.

Nous nous limiterons `a quelques exemples afin d’illustrer les id ´ees sous-jacentes.

Test de collisions

Partitionnons l’hypercube[0,1)^t enk =d^t boˆıtes cubiques de tailles ´egales. G ´en ´eronsnpointsu_i = (u_ti, . . . ,u_ti+t−1)dans [0,1)^t, et posonsX_j le nombre de points dans la boˆıtej.

Le nombre de collisions est donn ´e par

C=

k−1

X

j=0

max(0,X_j−1).

SousH₀,Csuit approximativement une loi de Poisson de moyenneλ=n²/(2k), pournsuffisamment grand, et un petitλ.

Test de collisions

Si nous observonsccollisions, nous calculons lap-valeur `a droite comme

p⁺(c) =P[X ≥c |X ∼ Poisson(λ)].

Nous rejetonsH₀sip⁺(c)est de mani `ere consistante tr `es proche de 0 (trop de collisions) ou de 1 (pas assez de collisions).

Une interpr ´etation possible est l’ ´etude par simulation Monte Carlo du comportement probablisite d’un algorithme de hachage.

Espacement entre anniversaires

Nous partitionnons `a nouveau l’hypercube[0,1)^t enk =d^t boˆıtes cubiques, et g ´en ´eronsnpoints.

SoitI₍₁₎ ≤I₍₂₎≤ · · · ≤I_(n)les num ´eros de boˆıte o `u les points tombent, tri ´es par ordre croissant.

Nous calculons les espacements

S_j =I_(j+1)−I_(j), 1≤j ≤n−1.

Le nombre de collisions entre les espacements est d ´efini comme

Y =

n−1

X

j=1

I[S_(j+1)=S_(j)].

Espacement entre anniversaires

Pourk suffisamment grand,Y suit approximativement une loi de Poisson de moyenneλ=n³/(4k).

SiY prend la valeury, lap-valeur `a droite est p⁺(y) =P[X ≥y |X ∼ Poisson(λ)].

Interpr ´etation comme probl `eme de simulation: nous pouvons vouloir ´etudier la distribution deY par simulation Monte Carlo, pour des valeurs mod ´er ´ees dek etn.

Test d’autocorr ´elation

G ´en ´eronsnuniformesu₁, . . . ,u_net calculons l’autocorr ´elation empirique de distancek:

ˆ

ρ_k = 1

n−k

n−k

X

j=1

u_ju_j+k −1 4

.

La distribution empirique deN valeurs de p12(n−k) ˆρ_k

est compar ´ee avec la distribution normale standard, qui est la distribution th ´eorique asymptotique quandn→+∞.

L’approximation n’est valide que pourntr `es grand, et avec k tr `es petit en comparaison den.

Quelques g ´en ´erateurs largement utilis ´es

Avant 2003, le g ´en ´erateur dans MS Excel ´etait u_i = (9821.0u_i−1+0.211327) mod 1.

Le g ´en ´erateur est `a pr ´esent une combinaison de trois GCLs simplistes. A la m ˆeme p ´eriode, le g ´en ´erateur dans MS VisualBasic ´etait

x_i = (1140671485x_i−1+12820163) mod 2²⁴, u_i = x_i/2²⁴.

Le g ´en ´erateur dansjava.util.Randomde Java est quant `a lui

48

R ´esultats de tests: test de colisions

Consid ´eronst=2,d =n/16,λ=128.

n Java VisualBasic Excel

c p⁺(c) c p⁺(c) c p⁺(c)

2¹⁴ 132

2¹⁵ 75 1−3.1×10⁻⁷ 128

2¹⁶ 38 >1−10⁻¹⁵ 121

2¹⁷ 0 >1−10⁻¹⁵ 170 2.2×10⁻⁴ 2¹⁸ 0 >1−10⁻¹⁵ 202 9.5×10⁻¹⁰ 2¹⁹ 0 >1−10⁻¹⁵ 429 <10⁻¹⁵

R ´esultats de tests: test de colisions

Si on rejette les dix premiers bits de chaqueu_i: on prend u_i :=1024u_i mod 1.

n Java VisualBasic Excel

c p⁺(c) c p⁺(c) c p⁺(c)

2¹⁴ 8192 <10⁻¹⁵

2¹⁵ 24576 <10⁻¹⁵

2¹⁶ 57344 <10⁻¹⁵

2¹⁷ 122880 <10⁻¹⁵

2¹⁸ 253952 <10⁻¹⁵ 224 1.0×10⁻¹⁴

2¹⁹ 160 3.5×10⁻³ 516096 <10⁻¹⁵ 425 <10⁻¹⁵

Espacements d’anniversaire

Consid ´eronst=2,λ=1.

n d Java VisualBasic Excel

y p⁺(y) y p⁺(y) y p⁺(y) 2⁸ 2¹¹

2¹⁰ 2¹⁴ 10 1.1×10⁻⁷

2¹² 2¹⁷ 592 <10⁻¹⁵ 5 3.7×10⁻³ 2¹⁴ 2²⁰ 11129 <10⁻¹⁵ 71 <10⁻¹⁵ 2¹⁶ 2²³ 64063 <10⁻¹⁵ 558 <10⁻¹⁵ 2¹⁸ 2²⁶ 14 4.5×10⁻¹² 261604 <10⁻¹⁵ 4432 <10⁻¹⁵

Espacements d’anniversaire

n d LCG-16807

y p⁺(y) 2¹⁰ 2¹⁴

2¹² 2¹⁷ 2

2¹⁴ 2²⁰ 170 <10⁻¹⁵ 2¹⁶ 2²³ 10060 <10⁻¹⁵

Espacements d’anniversaire

Et en rejetant les 10 premiers bits:

n Java VisualBasic Excel

y p⁺(y) y p⁺(y) y p⁺(y)

2⁸ 52 <10⁻¹⁵

2⁹ 199 <10⁻¹⁵

2¹⁰ 672 <10⁻¹⁵

2¹¹ 1754 <10⁻¹⁵

2¹² 3901 <10⁻¹⁵

2¹³ 8102 <10⁻¹⁵

2¹⁴ 16374 <10⁻¹⁵

2¹⁵ 21 6.0×10⁻¹⁵ 32763 <10⁻¹⁵

2¹⁶ 99 <10⁻¹⁵ 65531 <10⁻¹⁵ 7 4.5×10⁻³

2¹⁷ 697 <10⁻¹⁵ — — 34 <10⁻¹⁵

Tests syst ´ematiques pour des familles de g ´en ´erateurs de nombres al ´eatoires

Pour une famille de g ´en ´erateurs de nombres al ´eatoires, on cherche une relation su type[n₀≈Kρ^γ,] o `un₀est la taille d’ ´echantillon minimum pour obtenir un fort rejet,ρest la longueur de p ´eriode, etK etγ sont des constantes.

Pour des GCLs, on obtient (grossi `erement) pour le test de collisions:

n₀≈16ρ^1/2,

et pour le test d’espacement entre anniversaires:

n₀≈16ρ^1/3.

Nous souhaitons d `es lors construire le g ´en ´erateur de nombres

Librairie de tests

Tests effectu ´es sur la plupart des g ´en ´erateurs existants.

Pratiquement aucun des g ´en ´erateurs pr ´esent dans les logiciels commerciaux ne passe tous les tests. Vrai en particulier pour les g ´en ´erateurs modulo-2.

Les vainqueurs sont des MRG avec une bonne p ´eriode et une bonne structure, des g ´en ´erateurs multiplicatifs

“lagged-Fibonacci”, des g ´en ´erateurs non-lin ´eaires conc¸us pour la cryptologie, et certains g ´en ´erateurs avec des composantes venant de diff ´erentes familles.

Librairie de tests

Il est possible de combiner efficacit ´e empirique et th ´eorique, comme l’illustre le MRG32k3a.

Note: g ´en ´erateur multiplicatifs “lagged-Fibonacci”. Forme de base

xn=xn−r ∗xn−k modm.

Il a moins de propri ´et ´es math ´ematiques connues, difficult ´es du choix der et dek, initialisation complexe.mest souvent pris comme une puissance de 2.