Génération de flux aléatoires parallèles - The DART-Europe E-theses Portal

Chapitre 1 : Problématique

III.3 Génération de flux aléatoires parallèles

L’approche la plus naturelle, est l’utilisation d’un serveur central qui exécute un algorithme de génération de nombres. Les différents processus de la simulation demandent leurs nombres pseudo-aléatoires à ce dernier. Il y a deux désavantages majeurs à utiliser cette méthode. Tout d’abord, le serveur central peut rapidement devenir un goulot d’étranglement pour la simulation. Le gain obtenu par la parallélisation est alors fortement réduit. D’autre part, la reproductibilité n’est pas garantie. Les nombres obtenus par chaque processus vont dépendre de l’ordre des demandes des nombres. Ce type de générateur parallèle viole ainsi deux des cinq recommandations pour un bon générateur de nombres pseudo-aléatoires parallèle établies par Coddington.

III.3.2 Le schéma de découpe par blocs ou « sequence splitting » ou « blocking » ou

« boosting » ou « regular spacing »

Un générateur de nombres pseudo-aléatoires peut être représenté mentalement comme un cycle périodique de nombres (Mascagni et Srinivasan, Parameterizing parallel multiplicative lagged-Fibonacci generators 2004). Ce cycle peut être réparti en blocs de manière déterministe entre les différents processeurs. L’utilisateur choisit une taille des séquences (ou blocs), qui correspond à la taille d’une sous séquence dans le cycle global, et alloue chaque sous-séquence à un processeur différent. Le danger réside dans le risque que la simulation utilise plus de nombres que prévu et que les séquences se chevauchent. Dans ce cas la simulation peut ne pas converger ou produire des résultats statistiques présentant un biais.

Par exemple, le simulateur de réseau à événements discrets OMNeT++⁷ propose un mécanisme de parallélisation des simulations à l’utilisateur. Pour ce faire, le générateur de nombres pseudo-aléatoires est parallélisé en utilisant un tableau de germes initiaux.

Cependant les germes de ce tableau correspondent à des états du générateur de

7 http://www.omnetpp.org

nombres pseudo-aléatoires espacés de seulement 1 millions de tirages. Ce faible espacement peut mener au chevauchement des séquences et à des résultats biaisés ou inexploitables (Hechenleitner, Defects in Random Number Routines of Well-Known Network Simulators and Appropriate Improvements 2004).

La Figure 8 et la Figure 9 présentent les résultats de deux calculs de π selon la méthode de Monte-Carlo. Afin de montrer l’erreur due à des corrélations entre les séquences de nombres lors d’une parallélisation par découpage en séquence, nous avons tracé pour chacun l’évolution de l’intervalle de confiance à 95% en fonction du nombre de réplications exécutés. Dans un cas, représenté par la courbe claire, les réplications utilisent des séquences de nombres faiblement corrélées. L’intervalle de confiance diminue et la moyenne des résultats des réplications converge vers π quand le nombre de réplications pris en compte augmente.

Sur la Figure 8, la courbe foncée représente les résultats obtenus alors que les séquences de nombres utilisées pour les 25 réplications sont fortement corrélées suivant le schéma présenté en haut de la figure. 999 points sur 1000 dans l’espace d’intégration à deux dimensions sont identiques d’une réplication à l’autre. Le calcul d’intervalle de confiance est biaisé. La moyenne des résultats des réplications oscille et ne tend pas vers π quand le nombre de réplications pris en compte dans les calculs statistiques augmente.

Selon les cas, il est possible que la simulation semble converger même avec des séquences de nombres hautement corrélées. Ainsi, la corrélation entre les réplications peut ne biaiser que certains indicateurs statistiques. Sur la Figure 9, la courbe en foncé représente les résultats d’une simulation qui utilise des séquences de nombres générés de manière à présenter des corrélations inter-séquences significatives selon le schéma en haut de la figure. Dans ce cas, la simulation utilise deux ensembles de points : une pour les réplications de numéros paires et une autre pour les réplications de numéro impaires. Ainsi la réplication numéro 25 partage 976 points avec la réplication numéro 1, et 977 avec la réplication 3. Elle n’a cependant aucun point en commun avec les réplications numéro 2 et 4. Ces deux cas (réplications paires | réplications impaires) peuvent être considérés comme deux réplications indépendantes. Elles produisent toutes deux un résultat dont la moyenne est proche de π. Le résultat de la simulation globale est très proche de la moyenne des réplications 1 et 2, donc de π. Même si la

moyenne des résultats semble correcte, les autres indicateurs statistiques (ici le calcul d’intervalle de confiance) sont biaisés. Il est par conséquent impossible de tirer des conclusions de ces simulation sans connaître à l’avance la valeur de .

Figure Figure Figure

Figure 8888 Convergence d’un calcul de PI par la méthode de Monté Carlo avec des réplications utilisant des séries de Convergence d’un calcul de PI par la méthode de Monté Carlo avec des réplications utilisant des séries de Convergence d’un calcul de PI par la méthode de Monté Carlo avec des réplications utilisant des séries de Convergence d’un calcul de PI par la méthode de Monté Carlo avec des réplications utilisant des séries de nombres pseudo

nombres pseudonombres pseudo

nombres pseudo----aléatoires indépendantes d’une part et fortement corrélées d’autre partaléatoires indépendantes d’une part et fortement corrélées d’autre partaléatoires indépendantes d’une part et fortement corrélées d’autre part aléatoires indépendantes d’une part et fortement corrélées d’autre part

Figure Figure Figure

Figure 9999 Convergence d’un calcul de PI par la méthode de Monté Carlo avec des réplications utilisant des séries de Convergence d’un calcul de PI par la méthode de Monté Carlo avec des réplications utilisant des séries de Convergence d’un calcul de PI par la méthode de Monté Carlo avec des réplications utilisant des séries de Convergence d’un calcul de PI par la méthode de Monté Carlo avec des réplications utilisant des séries de nombres pseudo

nombres pseudonombres pseudo

Un soin particulier doit être pris afin d’éviter les problèmes de chevauchements lors de la parallélisation d’un générateur de nombres pseudo-aléatoires par découpage en séquence. S’il est possible d’éviter les chevauchements, un autre problème est lui plus

difficile à résoudre : les corrélations longues-portées dans le générateur de nombres pseudo-aléatoires séquentiel (De’Matteis et Pagnutti, Long-range correlations in linear and non-linear random number generators 1990) (De’Matteis et Pagnutti, Parallelisation of random number generators and long-range correlations 1990b) se traduisent par des corrélations à faible portée entre les flux pour les générateurs aléatoires parallélisés par « sequence splitting ». C'est-à-dire que les séquences de nombres considérées comme indépendantes présenteront de fortes corrélations.

Les corrélations faibles-portées sont considérées comme plus dangereuses pour les applications classiques. L’article (Srinivasan, Mascagni et Ceperley, Testing parallel Random Number Generators 2003) montre que le générateur LCG sur 48 bits, appelé sous Unix drand48, présente des corrélations de longue-portée qui deviennent des corrélations inter-séquences et de ce fait le rende impropre à être parallélisé par découpage en séquence ou « sequence splitting ».

Malgré les problèmes inhérents à cette méthode de parallélisation elle peut être utilisée sainement avec certains générateurs présentant de longues périodes. Dans ce cas, il est intéressant de coupler la parallélisation d’un générateur par découpage en séquence avec des techniques appelées « division de cycle ». Celles-ci permettent de calculer analytiquement l’état du générateur après plusieurs cycles de génération. Il est alors possible d’avancer le générateur de plusieurs itérations en une seule opération, sans générer les états intermédiaires. Pour que la technique soit efficace, le calcul de l’état après

n

pas de génération doit être beaucoup plus rapide que le calcul de chacun des

n

pas intermédiaires. Il est alors possible d’accélérer la création de blocs très

« éloignés les uns des autres » dans le cycle de génération.

L’utilisation conjointe d’une technique de division de cycle et d’un découpage en séquence permet d’éradiquer facilement les problèmes de chevauchement. Un exemple est donné dans (Mascagni et Srinivasan, Parameterizing parallel multiplicative lagged-Fibonacci generators 2004) en utilisant l’algorithme de Miller and Brown. Cependant ces techniques de division de cycles sont impraticables pour des générateurs linéaires avec des périodes excessivement longues comme le Mersenne Twister (L'Ecuyer et Panneton, Fast Random Number Generators Based on Linear Recurrences Modulo 2: Overview and Comparison 2005). Une autre stratégie consiste alors à générer aléatoirement des états

pour le générateur de nombres pseudo-aléatoires cible à l’aide d’un autre générateur.

C’est la technique dite d’« indexation de séquences ».

III.3.3 La technique d’indexation de séquences ou « Index sequence »

La technique dite des séquences indexées qu’on trouve aussi sous l’appellation

« random spacing » consiste à générer des états pour un générateur de nombres pseudo-aléatoires avec un autre générateur de nombres pseudo-pseudo-aléatoires. On considère alors que les états ainsi produits vont permettre de générer des sous-séquences indépendantes, et éloignées dans le cycle de génération du générateur parallélisé.

Cette technique est facilement exploitable avec certains générateurs comme les générateurs de Fibonacci avec décalage (Coddington et Newell, JAPARA – A Java Parallel Random Number Library for High-Performance Computing 2004) pour lesquels il suffit de remplir la table d’historique des nombres avec un autre générateur de nombres pseudo-aléatoires. L’article (Wu et Huang 2006) montre que la distance minimale, entre

n

statuts générés de la sorte, est de 1 / n² fois la période du générateur cible en moyenne. Cette technique est donc applicable, sans risque de chevauchement lors de l’utilisation des séquences, pour des générateurs avec de très grandes périodes (par exemple le Mersenne Twister 19937 (Matsumoto et Nishimura, Mersenne Twister: A 623-dimensionally equidistributed uniform pseudorandom number generator 1997) avec une période de 2¹⁹⁹³⁷-1).

III.3.4 La technique du saut de grenouille ou « Leap frog »

Cette technique consiste à distribuer les nombres comme on distribue des cartes à des joueurs. Chaque processeur utilise alors un nombre sur

n

dans la série originale. En utilisant cette technique les corrélations longues-portées d’un générateur de nombres pseudo-aléatoires peuvent cependant devenir des corrélations faibles-portées dans les séquences générées quand le nombre de processeurs est grand. De plus, des cas de forte corrélation entre les séquences (corrélations croisées) sont observés quand l’intervalle utilisé entre deux nombres de la série originelle est mal choisi (Wu et Huang 2006).

Enfin, le cas d’un générateur dont la qualité est largement réduite par la parallélisation par « leap frog » est présenté dans (Hellekalek, Don't trust parallel Monte Carlo 1998).

Pour une question de performance, cette technique est généralement couplée à des techniques de division de cycles (Srinivasan, Ceperley et Mascagni, Random Number Generators for Parallel Applications 1999). En effet, sans le couplage avec une technique

de division de cycle le générateur de nombres pseudo-aléatoires parallélisé par saut de grenouille est

n

fois moins performant que sa version séquentielle, où

n

est le nombre de sous-séquences générées. Elle n’est donc pas exploitable avec la majorité des générateurs de nombres pseudo-aléatoires.

III.3.5 Paramétrisation du générateur

La paramétrisation des cycles pour un générateur, permet d’obtenir des séries de nombres différents, qui ne se recouvrent jamais. Ainsi chaque processeur dispose de son propre cycle de nombres pseudo-aléatoires.

Pour la mise en œuvre de cette technique, on doit disposer d’un générateur sous forme d’une fonction itérative paramétrable, qui, étant donné un jeu de paramètres, générera des séries différentes et indépendantes. Cette technique de parallélisation n’est pas applicable à tous les générateurs de nombres pseudo-aléatoires séquentiels, du fait qu’une étude théorique est nécessaire afin de pouvoir générer des paramètres qui mènent à la génération de séquences non corrélées.

Par exemple, les générateurs de type Mersenne Twister (Matsumoto et Nishimura, Mersenne Twister: A 623-dimensionally equidistributed uniform pseudorandom number generator 1997) ont fait l’objet d’une telle étude (Matsumoto et Nishimura, Dynamic Creation of Pseudorandom Number Generators 2000). On dispose maintenant d’un algorithme qui permet de générer des paramètres pour le Mersenne Twister. On peut donc obtenir de nombreux Mersenne Twisters différents qui génèrent tous en théorie des séquences hautement indépendantes les unes des autres. L’algorithme actuellement disponible permet de générer jusqu’à 65535 générateurs indépendants.

Une étude similaire a été menée pour les générateurs linéaires congruentiels (Mascagni et Chi, Parallel linear congruential generators with Sophie-Germain moduli 2004). Elle montre comment il est possible de générer des LCG indépendants où les modulos sont : ou des nombres premiers de Mersenne, ou des nombres premiers de Sophie-Germain. Cette étude montre de plus que le nombre de générateurs pseudo-aléatoires indépendants qu’il est possible de générer avec des nombres de Sophie-Germain est bien plus important que celui qu’il est possible de générer avec l’utilisation des nombres premiers de Mersenne pour un intervalle donné. Le temps de génération des paramètres est ainsi grandement réduit. Cette technique de parallélisation par

paramétrisation est implémentée dans la librairie SPRNG (Mascagni, Ceperley et Srinivasan, SPRNG: A Scalable Library for Pseudorandom Number Generation, 2000).

Même si les bases théoriques de cette technique de parallélisation sont solides dans l’état actuel de nos connaissances, il est impossible de vérifier l’indépendance des séquences dans la pratique. Ce problème est transversal à toutes les techniques de parallélisation de générateur de nombres pseudo-aléatoires. Par exemple, pour les Mersenne Twister, les séquences les plus courtes comprennent 2⁵²¹ nombres pseudo-aléatoires. Tester empiriquement leur indépendance deux à deux est impossible aux vues des périodes mises en jeu. En testant une infime partie du cycle, comme pour les générateurs séquentiels, la somme de calcul nécessaire pour de tels tests reste trop importante pour les ordinateurs séquentiels actuels du fait de l’explosion combinatoire du nombre de tests avec l’augmentation du nombre de séquences à tester.

III.3.6 Automates cellulaires

Les automates cellulaires sont des systèmes dynamiques dans lesquelles le temps et l’espaces sont discrets. Une solution pour la génération de séquences de nombres pseudo-aléatoires parallèles utilisant des automates cellulaires booléens à

n

dimensions (ou chaque cellule contient 0 ou 1) est présentée dans (Sipper 1996) et dans (Tomassini, et al. 1999).

Dans ces articles, seuls des automates à 1 dimension sont considérés. Chaque cellule contient 1 bit utilisable indépendamment des autres ; l’automate génère ainsi

n

flux de bits aléatoires. Les auteurs testent les propriétés statistiques et mesurent les corrélations croisées des séquences générées pour différentes règles de transitions et différentes règles de prélèvement des nombres (utilisation d’espacements temporels en prélevant un bit tout les

m

cycles de l’automate). Ils en concluent que les générateurs aléatoires basés sur des automates cellulaires peuvent être utilisés pour des simulations en environnement distribué. Cette méthode de génération utilise des algorithmes assez lents. Son intérêt principal est donc de pouvoir être implémentée facilement et à moindre frais de façon matérielle, par exemple en utilisant des puces programmables (Ackermann 2001).

III.4 Les corrélations inter-séquences en pratique

Dans le document The DART-Europe E-theses Portal (Page 51-60)