CHRONIQUE
Grids @ work: Middleware, Components, Users, Contest and Plugtests
2nd ProActive Users Group and Tutorial 1st Unicore Summit
Egee g-lite Tutorial and Users Group GAT and Ibis Users Group and Tutorial
Grid Contest & Plugtests
The Use of Open Middlewares for the Grid, a GridCoord workshop Programming Models and Components for the Grid, a CoreGrid workshop
Grid Systems, Tools, and Environments, a CoreGrid workshop Sophia Antipolis, France
10-14 Octobre 2005
Organisation : INRIA Sophia Antipolis et ETSI
Cette année, l’ETSI et l’INRIA Sophia Antipolis ont co-organisé les premiers GRID Plugtests du 18 au 20 octobre 2004 (http://www.etsi.org/plugtests/GRID.htm).
Devant le succès de cet événement (90 participants académiques et industriels de 12 nationalités) et conformément aux plans de deux projets européens sur les grilles informatiques auxquels participe l’INRIA, il a été décidé de renouveler l’opération et de l’élargir en 2005. Pour cette nouvelle édition, le lieu de la Côte d’Azur, particulièrement attractif pour les participants français et internationaux, a de nouveau été retenu. L’organisation scientifique est assurée par l’équipe OASIS, équipe mixte INRIA, CNRS-I3S et UNSA (Université de Nice Sophia Antipolis), dirigée par Isabelle Attali, directeur de recherche à l’INRIA. L’expertise de l’équipe OASIS sur les sujets concernés est attestée par une participation active à de nombreux projets français et européens, la conception et le développement d’une bibliothèque appelée ProActive, ainsi que la publication de nombreux articles de recherche.
1. Objectif de la manifestation
La puissance de calcul, les données informatiques et les capacités de stockage seront-elles, un jour, accessibles sur le même mode décentralisé que l’est l’électricité domestique dans les pays développés ? Beaucoup croient à la possibilité de réaliser, à moyen terme, de vastes réseaux mettant en commun des ressources informatiques géographiquement distantes ; de nombreux chercheurs y travaillent. Ces « grilles » de calcul ou de données permettront d’effectuer des calculs et des traitements de
données à une échelle sans précédent. Le slogan est : « Rendre l’impossible possible par la mutualisation des ressources. »
Par exemple, on peut espérer dans des délais raisonnables, réaliser des prévisions météorologiques ou climatiques, calculer le comportement aérodynamique d’un nouveau modèle d’avion, décrypter le génome d’un organisme vivant, ou détecter des particules élémentaires produites par un accélérateur.
Cette manifestation a pour objectif de réunir des experts internationaux dans le domaine de la programmation des grilles, du calcul scientifique, de la simulation, de l’optimisation, de la bio informatique ; elle sera l’occasion de faire le point sur les dernières avancées scientifiques et technologiques ; elle sera également l’occasion d’échanges entre utilisateurs des technologies Grilles et spécialistes des nombreux domaines d’application cités (d’autres sont émergence, par exemple l’utilisation des grilles dans le domaine de la finance).
La manifestation est organisée autour de plusieurs conférences et événements : – ProActive Users Group : réunion des utilisateurs de ProActive, présentation des derniers développements par l’équipe, présentations des utilisations de ProActive, échanges de points du vue sur les objectifs futurs (sur une journée) ;
– ProActive Tutorial : une journée de cours théoriques et pratiques sur ProActive ; – 1st Unicore Summit : une occasion unique, sur deux jours, pour les utilisateurs du middleware Unicore, qu’ils soient développeurs, administrateurs, chercheurs, etc.
de partager leur expérience et discuter de leurs futurs développements ;
– Egee gLite Users Group and Tutorial : la version 1 du middleware gLite développé par le projet EGEE a été rendue publique en avril 2005 ; l’objectif de cette rencontre sur une journée est de confronter les premiers retours d’expérience de ses utilisateurs ;
– Ibis et GAT Users Group and Tutorial : GAT est une API d’accès aux fonctionnalités d’un middleware de grille, et Ibis est une couche de transport Java RMI haute performance, qui permet notamment de développer des applications en Java, puis des les déployer sur une grille via GAT. Un tutorial approfondi sur l’utilisation de ces deux technologies sera organisé, sur une journée.
– Grid Contest & Plugtests : déploiement d’une grille informatique très hétérogène, d’envergure mondiale, et utilisation de cette grille pour le concours et les tests d’interopérabilité (sur deux jours) ;
– The Use of Open Middlewares for the Grid : ce workshop de la SSA GridCoord, vise à identifier la convergence entre les différentes communautés des intergiciels (middleware) libres et ouverts pour les grilles.
– Programming Models and Components for the Grid : ce workshop du Network of Excellence CoreGrid vise à l’émergence de standards européens pour la
– Grid Systems, Tools and Environments : ce workshop du Network of Excellence CoreGrid vise à la conception d’outils de nouvelle génération pour programmer et exécuter les applications sur la grille.
Co-organisé avec l’ETSI, l’événement 2004 a eu lieu sur 3 jours (18-20 octobre) avec pour objectif de démontrer des solutions, couramment mises en œuvre pour construire une infrastructure de grille. La dimension nouvelle est que ces solutions toutes hétérogènes (différents OS : Linux, Windows XP, MacOS, SGI Irix, différents outils de soumission de jobs : PBS, LSF, Sun Grid Engine, Oar, Prun, Globus, différentes politiques de sécurité concernant l’accès) peuvent être rendues interopérables dès lors qu’elles sont orchestrées via le middleware ProActive.
L’infrastructure obtenue est basée sur l’initiative Grid5000, mais bénéficie aussi de partenaires français, européens et internationaux. Au total, plus de 20 sites ont offert de la puissance de calcul, pour un total de 800 nœuds, et 100 Gigaflops (voir http://www.etsi.org/plugtests/GRID.htm pour la liste complète).
Pour illustrer différents usages d’une telle grille hétérogène via ProActive, mais tout en facilitant leurs comparaisons, il a été décidé que tous les participants à ce test d’interopérabilité travaillent sur une même application, le problème des N reines. Le problème des N reines consiste à calculer le nombre de façons de déposer N reines sur un damier N * N sans que ces reines ne puissent se manger.
Le record du monde est à N=24 reines, dénombrant 227 514 171 973 736 solutions ! Pour un problème d’une telle taille, il est évident qu’une mise en œuvre massivement parallèle est nécessaire en vue de réduire le temps de calcul. Une grille s’y prête donc parfaitement.
Le ProActive N-Queens Grid Contest consiste à utiliser ProActive pour la mise en œuvre d’une application résolvant le problème des N reines. Pour pouvoir comparer différentes mises en œuvre, ProActive doit, au minimum, servir d’outil de déploiement des différentes entités de calcul. L’encapsulation de codes natifs pour implémenter une entité de calcul est donc possible, mais une solution 100% Java est évidemment plus portable.
En vue de motiver les équipes participantes, des prix ont été mis en jeu. Dans ce concours, trois critères ont été pris en compte : le nombre maximum de solutions calculées en une heure, le nombre maximum de nœuds déployés lors d’un calcul, et la rapidité des calculs effectués.
C’est l’équipe chilienne (sur 6 équipes en lice) qui a gagné en calculant 18 reines + 19 reines deux fois + 20 reines 4 fois + 21 reines deux fois :
– par le nombre de solutions calculées en 1 h (800 milliards de solutions) ; – par le nombre de nœuds utilisés (560) ;
– par la rapidité de son algorithme (21 reines en 24’38’’).
L’événement 2005 permettra d’expérimenter un challenge de plus, et la participation d’une vingtaine d’équipes internationales est attendue. L’application retenue pour ce nouveau challenge n’est pas définitivement fixée, mais, elle sera très certainement d’un ordre de difficulté supérieur, par exemple un problème d’optimisation combinatoire du type Voyageur de commerce ou Flow-Shop. Dans ce cas, en effet, beaucoup de communications entre les entités de calcul sont nécessaires, ce qui rendra le tout bien plus challenging vis-à-vis de l’utilisation de ProActive comme intergiciel de communication entre les entités de calcul réparties sur la grille d’une part, et comme outil de déploiement de ces entités d’autre part.
2. Partenaires de la manifestation
Cette manifestation entre dans le cadre de deux projets européens CoreGrid et GridCoord.
CoreGrid (www.coregrid.net) est un réseau d’excellence qui réunit les acteurs majeurs européens dans le domaine des grilles informatiques. Il s’attaque aux fondements, aux infrastructures logicielles et aux applications sur des infrastructures à large échelle telles les grilles et les systèmes pair à pair.
GridCoord (www.gridcoord.org) est une action de coordination entre les différents projets nationaux et européens sur les Grilles informatiques. L’Europe, ainsi que chaque pays en Europe, a compris les enjeux de ces recherches et l’objectif du projet GridCoord est de coordonner les différentes initiatives nationales et européennes afin d’atteindre une certaine masse critique, et d’éviter une duplication et une fragmentation des efforts. En additionnant les sommes investies, aux niveaux nationaux et européens, on constate que l’Europe pourrait jouer un rôle de leadership mondial mais pour l’instant n’est qu’un outsider, en particulier sur le plan de la standardisation. Les objectifs de GridCoord sont donc de renforcer la coordination des instances nationales sur les futures recherches à développer, de renforcer les collaborations entre chercheurs et utilisateurs (surtout industriels), enfin, de proposer une vision européenne et des plans d’actions qui permettent à l’Europe de jouer son rôle de leadership.
L’ETSI (European Telecommunication Standard Institute) (www.etsi.org) joue un rôle majeur en standardisation dans le domaine des télécommunications. Il regroupe 700 membres (constructeurs, opérateurs réseaux, administrations, fournisseurs de services, organismes de recherche et utilisateurs) de près de 60 pays.
Le service des Plugtests de l’ETSI (www.etsi.org/plugtests) est un service professionnel spécialisé dans l’organisation d’événements d’interopérabilité dans le domaine des standards en télécommunications, Internet, sciences de l’information.
C’est la première fois qu’un Plugtests est organisé dans le domaine des grilles
INRIA Sophia Antipolis (www-sop.inria.fr) : créée au cœur de la technopole de Sophia Antipolis en 1983, l’Unité de Recherche regroupe aujourd’hui, sur les sites de Sophia Antipolis, Marseille et Montpellier, 500 personnes dont 380 scientifiques. En partenariat avec le CNRS, plusieurs universités et grandes écoles, une trentaine d’équipes mènent leurs travaux de recherche sur la conception et la programmation de systèmes informatiques performants, la représentation et la manipulation d’informations complexes, la création, la modélisation et la simulation de systèmes complexes. L’INRIA Sophia Antipolis développe de nombreux partenariats industriels et participe à la dynamique régionale par la création de sociétés de technologie (une dizaine en 20 ans). Les collaborations internationales, très actives, se manifestent entre autre par la présence de 42 nationalités différentes au sein de l’unité de recherche.
OASIS (www.inria.fr/oasis) : dans le cadre des applications réparties (réseaux internet et intranet), l’objectif du projet est de proposer des principes fondamentaux, des techniques et des outils pour la construction, l’analyse, la validation, la vérification et la maintenance de systèmes répartis fiables et à grande échelle.
ProActive (www.inria.fr/oasis/ProActive) : ProActive est une bibliothèque Java (code source distribué sous license LGPL, sur la plate-forme ObjectWeb) pour la programmation d’applications parallèles, réparties et concurrentes, assurant également la mobilité et la sécurité. Les réseaux visés sont les réseaux locaux (LAN, Local Area Network), les fermes (clusters) de stations de travail, et les grilles Internet.
Pour toute information supplémentaire, contacter Françoise Baude, membre du projet OASIS et qui coordonne la mise en place de la manifestation.
