Chapitre IV : Applications et résultats

2.3. Distribution du calcul sur la grille EGEE

2.3.1. Authentification sur la grille

La parallélisation sur grille de calcul nécessite des autorisations d‘accès aux ressources informatiques de la grille EGEE. Le CA (Certificate Authority) fournit à chaque utilisateur de la grille EGEE inscrit à une VO (Virtual Organization) un certificat composé d‘une clé publique et d‘une clé privée. Les deux clés sont générées à partir d‘une seule clé au format PKCS12 (Public Key Cryptographic Standards) (ayant une extension .p12) – qui définit un format de fichier utilisé

Mohieddine MISSAOUI Page 183 pour stocker la clé privée et le certificat de clé publique correspondant en les protégeant par un mot de passe. Par exemple la commande suivante permet de générer les deux clés pour une utilisation de la grille:

[missaoui@isima01UI ~]openssl pkcs12 in mohieddine.p12 clcerts nokeys -out $HOME/.globus/usercert.pem

[missaoui@isima01UI ~]

[missaoui@isima01UI ~]openssl pkcs12 -in mohieddine.p12 -nocerts -out $HOME/.globus/userkey.pem

Les deux fichiers générés (.pem) sont utilisés ensuite pour générer le proxy nécessaire à l‘authentification de l‘utilisateur sur toutes les machines de la grille (WMS, CE, SE, RB, BDII…) à l‘aide de la commande suivante:

[missaoui@isima01UI ~]voms-proxy-init –-voms biomed Enter GRID pass phrase:

Your identity: /O=GRID-FR/C=FR/O=CNRS/OU=LIMOS/CN=Mohieddine Missaoui Creating temporary proxy

... Done

Contacting cclcgvomsli01.in2p3.fr:15000 [/O=GRID-FR/C=FR/O=CNRS/OU=CC-LYON/CN=cclcgvomsli01.in2p3.fr] "biomed" Done

Creating proxy ... Done

Warning: your certificate and proxy will expire Mon Feb 8 15:45:00 2010 which is within the requested lifetime of the proxy

[missaoui@isima01UI ~]

Nous avons utilisé pour les développements réalisés les ressources de la VO biomed. La commande suivante permet de lister toutes les ressources disponibles ainsi que leur charge de calcul. Les ressources disponibles sont les CE, les SE ou les RB.

[missaoui@isima01UI ~]lcg-infosites –vo biomed ce

#CPU Free Total Jobs Running Waiting ComputingElement --- 124 60 0 0 0 lcg38.sinp.msu.ru:2119/jobmanager-lcgpbs-biomed 2718 16 0 0 0 ce04-lcg.cr.cnaf.infn.it:2119/jobmanager-lcglsf-debug 0 0 0 0 444444 ppsce03.pic.es:8443/cream-condor-condor 421 113 0 0 0 polgrid1.in2p3.fr:2119/jobmanager-pbs-sdj 1346 1 0 0 0 gridce.pi.infn.it:2119/jobmanager-lcglsf-grid4 1136 874 3 2 1 trekker.nikhef.nl:2119/jobmanager-pbs-qshort 1776 1744 0 0 444444 svr021.gla.scotgrid.ac.uk:2119/jobmanager-lcgpbs-q3d 20 4 12 6 6 ce001.grid.uni-sofia.bg:2119/jobmanager-lcgpbs-biomed /…/

[missaoui@isima01UI ~]lcg-infosites –vo biomed se Avail Space(Kb) Used Space(Kb) Type SEs

--- 1954042367 210476364 n.a fornax-se.itwm.fhg.de 319315555 82124819 n.a se02.marie.hellasgrid.gr

Mohieddine MISSAOUI Page 184 30387761434 164970612257 n.a grid-cert-03.roma1.infn.it 4377513251 52782116 n.a se.pakgrid.org.pk 1110552301 147250237 n.a se01.cat.cbpf.br 1099368480 540 n.a glite03-kvm.hpc2n.umu.se 27813281178 142518029 n.a gw-3.ccc.ucl.ac.uk 6572167 1951418068 n.a se01.grid.auth.gr /…/

[missaoui@isima01UI ~]lcg-infosites –vo biomed wms https://lcgrb02.jinr.ru:7443/glite_wms_wmproxy_server https://svr022.gla.scotgrid.ac.uk:7443/glite_wms_wmproxy_server https://wms.pnpi.nw.ru:7443/glite_wms_wmproxy_server https://grid-wms2.desy.de:7443/glite_wms_wmproxy_server https://lcgrb01.jinr.ru:7443/glite_wms_wmproxy_server https://wms01.grid.sinica.edu.tw:7443/glite_wms_wmproxy_server https://grid-wms14.desy.de:7443/glite_wms_wmproxy_server https://gridrb.fe.infn.it:7443/glite_wms_wmproxy_server https://wmslb101.grid.ucy.ac.cy:7443/glite_wms_wmproxy_server /…/ [missaoui@isima01UI ~]

Comme nous pouvons le remarquer, il y a des informations utiles sur la disponibilité des éléments de calcul et la capacité de stockage des SE ou encore les WMS disponibles. D‘autre part, il est important de prendre en considération les logiciels qui sont utilisés dans la conception de sonde et en particulier le programme BLAST. En effet, nous avons choisi de copier les exécutables compilés sur les SE de la grille en faisant des réplicas (sachant que toutes les plateformes de la grille EGEE sont identiques). Nous avons alors utilisé les commandes LCG1

suivantes:

[missaoui@isima01UI ~]lcg-cr –d grid-cert-03.roma1.infn.it –-vo biomed lfn:/grid/biomed/missaoui/logiciels/blast.tar $HOME/blast.tar

[missaoui@isima01UI ~]

Enfin, pour le bon fonctionnement de l‘application, il est important de vérifier la syntaxe des fichiers JDL ainsi que l‘exécution des scripts utilisés pour la recherche de spécificité. Un job est soumis à l‘aide de la commande suivante:

[missaoui@isima01UI ~]glite-wms-job-submit –a job_4536_0.jdl Connecting to the service

https://grid25.lal.in2p3.fr:7443/glite_wms_wmproxy_server

====================== glite-wms-job-submit Success ====================== The job has been successfully submitted to the WMProxy

Your job identifier is:

https://grid09.lal.in2p3.fr:9000/s65Bt_cYDObWt-Grh2em2A [missaoui@isima01UI ~]

Pour vérifier enfin le statut du job soumis et récupérer les résultats directement et pour simplifier, nous exécutons la commande suivante:

[missaoui@isima01UI ~]glite-wms-job-status

https://grid25.lal.in2p3.fr:7443/glite_wms_wmproxy_server

————————— 1LCG: LHC Computing Grid

Mohieddine MISSAOUI Page 185 *************************************************************

BOOKKEEPING INFORMATION:

Status info for the Job : https://grid09.lal.in2p3.fr:9000/s65Bt_cYDObWt-Grh2em2A

Current Status: Scheduled

Status Reason: Job successfully submitted to Globus

Destination: lcgce02.gridpp.rl.ac.uk:2119/jobmanager-lcgpbs-grid500M Submitted: Wed Aug 26 16:40:39 2009 CEST

************************************************************* [missaoui@isima01UI ~] glite-wms-job-output

https://grid25.lal.in2p3.fr:7443/glite_wms_wmproxy_server Connecting to the service

https://grid25.lal.in2p3.fr:7443/glite_wms_wmproxy_server

=========================================================================== JOB GET OUTPUT OUTCOME

Output sandbox files for the job:

https://grid09.lal.in2p3.fr:9000/s65Bt_cYDObWt-Grh2em2A

have been successfully retrieved and stored in the directory: /tmp/jobOutput/missaoui_s65Bt_cYDObWt-Grh2em2A

========================================================================== [missaoui@isima01UI ~]

Le déploiement repose en grande partie sur le développement d‘API génériques qui décharge l‘utilisateur de toutes ces commandes et qui permet de superviser automatiquement les jobs.

Dans le document Contributions algorithmiques à la conception de sondes pour biopuces à ADN en environnements parallèles (Page 183-186)