Description de GAMMORA
2.9 Les ressources de calcul
Figure 2.53 – Capture d’écran de l’interface graphique de GAMMORA (en cours de développement).
2.9 Les ressources de calcul
Comme il a été dit, pour obtenir des temps raisonnables de calcul il est indispensable de paralléliser les simulations, et donc de disposer de ressources de calculs adaptées.
Initialement, au sein de notre équipe nos simulations étaient réalisées sur un cluster maison composé de 26 iMacs en réseau (1 master et 25 slave). Nous disposions alors de 100 CPUs. Pour avoir un environnement propre, contrôlé et sécurisé pour chaque job, les simulations étaient exécutées à l’intérieur de conteneur Docker23. Nous utilisions HTCondor24 pour la gestion des jobs (surveillance et allocation des ressources, file d’attente et schéma de priorité). Les performances de ce cluster maison sont suffisantes pour du développement, mais pas pour de la production. De plus, le maintien d’une telle installation demande beaucoup d’investissement en terme de temps.
Dans le cadre de cette thèse, en répondant à un appel à projet, nous avons pu obtenir un partenariat avec le mésocentre de calcul régional CALMIP25dont le super calculateur appelé Olympe permet 1,365 Pflops/s. Il est composé de 374 noeuds de calcul (avec 36 coeurs/noeud) soit un total de 13464 coeurs (Intel Skylake 6140 à 2,3 GHz), mais également de 48 cartes GPU26Nvidia V100 Volta. La mémoire vive totale est de 76 To ainsi que de 1500 To (Lustre) d’espace disque temporaire disponibles avec un débit de lecture/écriture de 40 Go/s. Pour le stockage permanent 60 To (NFS) sont proposés.
23. Voir la page web Docker : https://www.docker.com/
24. Voir la page web HTCondor : https://research.cs.wisc.edu/htcondor/ 25. Voir la page web CALMIP : https://www.calmip.univ-toulouse.fr/ 26. En anglais : Graphic Processing Unit
Pour les travaux réalisés au cours de cette thèse, nous avons optimisé la compilation de Geant4 en prenant en compte l’architecture des processeurs de CALMIP (skylake-avx512). Une évaluation de la compilation avec et sans optimisation est réalisée pour 10 simulations faites dans des conditions simples (faisceau de photons dans les conditions de référence sur un fantôme d’eau) pour 1× 106 particules. A partir des résultats de cette comparaison présentée
figure 2.54, nous estimons un gain moyen de 5% sur nos temps de simulations. Celui-ci n’est pas négligeable, car sur le dernier volume d’heures attribué à notre équipe (600000 h) il représente un gain de 30000 h de calcul.
Figure 2.54 – Comparaison des temps de calcul avec et sans optimisation de la compilation de Geant4 pour l’achitecture skylake-avx512. Pour un faisceau 1×106photons dans les conditions de référence
L’utilisation de CALMIP a donné une toute autre dimension au projet. En effet, en dis-posant d’un vrai cluster de calcul et d’un service de support, notre équipe de recherche a pu réaliser près d’un million d’heures (114 ans) de calcul en 2 ans. D’une part, le développement (debug des simulations MC) se retrouve accéléré car les résultats de simulations tests sont accessibles rapidement, contrairement aux dizaines d’heures sur le cluster maison. D’autre part, une production en quantité est réalisable, ce qui nous permet de tirer des conclusions statistiques sur nos résultats.
GAMMORA peut générer des macros GATE pour des simulations en local ou spécifi-quement adaptées à l’architecture de CALMIP. Sur Olympe, l’ordonnancement des tâches est assuré par la solution SLURM27; ainsi pour chaque faisceau simulé, un batch SLURM est créé. Ce fichier texte contient toutes les informations relatives aux ressources demandées (nombre de noeuds, nombre de coeurs, temps de calcul estimé ...) et les tâches à exécuter. Comme ce gestionnaire est deployé sur la majorité des super-calculateurs, GAMMORA peut donc être utilisé sur d’autres ressources que CALMIP. De plus, pour faciliter l’adaptation à l’architecture d’autres HPC, les variables d’environnements (chemin d’accès absolu des ma-cros) sont modifiables en changeant simplement les paramètres par défaut de GAMMMORA.
2.10 Conclusion
Dans ce chapitre, la validation de chaque élément de la modélisation du TrueBeam sont présentés indépendamment et nous pouvons retenir plus spécifiquement des travaux réalisés que :
— Pour permettre d’éviter d’utiliser des fichiers PHSP volumineux et faciliter le déploie-ment de la solution GAMMORA, un générateur de particules a été créé et validé à partir d’un apprentissage profond (GAN) fait sur les PHSP TrueBeam constructeurs. — Tous les applicateurs (électrons) disponibles on été modélisés et que toutes les formes
de champs peuvent être simulées : simples ou personnalisées.
— Les faisceaux d’électrons ont été validés dans des conditions de référence pour 4 énergies 6, 9, 12 et 18 MeV avec des GPIR 1D toujours supérieurs ou égaux à 100% et 98% pour les LDP et PDD, respectivement. Mais également que les performances de GAMMORA dans des conditions complexes (hétérogénéité et irrégularité de surface) sont supérieures ou équivalentes à l’algorithme utilisé en routine clinique eMC.
— La modélisation de la table de radiothérapie a été validée mais qu’elle ne sera pas utilisée car elle n’affecte pas significativement les distributions de dose tout en augmentant le temps de simulation. Elle sera réservée pour les champs statiques ou les arcs partiels postérieurs.
— La modélisation de l’EPID dans GAMMORA est validée pour la simulation d’images dosimétriques dans le cas de faisceaux de SBRT.
— Un programme Python a été créé. Celui-ci permet, soit de créer des simulations MC manuellement, soit de générer automatiquement les macros GATE à partir des données DICOM du patient. Il inclut des fonctionnalités : de redimensionnement automatique du CT patient, de prise en compte de la modulation du débit de dose, de splitting suivant deux méthodologies, de merging des résultats, de conversion en dose absolue ainsi qu’une interface graphique.
— Les calculs MC ont été déployés sur un mésocentre de calcul régional (CALMIP), ce qui permet d’atteindre des temps de simulations raisonnable compris entre une dizaine de minutes et 4 heures pour la majorité des faisceaux simulés.
Pour résumer nous avons présenté l’implémentation et la validation d’un nouvel outil MC. En reprenant la classification proposée par Brualla et al. en 2016 (voir table1.1page60dans la section1.5.6.4) [29], nous pouvons décrire GAMMORA comme : A not self-contained, free, full general purpose, Monte Carlo (GATE/GEANT4) dose verification system.
Le système comprend :
— la modélisation complète du TrueBeam de Varian incluant la tête de l’accélérateur (mâchoires, baseplate, mylar, MLC, applicateurs et inserts), la table de traitement, l’EPID ainsi que les particules sources incidentes sous forme d’un particle gun du type réseau de neurones (GAN) préalablement entraîné.
— un programme Python permettant de générer automatiquement les macros GATE, éven-tuellement splittées en de multiples jobs et les fichiers SLURM permettant de les exécuter sur un super computer.
— des fonctionnalités permettant de récupérer et fusionner (merging) les matrices de dose et de les exprimer en dose absolue (scaling).