Archivos de descripci´ on de trabajos de Condor

Casos pr´ acticos del entorno de trabajo TDP-Shell

En este cap´ıtulo se mostraran unos casos pr´acticos de utilizaci´on del entorno TDP-Shell, que completar´an el ejemplo mostrado en el capitulo 4. Para ello se tratar´a el caso de monitorizaci´on de una aplicaci´on MPI y de una monitorizaci´on retardada.

7.1. Monitorizaci´ on de aplicaciones MPI

En este apartado se mostrar´a un caso pr´actico de la utilizaci´on del entornoTDP-Shell para poder monitorizar aplicaciones MPI en un cluster controlado por un gestor de colas.

Para este caso pr´actico se ha escogido el gestor de colas Condor con la herramienta de monitorizaci´on Gdb. En los siguientes puntos se mostraran los archivos de descripci´on de trabajos de los componentes remotos deTDP-Shell, el archivo de descripci´on de trabajo global obtenido por tdp console al procesarlos y finalmente los archivos TDP-Shell script que controlan la ejecuci´on sincronizada de los componentes de las herramienta Gdb.

7.1.1. Archivos de descripci´ on de trabajos de Condor

En el fichero de descripci´on de trabajos de la aplicaci´on MPI del usuario, FDT 7.1, se puede observar la utilizaci´on del script especial de Condormp1script (l´ıneas 2) que se encarga de la gesti´on del entorno de ejecuci´on de la librer´ıa MPICH1 (para LAM seria

170

7.1. Monitorizaci´on de aplicaciones MPI 171 lamscript). Unos de los puntos destacables del archivo de descripci´on de trabajos del tdp agent, FDT 7.1, es que informa al gestor de colas Condor que copie (l´ıneas 9) , en la m´aquinas del cluster donde se ejecutar´an los tdp agent, todos los archivos que estos necesitan (de configuraci´on, elTDP-Shellscript, la librer´ıa tdp y el plug-in de Condor).

Esto es hecho de esta forma porque el entornoTDP-Shell no est´a instalado en el cluster que controla Condor.

El archivo de descripci´on de trabajos del componente remoto de la herramienta Gdb, FDT 7.3, informa al gestor de colas Condor del nombre del ejecutable de este componente (l´ıneas 2).

FDT 7.1 fichero de descripci´on de trabajos de Condor para la aplicaci´on de usuario

1: Universe = parallel

9: when to transfer output = ON EXIT

10: transfer input files = /home/user/user exec MPI

11: Requirements = Memory ≥ 64 && OpSys == “LINUX”&&Arch ==“x86 64”

12: Queue

FDT 7.2 fichero de descripci´on de trabajos de Condor paratdp agent

1: Universe = vanilla

2: Executable = /TDP Shell/bin/tdp shell MPI.sh

3: Arguments = -tf:tdp agent MPI gdb.tdp

4: Output = tdp agent MPI.out

5: Error = tdp agent MPI.error

6: Log = tdp agent MPI.log

7: should transfer files = YES

8: when to transfer output = ON EXIT

9: transfer input files = /TDP Shell/bin/tdp agent, /TDP Shell/cfg/tdp shell config.tcf, /TDP Shell/tdp/tdp agent MPI.tdp, /TDP Shell/lib/lib/libTDP.so, /TDP Shell/plugins/tdp lib job condor plugin.so

10: Queue

172 7. Casos pr´acticos del entorno de trabajo TDP-Shell FDT 7.3 fichero de descripci´on de trabajos de Condor para gdbserver

1: Universe = vanilla

FDT 7.4 fichero de descripci´on de trabajos global obtenido por tdp console para Condor

1: Universe = parallel

2: Executable = /opt/condor/bin/mp1script

3: Arguments = /TDP Shell/bin/tdp shell MPI.sh

4: Log = TDP Shell error

5: Output = TDP Shell out

6: Error = TDP Shell error

7: Should transfer files = YES

8: When to transfer output = ON EXIT

9: Transfer input files = /home/user/user exec MPI, /TDP Shell/bin/tdp agent, /TDP Shell/cfg/tdp shell config.tcf, /TDP Shell/tdp/tdp agent MPI.tdp, /TDP Shell/lib/lib/libTDP.so, /TDP Shell/plugins/tdp lib job condor plugin.so

10: Machine count = 4

11: Requirements = Memory ≥ 64 && OpSys == “LINUX”&&Arch ==“x86 64”

12: Queue

El fichero de descripci´on de trabajos global, FDT 7.4, es obtenido por tdp console despu´es de procesar los ficheros FDT 7.1 , FDT 7.2 y FDT 7.3. En este fichero se puede observar como se aprovecha el script especial de Condor para MPICH1 (comando Execute, l´ıneas 7.2) para que Condor ejecute, en las m´aquinas remotas de su cluster, el script especial deTDP-Shell tdp shell MPI.sh(pasado como argumento del ejecutable, comando Arguments, l´ıneas 3), el cual se encargar´a a su vez, de ejecutar el componente tdp agent. En el archivo de descripci´on de trabajos de tdp agent, al no utilizar el comando transfer executable = False, se informa a Condor que realice la copia del ejecutable de este componente de TDP-Shell, de la m´aquina local del usuario a las m´aquinas del cluster. Por lo tanto, en el archivo de descripci´on de trabajos global, obtenido por tdp console, se tiene que informar de que se realice esta copia remota.

7.1. Monitorizaci´on de aplicaciones MPI 173 Para ello se sit´ua la direcci´on y el nombre, en la m´aquina local del usuario, del ejecutable del componente tdp agent , en la lista contenida en el comando de Condor Transfer input files (l´ıneas 9) con la lista de ficheros a transmitir desde esta m´aquina a las del cluster (que ya contiene los que necesita el componente tdp agent).

En el archivo de descripci´on de trabajos global se pueden observar los nombres est´andar que da el entorno TDP-Shell a los archivos con la salida est´andar (l´ıneas 5), del error (l´ıneas 6) y de log (l´ıneas 4). Cambien se observa como, en este archivo global, se conservan los requerimientos (comando Requeriments, l´ıneas 11) del archivo de descripci´on de trabajos de la aplicaci´on MPI de usuario. Este hecho implica, que el usuario ya tiene en cuenta que tanto el componente remoto de la herramienta como el tdp agent cumplir´an con estos requerimientos. Del procesamiento de los ficheros de descripci´on de trabajos de los componentes remotos deTDP-Shell,tdp consoleobtiene las tuplas especiales con la informaci´on para los tdp agents. Para este caso los valores de estas tuplas son:

TDP USER EXEC: user exec MPI. El nombre del ejecutable de la aplicaci´on MPI de usuario. En el caso de trabajos MPI, este ejecutable es la primera cadena de caracteres del comando Arguments del archivo de descripci´on de trabajos de la aplicaci´on del usuario.

TDP USER ARGS: NOTHING. Posibles argumentos del ejecutable de la aplicaci´on de usuario

TDP TOOL EXEC: gdbserver. Nombre del ejecutable del componente remoto de la herramienta.

TDP TOOL ARGS:NOTHING. Posibles argumentos del ejecutable del compo-nente remoto de la herramienta.

TDP SHELL SCRIPT AGENT: -tf:tdp agent MPI gdb.tdp. Archivo TDP-Shellscript para el componente tdp agent.

TDP NUM PROGS:4. N´umero de procesos que generar´a la aplicaci´on MPI del usuario.

174 7. Casos pr´acticos del entorno de trabajo TDP-Shell