. . . . . “! ! ”,
alexei.klimentov@cern.ch Ruslan.Mashinistov@cern.ch novikov@wdcb.ru Poyda_AA@nrcki.ru itertychnyy@gmail.com
" # #$ %&
, # PanDA,
&' ( !#( &(
, #&()* '+(
* &$
- ! !, $ /, ' - ! ! !##) , (
#( '$ ' ($
!, '!)*$ $
#& $ .
- , No 14.Z50.31.0024.
“!" # ! ”
$ !% ! , ! "
WMS PanDA !
& “!" # ! ”.
"& )* '+ !$
#+(() ' '(
#&! * (. "
$ #0) #& ( %- - ! !, # - '$ ,
!##) , ! .. 1 *
#(() ( &, ( $ '$
%( -&( $
!. 1 & $ & & # '' , &! ) $ ( 2# 3 (3).
#, ( '' $ 2#
ATLAS ( #% '% &#! 3
' #& $ $* ! -# ' % ' ('*
'+ $ 1603 ) # ! !.
#& # !#(
# & (Workload Management System)
PanDA #& '+ % %
* ( $(*
- ! !! / - WLCG [1]) #
! !- !# #) !
!!.
" # #$ %&
, # PanDA,
&' ( !#( &(
, #&()* '+(
* &$
- ! !, $ /, ' - ! ! !##) , (
#( '$ ' ($
!, '!)*$ $
#& $ .
1 !
1.1 " PanDA
" ( &' $% &!)* % #%
' ' #$, #&!
!#( &( PanDA (“Production and Distributed Analysis”) [2], 2007 % !#
#&! ( '' , &
( $ 2# ATLAS,
#% 3 [3].
%̮ # PanDA '#
“#& ” '' $ #̮
̮- ! !. 1 # (
! #( ( % #&
2# $ #0̮, &!
&!) '' ! $, '#
& $ ( ( %!## -&,
#0 #& ̮ # #̮,
# XVII $% &
DAMDID/RCDL’2015 «
», , 13-16 2015
'# ̮ !# #
%' !, # ( ( ) #($ #̮ &
%!) ! ( !#(
# $.
'! PanDA '
# # '
' ATLAS # '
#($ & ( #% '%
&#! 3 (2010-2013 %%.). ! 1
# # ! &#!*$
& ATLAS !$ WLCG 2015 %.
% # PanDA ' &' %' ( # $ $%̮ '' $( $ $ $%̮.
#& # &' PanDA # ''* $ #$ )
&' #$ , #'$
'+ &
- ! !.
1.2
$ &' % #$ '*(
$ ! &!)* %
# ! 2.
.2. $ ! &' 1 # (() (:
> . #
#& & !#( $ #:
! & # & ( &
', #( $ !#
! (# 2 0 , ' '+ !
! ( '( &), 0 ( & 0& , .1. ? #()*$( & ATLAS !$ WLCG #$ 100000 2015 %.
!* ( # #
!# #( &, #0 -) $ $ &$
&$ .#.
> &(. &(
!* () $& #& #(& &
. 1 &#!) ( !$,
#&$ ( #( #& $
&, #() $ (, &!) , ') -) #) , # &!.
& ! &#! # &
# !$ !
# #(.
# $ & #&(
!* ( #&)) #(&!, &$ $
#*) $ !-% -
“-# ”. '&, 0 % !) !) !
& - ! !,
#, /-- ! !!, - ! !!
'$ , '' 0 !##) .
@* -! # $ & (( (
#% $$ $ ( & %!&
&! . & ! ') ( '(
$( (& # , & -!), !) # &( %! !- ( (*$ .
&( %! # #
#& & &$ ,
#&(( '& &( ! 0! & .
3 #' # # &( # & 2.2.
> & API '- -,
#&()* #( & !
#()* -! %.
> 1'* - %, #&()*
!- !# , $
#$ $.
1 ( &'
$ # ) $ PanDA
&)) ( !)*:
x # %!$ ! &
( $ ' # $ &.
x # %!$
$ & & ATLAS-#-$
#%$ # , , -%
% !#( .
x ' #( &
& - CERN ( $ %-$ #0 ( ' .
!* &' (( ( ! 0 #(&
#%! '#), #-! (
2# ATLAS. B % Rucio,
-( AGIS, '&# , #&!)*( $& !$
%& CERN, - # ,
#&()* ' PanDA &'
!, (& ATLAS. 3%(
& &0 ##
! ( ,
&' # '+ ' '* #$ ) #!(
, #' '+ &
- ! !.
2 '
2.1 "
- ( . 1
& (( ( !# #
#& $ &, # $ !&, 0 - &# #*
% ) $. # 2 # ' #! &! #& ( #*)
% & $ !#$
#( % % 2 , ' % '! 0 - , $
# &, !# ! '$% 1 , #0 $$
$. !)* 2 # # #(
% &# # #! &, # ) '$!) ( &#!
& -) 0 0& . ' # % ! #! - &!
'* #& ), &! &!, ' #(.
" #% (
&( !!) #%!) &)
PanDA, &
#&( #-$ ( ATLAS
# , :
&0 ! -
#& , )*$ $ - /.
& ATLAS-#-
!#( %, ( % '
&' & % &*(
$ !#( $.
0 ' # ' # #$!
#&) E3F MySQL Oracle.
2.2 (
1 & )$ # (( ( # # $ & (Pilot),
&!)*$ #) #& #(&.
&#! # &( ') -) 0 !. @
! #H ) -'$ '(, # ( !# , # % # &#! # #H ! '
& ' !.
'&, & ' ! !0 # , # '$ , #% ,
#(&( !! '&
&#!! . '&(( #(&' '$ &
! # * &0 &, &! %' (
! & # #* % (( '' )*$ ! #
&. &( (() ( 0 '&!)* ' , #!!)*
0 -, & !) ' %
!(.
J#! # $ & '$ !&$
'# ( & % # #* (‘-'
# $ &’). &#!*$
# $ & # $ &#! (%
&#! # &(, # $
& #0 .#.)
#() ( -%!$ -$
(#, #) % ). 0
# & “'!0 ” ! #& $ & .
2 Pilot * ( # $
# , - !) ( & .
# (() ( (#, ' %, 0 &), -!) ( (#, '+
!#$ !). J#!* # &
(& ( , #! !#!)
#& !) &! & '! ,
! ()*!) & # (#, # '( '+! '%
! !#$
#), ! #!!) &!
! # #(.
" #% ' &(
# $ & PanDA, ( (
#0 $ $ ' , # $
!$ 3-5.
$, # ( ! 3, (( ( , #&!
PanDA ( #( & 2# ATLAS.
1 # !( # %
&( (() (:
Mover, !* ()* &%!&!
$* $$ $, '$$ (
#( #& &, 0
%!&! % ) &! !)*$ $.
RunJob, &#)* #!)*
#& !) &! &#!)*
# !$
.
.3. $ ' # $ & !&$
!# WAN
Monitor, #& ( (
#( & ' $ #
# % &(.
$ ' # % &(,
# ( ! 3, ##% , ( , '! #( (
#& ( &, !#
( #&( #(!) '* ( ! $* $). ( -%!(
$ ( $ , , - ! ! '$ . " 2
! # & &#! ( #(
'$ !&$ '
# :
&%!0) ( !) -!) !, '' ) ( -,
#& ( & &#! ( . 1 $ (( ( 0 &#! #$ &,
#&!)*$, #, - #
'* MPI, #& ( &
&#! ( !$, !0 $
# ! &). % # &
&! !, -( , (
#& ( & '! %
! # ! &) !&
'! (, * !#.
.4. $ ' # $ &
! !& ( ( '& !#
WAN)
$, # ( ! 4,
#& ( ' , $ ' !& ) !#
WAN. ( -%!( $ ( ' !##) . " 2 ! (
&#! # % &( '! (
#0! !&, !#)* )&
0! .
( ! $ !#
#() ( #!( #&
&, &$ ! ( !* ( (
# #!(. " &! , # &
0 && '! '+ !
# &#! #& &, #&(
&#! # &. "$
$ - #) ( & !&
# % &(, '!-&!) (.
1 $ (( (
& ! # #!(
& ( ! ( '(), 0 #( %!& !&
# $ &, ( % '! ( ' '+ !, '%
0 .
.5. $ ' # $ &
! !& ( ( !# WAN)
$, # ( ! 5, (( (
#0! 0! # !(.
" ( 0, #
$, !# WAN. M &0
#* $ &!
0! $*
#(!), # ! (
%!&! !& # $ &. 2
$( ( &0 &#! #$
&.
( & $ #$ $ (! 3) (( ( $ PanDA. " (
$ (! 4) - 0 #&! ( PanDA (
#)( !##) , # Titan [4]. (( $ (! 5) - %(
&' , #0( ' .
2.3 )& &
F( ' 2-- % & (
#& ' &'
# -, #&()* &%!0
$ - & &$ $*, #(
&#! #& &, # 0 ! $
#( ( %). F - & $ #%$ !.
# & #&
' '( '- -,
# ( !-!) '--! (
#( $ #& $ &.
!* % #' & ( (( ( ! '$ #&(
- CERN $& !$
%&.
* #& $ $ - 0! #
!& & ( ! # -.
0 !% & 2 % !( $ #0
$& # '#
% #. " -,
& ' , $ # # !# #) ( # - %. #&
!( # - -%
% '#) &0 ' %
#)( $ $(
(#, Dropbox, Google Drive ..), # !# ( PanDA.
) % #
#% ' & API ( - #%
#%(), #&()* #&
(, !# #& ( '- -, #*) HTTP &#.
'&, &' -
#&( &#! & #& (, ')* - ,
- CERN, #&
$(, #0 PanDA.
3 *
3.1 *
&! 2# !) )
&' “!
! ”, #) $ , )(:
> !##) “!
! ”. "#&
% #(
# #& ) 122,9 TFLOPS 2#! ) ('( 2011 %.
& 1280 H $ !$#$ !&, '+$ #& )
# $ '* InfiniBand DDR, !!) # !) #( 20,5 ' ! $( $ 144 ' . H $
!&$ ! #(
Linux (CentOS). $( $
# # - Lustre 2.0. F( !#( # !
# $ & #&! ( 0 ! SLURM. Q !&
# ' 1.
' 1. Q !& !##) “! ! ”
H !& #$ Intel Xeon E5450 (3,00 //, 4 ()
# !& 2 ( !& 8 1# ( #( !& (/' ) 16 1# ( #( ( (/' ) 2 V( ( #( !&
(/' )
120 1'* !& 1280 1'* # 2560 1'* ( 10240 1'*( #( #&
(TFLOPS)
122,9
!##) “!
! ” !# , ( % % #& $!,
# !) ! 5. 3 (
$ % # ! 6.
.6. F ( $ % !##
“! ! ” 0 «
# % (»
&( &#!) ( ! , !# !##)
!* ( ( # # ! SSH & !
#& % -, 0 & SLURM. F( #0
SSH- # & SLURM
#&! ( - SAGA (Simple API for Grid Applications) [5], #& ( !-
#&( &$ #$
#0! $ . F( &%!&
$$ $ & !% $*
%!& &! '' #&!) ( &.
" 0 ( #& !)
$! ' # $ & (! 3) ( ' PanDA, ! CERN (. & 3.2 “J( 2# ATLAS”).
3 ( $ #)(
!##) “! ! ” # $ ( #( &
2# ATLAS # ! 7.
.7. $ % !##)
“! ! ” ( #( &
2# ATLAS 0 « # (»
Pilot Launcher &#! # &(
# & - &
(. F( % ' #(
#& &( # '' $
2# ATLAS, '! ( #%
'#, !# #)
! - CVMFS. "$
$ &%!0) ( # Grid Storage Element Tier1 “!
! ”.
> - ! ! '$ ,
&! ( “! ! ”, (*( & 16 !& # %
$* 60 3. F( %
#& !) $! ' # (! 3) .
3.2 + - ATLAS
( ('( 2014 % #(
2# , &!
'' & 2# ATLAS. F(
2 % 2# '& ' # ( ' !#(
& 2# ATLAS PanDA,
! CERN.
# ( ' !* #! &(
PanDA CERN &, '* #
&(, &#! !$
“! ! ”. " $ 2#
# 200 #& $ & &#!
!# #( 0. 1 &
' 0$ , $
!##) (( ( !( '
# -# % & ( & ( ( &!(
#& % F
$% &!( (TRT).
! 8 # #(
& 2# ATLAS !$
“! ! ” (!0' &
%- # ,
#& - ).
.8. !# &$ &
2# ATLAS !##)
“! ! ” & !, !##)
«! ! » # ) % '!) $! 2# ATLAS. J(
# !#) 0. J ( #(
2# ' '' #( 10-15 (
#& $ &.
3.3 + &
1 & % # '
!* &#! #& $ &, (&$ B& "$ M% '
# #(()*$ #!* &' . "
#$ & ' ' &
( ' % #*)
#%% '#( Bowtie2 [6] Abyss[7].
F #% # $ # #% 2#
ATLAS #&() &#! & # 0. # (
!* () ( !##)
“! ! ”. #&
!# &! . #*) # Quast[8]
! &0 % #
# -'' $$ - - '
% #
!# #( &.
+
#$ ( &!)*( % #&() '+(
* &$
- ! ! ( #( '$
$ ' ($ !, $ B& "$ M%, '- !%$. F #$
# '% ( & '' $
%% (, -& (
&!( $ !, # H , .#.
" $ ' # & ) 2# “!
! ” ' #& ! PanDA, ' # &( %
#& #& %)
!##) “! ! ”.
" ( ( 0 #(
' 200 #& $ &. 0 '
&' , ''* & $ ' # $ &. 3 &'
& # '- - API (
&#! & % $ 0&% . $ #
# &$ # '' $
2# ATLAS #& $ &$
# '%, ' !. " ) , ' #() ( ' $ # !-
# PanDA.
/
[1] Worldwide LHC Computing Grid. # . M !. URL:
http://wlcg.web.cern.ch/
[2] Maeno, Tadashi. "PanDA: distributed production and distributed analysis system for ATLAS." Journal of Physics: Conference Series. Vol. 119. No. 6. IOP Publishing, 2008.
[3] Collaboration, A. T. L. A. S., and G. Aad. "The ATLAS experiment at the CERN large hadron collider." J. Instrum 3 (2008): S08003.
[4] T. Maeno et al. “Evolution of the ATLAS PanDA workload management system for exascale computational science” 2014 J. Phys.: Conf. Ser.
513 032062.
[5] Goodale, Tom, et al. "SAGA: A Simple API for Grid Applications. High-level application
programming on the Grid." Computational Methods in Science and Technology 12.1 (2006)
[6] % ( (
# . # . M !. URL: http://bowtie- bio.sourceforge.net/bowtie2/manual.shtml [7] Simpson, Jared T., et al. "ABySS: a parallel
assembler for short read sequence data." Genome research 19.6 (2009): 1117-1123.
[8] % ( '.
# . M !. URL:
http://bioinf.spbau.ru/ru/quast
Integrated Workload and Data Management System in a Heterogeneous Computing
Infrastructure
Alexei Klimentov, Ruslan Mashinistov, Alexandr Novikov, Alexey Poyda, Ivan Tertychnyy In this paper an approach to manage computing powers of grids, cloud platforms, supercomputers as well as university and research clusters for computational tasks in data intensive domains is described. This approach uses the experience of the workload management system PanDA (Production and distributed analysis) which was developed at CERN for the ATLAS experiment. Based on this approach, we designed and implemented Workload and Data Management System (WDMS) at NRC “Kurchatov institute”. WDMS is currently in production for High Energy and Nuclear Physics and bioinformatics applications and it can be used for other data- and compute-intensive scientific workflows.
