HAL Id: inria-00072975
https://hal.inria.fr/inria-00072975
Submitted on 24 May 2006
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci-
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents
Performance in a DSM-based Cluster
Christine Morin, Renaud Lottiaux
To cite this version:
Christine Morin, Renaud Lottiaux. Global Resource Management for High Availability and Perfor- mance in a DSM-based Cluster. [Research Report] RR-3694, INRIA. 1999. �inria-00072975�
8
a p p o r t
d e r e c h e r c h e
Global Resource Management for High Availability and Performance in a DSM-based
Cluster
Christine Morin , Renaud Lottiaux
N ˚ 3694
TH `EME 1A
(*)+ $&&!$&$,.- !/ 012345 !6%$& 798: ;<!/
=>&?2
@BACEDGFIHJDGK5LNMPOQCEDGKSRUTWVLXKZY.[\^]O.HEHJD_Y`[badc
e6fhgi:j 7
8^k lmIn
jIo prqjs nutXn
svgi:j
n
wyx{z |uj&s~}
8
w
l
o <zx{s<j+x{jIvfhjxvvfhj 3
k k 7 .o j
n
&E4< foE o o s t
o h¡j&x£¢¤zx{i:o h&jo x{j¥s§¦z¨rj
n x©o j¥rxvzj&x£s j n
¢¤zxªs{fhjjq«j&&p<s
z *z¢
z h ¬x{p< r
h®ho x©o
j n j& ¯s
°
o <
Io s
z
n
z
n
z¢±s§¦²o4xvj
³+<´ ho n j&* p n s{j&x nIµd¶ zho xvj n zprxvIji:o .oji:j ¯s s{fhjzj&x©o4s < nutXn svji
n o¨¦6o
t
s{z·o vf jj¸s£fhj
n
j¸<x{zj&x{s j nIµ
ez p n
s{xvo svjs£f n
o r<xvzo vfb¹2o nutXn
svji
¯svj&x©o s
h!o+.oj&«¬ºho
n
j&
n
f.o4xvjI¥
x{s£p.o
i¥j&i¥zx
t
o4 ho+.o xvo
j
<°<
j
nutXn
svji»¢¤zx
zho i:o .oj&i¥j& ¯s+z¢Wi:ji:z x t o4 h¼ nu½ xvj n zp<x{Ij n n <xvj n j& ¯s{jI µ ´Uo Nrj n
n{n
phj
n h ph<j~s£fhj z<s i ¾ o s z :z¢3 nu½
o&Ij n£n
j n s£fhj+Iz Xs{jqXs¿z¢5o
n h j j&j
n
svz x©oj nutXn
svjio h¢Go p
s2svz
j&x©o4 hIj
µ
ÀUÁÂQãÄBÅ 4Æ5 } p n svj&xI¹
n
z¢±s§¦6o x{jª n
s{x <p<s{jI
n
f.o xvj&Çi:ji:zx
t
¹`.o x©o j °<j nutXn
¬
svj&i¸¹< z.o xvj n{n z p<xv&j!i:o .oj&i¥j& ¯sE¹rf f¸oE o o s t
ÈÊÉ5˧̧ÍÏÎ2ËÑÐ5ÒÓ̧Ô_ÕÖ
×bØÏÙÛÚ`ÜJÝ&Ü4Þ{ß.ØJÝ&Ú.Ý,àÛÚGáyâ ÞuÞ ;2ÜJãJâÏàäÙäÚØÏÞ{å²Ù;²æØÏÞ3ÜJß_áÏçèÞuÞ{åÏÙ;Ïé&ÚháêæØÏÞbë ßÚ_æ.ìáIß_íEÚØÏá&ÜWá?;2Ú_á,êÊæ±ì?Ýß_Þ
îÑïIðñ ØÏÞuàÛå~Ù;òçèá-;vóGã ;JçuæGÙäá?;¿ìbÙôæØ~õ_öbïñ 93ØÏáÏåÏÞ{Úy÷ùøß_ÞuÞ{çèÞ©úºñJûIã ;ÏÞ2ü @?@@4ý
þõ+9õ_ïEÿ3õ:9õ¤ÿWñ ç6áIßGÙ;5ÙÛßGÙÛÚ_Ý4ýêÓß
õ+9õ_ïEÿWñ4ßGàäáæ_æGÙÛÝã5ÙÛß_ÙäÚÝJýêÓß
/$&Ç $$&$ ² & 'Ç254! 6 /!
!Ç / ²!&²& 5 /29 !$&3
33 2 3$
o f.o4p<svj¿ n
Qz s m
js o f.o4p<svjQjx{¢¤zx£io4 hIj
n
z Xs6<j&p«q¥rxvz<x m ¬
s
mIn
j
n{n
j& ¯s
j
j n
Qz p<x
j,q
m
&p<s
z B
o4<
Eo s
z
n
ho x©o
g j nn
j ¯s
°
p<j
n
<j
z hp<j
rp<x m j n prxª<j n x©o rQj n <jIo p o s{j&p<x n ¢¤z h m j nªn p<x p< hj¥i m i¥z xvj.o x{svo m j¥x m ¬
.o x{s j!i n
jBj prXx{jª.o x z j µ
hjªj
n s z ¼ z.o j<j
n
xvj n{n
z p<xv&j
n
ho n j
n£tXn s{g&i¥jU jqX z svo s z Qjx{i¥j&s¥ z<svj x &j n rxvz<x m s mIn&µ w5z p<x p n s£xvj&x&j&s£svj
o <<x{z«vfhj ¹hp<
nutXn
svgi:j ¯s
m
x©o4 Xsp< <j i
m
i¥z xvjò x£s{phj j¿.o x{svo
m
j ho m
j j&sp<
n£tXn
s{g&i¥jª<jBj
n s z ¼<j ° vf jx
n
.o xvo g j!zp<x o:j
n s z ¼ z.o jrj
n
xvj n{n
zp<xv&j
n
i m i:z xvjBjs n phj j n srx mIn j& ¯s m µ j n rx < ho prqÇ<x{z g&i¥j n <j Iz h&j&<s z «¬
p<j& ¯s z<s i n o4s z ~<j n oI&g n n phjÑho n jyIz ¯svj,qXsvjÑ p< nutXn svgi:jÑ<j n svzX ½ oj
p< ¢¤z x{i¥j6<j
n
<z <
m j n
j&s i¥ o ¯s©o4s z rj²i
m
Eo n i¥j
n
rj²svz m
x©o4 hIj2o4prqB¢Go prsvj n&µ
Å J Ã ¶
xvo <j¸<j¸Eo &p o svjp<x
n
¹i
m
i¥z x{j.o x{svo
m
jx
m
.o x£s j z j j ¹
n£tXn
s{g&i¥j rj j
n s z ¨<j ° vf j&x
n
.o x©o g j ¹?j
n s z ¨ zho j<j
n
xvj n{n
z p<xv&j
n
¹f.o prsvj
3 /W$&
³¿phj s{z:s{fhj hxvjEo n <¥zJ¦j&x z ¢yi &xvz <xvzXIj n{n z x n o4 hUs{f<jBj&z p<s z Uz¢y hjs§¦6zx ½
svjIvfr hz z t ¹ p n svjx n z¢.<´¸w n o xvjÑ hzϦo s{s£x©os jÑ¢¤zx3jq«jIp<s h~f fj&x£¢¤zx{i:o h&j
.o x©o j o r Eo s z
n5n
phvfo
n
¯p<i:jx Eo n iBp o s z Bo < Eo4s z nIµ
e6fhj
n i s t
z¢?s{f<j
n
f.o xvj&i:ji:z x
t
i¥z«rj
io
½ j n
sÑz<p
o xÑ¢¤zxrxvzxvo i i hòs{fhj
n
j+o4<
Eo4¬
s z nIµ e6fhj n f.o x{jIUi¥j&i¥zx t rxvzxvo i i hªi:zX<j Io ®j n pr<Qz x{svj&®z Ç p n svjx n
t
s{fhj i j&i¥j& ¯s©o s z :z¢o:Xfho xvj& x{s£p.o ´¸j&i¥zx t
+´ 7
µ
p<xzo
òn
s{z rj n
^o h
i
ji:j XszQjx©o s
h
nutXn
svji i:j&vf.o
n i n
¢¤zx
Qjs{svjx xvj n zp<x{Ij¥i:o .o j&i¥j& ¯s Nofhzi¥zj hjIzp n p n svjxz ¢<´Uw n ¯svjxv&z < hj&¬
svjI t o¨
tXn
s{j&i
8
xvjIoj&s§¦zx
½
s{z®<xvzÏ rjQzs£ff f j&x£¢¤zx{i:o h&jo h f f
oÏ o
o
s t
svz.o xvo
j o4<
Eo s
z
nIµ
j orz<s o
z.o
o <<x{zovf
¨xvj
n
zp<x{Ij
<x{z«&j n{n zxE¹bi¥j&i¥zx t ¹b nu½ ¿io hoj&i¥j& ¯sI¹b o i h s{f.o s+s£fhj n p<IIj n{n z¢6 p n svjx n
n
s{x{z h t xvj j n
z s{fhj!Eo4.o s t
z¢Z z.o xvj
n
zprxvIj!io4 .oji:j Xs
µ 8 p n
svj&xp
n
j&x
n
fhzp
<<jIj&
n
jIj
s+o n o n
h
j n
f.o xvj&Çi:ji:zx
t
iovf
hj xvo s{f<j&xòs£f.o No
n o n
j&s
z¢yio vf hj n f.oE hs£fhj xòzϦ2 ¼xvj n zp<x{Ij nIµ38 s£fhzphfUi:ji:zx t io hoj&i¥j& ¯s xvj,¬
i:zs{j+.o h r¹_¹ ´ 7 X¹ 7 ¹
¹`
nu½
io4 .oji:j Xs _l$8
³ ¹h.o4x©o j zx
n s{x
<p<s{jI
°<
j
nutXn
svji «¹
7 ¹
¹rxvzXIj n£n
zx~io hoj&i¥j& ¯s
<x{z«&j n{n
i
x©o s
z
«¹ 2f.oEjªo xvjIo t jIj ÇjqXsvj n j t®n s{ph jIQ¹`j&x t ¢¤j&¦ ¦zx ½ f.o n Qj&j& Çrz hj
¢¤zx! zho xvj
n
zp<x{Ij:i:o .o j&i¥j& ¯s N¦2f vfNs{fhj
n
j:i¥jIvf.o4 n i n
zx
%+ 1
svzϦ6o xv
n
s{fhjz r|ujIs
jz¢2j,q«jI&prs
<®f
fNQjx{¢¤zx£io4 hIj:o <
Eo4s
z nIµ
´¸zxvj&zÏj&xI¹Q¦jªo xvjIz ¯ <IjIÇs£f.o sf fÇoÏ o o s t n o ½ j t <xvz Qjx{s t svz:j j r¬
n
p<x{jI oª p n
s{j&x¦2fhj&x{j+xvj
n
zp<x{Ij n p n
jI
t
oªrxvzXIj n£n
o xvj+ n
s£x rp<svj& n jj&xvo
hz«rj nIµ
s n s{f¯p
n j n£n
j& ¯s
o
svzsvz
j&xvo svjò <z«<j+¢Go
p<x{j
n
rprx
< s£fhj jq«jIp<s
z ®z¢Zo
o < Eo4s z ¦ s£fi i:o Qjx{¢¤zx£io <Ij+<j&x©o<o s z µ
Xj&jx©o o«o4 Xsvoj
n
¢¤z zJ¦¢±x{zi z p<x o <<x{zovf
µ
}6zi¥i¥z i¥jIvf.o4 n i n o x{j
z t i¥ j&i¥j& ¯s{jIz hIj Us£fhj z Qjx©o s h n£tXn s{j&i µ"! zx¿jqro i j ¹`<x{z«&j n£n vfhjI ½ ¬
Qz ¯s <o hNrxvzXIj n£n i xvo s z ®i¥jIvf.o4 n i n zs{f¨xvj p xvjs{f<j¥j,q«s£x©os z ·z ¢2o
<xvzXIj n{n~n
s©o s{j¹hs{f<j!¢¤zx£i:jx¢¤zx
n
oE h s n
svo j n
svzxvoj ¹.s£fhj o s£svj&x¢¤zx
n
j& h h
s~s{zo:xvji:zs{j hzX<jªzÏjx+s{fhjB hjs§¦6z x
½`µ¶
z.o x{j
n
z p<xv&ji:o .o j&i¥j& ¯sòIo No n z
oÏz svz¨s©o ½ j¸&z $# &s h¨<jI n z n s£fhj nutXn svji µ%! zx j,q<o4i¥ j¹Ws©o ½ < Xs{z
oI&zp< ¯sòzs{f®i¥j&i¥zx
t
o hU<x{z«&j n£n
zx zo
n Ço <x{z«&j n{n
i x©o s z i¥jIvf.o n i
Eo oEz o <jIo s j i .os6z¢3o rxvzXIj n£n
i x©o4s z ¥z s{fhjòi¥j&i¥zx tn£tXn
s{j&i o n
¦6zp ¼Qjs{fhj Eo n j ¢6o<x{z«&j n{n n i xvo svj&Çsvz¸o hzX<j jq«jIp<s hUz t o n h j
<xvzXIj n{n
¦ s{f o4xvj²i¥j&i¥zx
t
xvj p xvji:j ¯s
n
¹¯s{f<ji x©o s{jIª<xvzXIj n{n
¦6z p j& <j&x©o4svj
io t .o j¥¢Go p s n µ ! .o t ¹ <¢¤zx{i:o s z ½ hzϦ2 t o n p< n£tXn s{j&i Io ¡j¥p n jI
svz z <s i ¾ jo hzs£fhj&x
n
p<
n£tXn
s{j&i µ !
zxjqro i j ¹Xs£fhj¿hoj
n
s©o s{j
i¥zX ° j&¥z x6 hzs
io hojIÇ t o ´ Eo ¨j j,qX z svj&¼ t ovfhjI ½ z ¯s hi:j&vf.o n i s{zz t
n
oEj i:zX ° jIho4s©oB¦2fhj& ®oB<xvzXIj n{n
vfhjI
½
z ¯s n j n s©o
n
fhjI
µ
ez p n
s{x©o4svj z p<x!o <<x{zovfb¹b¦jª¢¤z«p
n Çs{f n
.o j&x!z ¨ z.o i¥j&i¥zx
t
o h
nu½ i:o .oji:j ¯s µ ¢GosE¹r¦j+<xvzz n j o nutXn svji ¦2f vfUo ´ n ¯svjI x©o s{jI
¦ s{f¥o!wo xvo j !
j2
tXn
svji w !
$
µ
e6f nÑn£tXn
svj&i n
<zsWz t
<j
n <jI¥s{z o vf jj
f f·Qjx{¢¤zx£io <Ij¥rp<sªo n
zUs{zUsvz j&xvo svj hzX<j¥¢Go p<x{j
n&µ s£f¡s{f n
j,q<o4i¥ j¹¦j
¦²o ¯ssvz n fhzϦ^s£f.o s n pr n svo ¯s o Qj hj ° s n io t j+z<svo <jI t ¯s{jIxvo s ho n z¢±su¬
¦²o x{j!³+<´ ¦ s{fzs£fhj&xzj&xvo s h n£tXn s{j&i i¥jIvf.o4 n i n&µ
e6f<j®xvj&i:o h<j&xz¢ s{f n
.o j&x n
zx{o ¾ jIdo
n
¢¤z zJ¦
n&µ
^«jIs z
¹¿z p<x
n£tXn s{j&i ¯s{jIxvo s h¼o¨ ´ o h o¼w ! n <xvj n j& ¯s{jI µ w5j&x£¢¤zx{i:o h&j n£n phj n o x{j
n &p n£n jI ®«jIs z Ç µ XjI&s z U n rj&z svjI¸svz¥¢Go4p s2s{z jx©o h&j n{n phj n&µl j o s{jI
¦6zx
½ n n
p n{n
jI U«jIs z
µ
«jIs z Uª&z h ph<j nIµ
2!5 $& 8 '!3/ $&3! - /
01!5 &2$& 8ª-:?
¶ z.o i¥j&i¥zx t o4 h n£½ io4 .oji:j Xs :zp<x n£tXn s{j&i fho n jI:s{zs{f<jò<j n z¢o
z hj j&j n svz x©oj n£tXn s{j&i 7 rp sW¢±x{zi o!.o j¬.o n j&+´ n£tXn s{j&i o hoBw ! µ
8 w ! n h<j&jI®<j
n x©o j!¢¤z x¿s£fhj j,qrj&&p<s z ®z¢Zf fUj&x£¢¤zx{i:o h&j o r Eo s z
n
¨o p n s{j&xo n s+rxvzÏ <j n h&x{jEo n jI¼ n£½ .o4 hr¦ «s{f¼ t ¢±x©o i:j Xs ho °<jªz
n j&j&xvo n£½Xn ¹Zo zJ¦ h.o xvo j o&Ij n{n j n svzs{fhj¢±x©o i:j Xs nIµ &z ¯s{x©o n s!svz¸s£fhj
,1! #" 4%+ ¯svj&x£¢GoIj¦2f vf n
s£x©o s z .o 5 ·w
!
¹ °<ji:o < h ¡+´ n s£fhj
.o s{prx©o
b
Xs{j&x£¢GoIj z¢5s{fhjw
!
s{fhj n£tXn
s{j&i#¦j<x{zQz n j µ
e6f
n2½
<¸z¢
¯svjx{¢Go&j
f.o nÑn jj&xvo or o ¯s©o j n&µ ! j2o&Ij n£n j n o x{j i¥ s t j&x£¢¤zx{i¥jIª t i:ji:z x t zQj,¬
x©o s z
n&µ
j& h&j¹« <z.o xvo j <°rj2Qz ¯svjxW <jIjI
n
svz!Qji:o .oj&
µ
e6f<j~Iz fhj&x{j& h&j~z¢
Iz hp<x{x{j& ¯s o&Ij n{n
j n
svz¥s£fhj
n
o i:j
°<
jo x{jBo p<s{zi:o s
Eo
t
i:o .o jI
t
s{f<jª+´
µ
³òo s©o¨Qj h o4p<svzi:o s Eo t zo <jI Ps£fhjUi¥j&i¥zx t z¢+s£fhjU<x{z«&j n£n zxo IIj n{n h
s{fhjiU¹3s{fhj <xvz x©o i i:jx!<z«j
n
hz s f.oEj¥svz¸i:o .o j¥<o s©o n
s{x <p<s z
µ 8¿n
w !
j XsZo hª n£½ 5Iovfhj n o <Bs{fhj ´ o xvji:jxvj&?¹s{f<j x n ¾ j n t .o i Io t o h
o p<svz io s Io
t
o |èp
n
svjIN<j&j& < h¸z ¨i:ji:zx t p n
oj
µ
e6fhj p n j z¢W<xvj¢¤j&svvf h
o zJ¦ n o p<s{zi:o s zÏj&x o z¢&zi <p<s h®o4 h¡ho svo zo < µ wyx{zxvo i¥i <ho4¬
x©o j zprs£¬§z ¢ù¬§Iz xvj+o r Eo s z
n n
jEo n j&x
n <Ij °<j n
o x{j
n i¥ t j&¦jIo
n
o <zs{fhjx
i:ji:zx t j&j µ
s£fhj²<x{zQz
n
jI
n£tXn
svj&i¸¹ hzX<j n
i:ji:zx
t
o4 h
nu½«n
o4xvj²i:o .oj&
o+
z.o
o h
¯svj&x©o s{jI:¦6o t t o ´ nut«n svji i¥j&xvjI¦ s£foBw ! µ ! j2io r h n s{fhj~ ho4¬
s{p<xvo w ! ¯s{j&x{¢Go Ijo hÇi:o
½ j n nu½
o&Ij n{n
j n s£x©o
n
.o x{j& ¯s svzs£fhjª<xvz x©o i i:jx
µ
s{f °<ji:o < h x£s{p.o i¥j&i¥zx t ¹ °<j n
o4xvj hzs¥oI&j n£n
jIPp n <
n
s©o h<o xv
<<prs zprs{<p<s¥zj&xvo s z n <p<s t xvj&&s xvjEo Po h ¦2x s{j¸z Qjx©o s z n x£s{p.o
i:ji:zx tµ 8
i¥j&i¥zx
t
o xvjIo n o zXEo s{jIªsvz
n
s{zxvj °<jho svo µ
fhj o+<xvzXIj n{n
z x ° x n s
xvj&¢¤jxvj hIj
n
oªho svo s{f<j i:o < hªo4xvjEo«¹hoB.ojò¢Go p s2zXIp<x
n
o hs£fhj Izx£xvj
n
Qz r¬
h¸ho svo n o p<s{zi:o s Eo t zorjIN¢±x{zi n£½`µ ³ n£½Xn ¦2x s{j n z t zXIp<x Ns£fhj
j&j ¯s~z¢oB.oj+x{j& oIji:j Xszxo4s2s{fhj j& <¸z¢3s{f<jo4< Eo s z
µ
p<x n£tXn
svj&i n
.o
n
jI·z ¡oU}
´ 8 ¬
½
jªi:ji:zx
t
i:o .oji:j ¯s
µ
e6f<j¥ hzX<j n
i:ji:zx j n o x{j¿p n jIo n o x{j¿Iovfhj nIµ woj n ¹«¦2f vfx{j&<x{j n j ¯s2s{fhj~pr s6z¢bs{xvo n ¢¤jx
o hU&zfhjxvj& <Ij¹Qo xvj o p<s{zio4s Io
t
o h¸s£x©o
n
.o x{j& ¯s t i x©o s{jIzxxvj Eo s{jI
s{fhji:ji:zx
t
z¢bs{f<j¿ hzX<j~z ¢?s{fhj¿<xvzXIj n{n
z x²¦2f
vf:xvj&¢¤jxvj hIj
n
s{fhji µ
f<j& o.o j
f.o n jIj& zo<jI i:ji:z x t ¹«jq n s hªIz j n o x{j~p n jI¸s{z n jx{j n pr n j p<j& ¯s~.o j
¢Go p s n s{f¯p n oEz <ª nu½ oI&j n£n j n&µ
p<x n£tXn
s{j&i n
.o
n
j& z doN¦2x s{j¬ ¯o <o svj&zfhj&x{j& h&jU<x{zsvzXIz n i o x svz
6j&x ½ j j t <xvzs{z«&z 7 i j&i¥j& ¯svj&U tUn s©o s Eo t n s£x <p<svj&Ç x{jIsvzx j n&µ e6fhj
" 6 z¢oB.oj n n s h p n
fhjI¢±xvz i s n
5 µ
ovfU hzX<j n
s£fhj+io4 .ojx
z¢?o
n
s©o s Eo
t
<j ° hj&
n
js6z ¢.o j
n
o hªi:o .oj
n
¢¤zxÑjIovf:.o jo+ x{jI&s{zx
t
j& ¯s{x
t
Iz ¯s©o hBs{fhj rj& ¯s s t z¢ s n zϦ2 hjx µ e6f<jzϦ2 hjx~z¢3.oj zϦ2 n o p<r¬svz ¬ºho s{j
Iz
t
z¢oB.oj o4 h n
s{f<j+z t
hzX<j o zϦ6j&s{zª j oI&j n£n
x f¯s
n
s{zªs{f n
.oj
µ
s6o n
z+i:o .oj
n
s{fhj&z
t«n
j&s6z¢Qs£fhj2.oj
¹ %
s{fhj
n
syz ¢Q hzX<j
n
fhz < o!&z
t
z¢ys{f n .o j µ e6f<jBIz tXn js n i:o .o jI t s{fhj zJ¦2 <j&xòxvo s{fhjx~s£f.o Çs{f<j io4 .ojx
o n s+o zϦ
n o i:zx{j j¥ j Xs i ji:j Xsvo s z z¢y¢Go p s¿s{z jx©o <Ij i¥jIvf.o4 n i n o n
¦6j o n
j j& ¯s+io4 .oji:j Xsòz¢Ñ.oj x{j& oIji:j ¯s
µ
e6f<jBio hoj&xòz¢o:.oj n
o n zBxvj n Qz n j+¢¤zx2s£fhj n j&x o ù¾ o s z z¢3xvj phj n s nIµ
8¿n
w !
·Eo vfhj
n
o h¡¦2x s{j:<pj&x
n
o xvj¥i:jxvj&¡¦ s{f·s{fhj+´N¹5hoj
n
s©o s{j
n
o xvj~p
n
jI hz sz t
s{zBio hoj~.o j
n
fho x hªo
n o s{xvo s z ho ´ <p<so n
zsvz
io hojªs{fhj x n svo s{p n xvj&o x{ hs{f<j °<j nut«n svji <xvj¢¤j&svvf<jI?¹ ¡Iovfhj¹ ¨¦2x s{j