Un modèle markovien pour GSAT et WalkSAT résultats préliminaires

HAL Id: inria-00292691

https://hal.inria.fr/inria-00292691

Submitted on 2 Jul 2008

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Un modèle markovien pour GSAT et WalkSAT résultats préliminaires

Charlotte Truchet, Damien Noguès, Narendra Jussien

To cite this version:

Charlotte Truchet, Damien Noguès, Narendra Jussien. Un modèle markovien pour GSAT et Walk- SAT résultats préliminaires. JFPC 2008- Quatrièmes Journées Francophones de Programmation par Contraintes, LINA - Université de Nantes - Ecole des Mines de Nantes, Jun 2008, Nantes, France.

pp.327-336. �inria-00292691�

Actes JFPC 2008

Un mod` ele markovien pour GSAT et WalkSAT r´ esultats pr´ eliminaires

Charlotte Truchet

¹

Damien Nogu` es

^1,2

Narendra Jussien

^3,1

1

LINA, UMR 6241

Universit´ e de Nantes, 2 rue de la Houssini` ere, 44300 Nantes, France

2

Ecole Normale Sup´ erieure 45, rue d’Ulm, 75005 Paris, France

3

Ecole des Mines de Nantes

4 rue Alfred Kastler - 44307 Nantes Cedex 3 - France

charlotte.truchet@univ-nantes.fr, damien.nogues@ens.fr, narendra.jussien@emn.fr

R´ esum´ e

Les algorithmes GSAT et WalkSAT ont un compor- tement, bien connu exp´ erimentalement, mais relative- ment peu ´ etudi´ e th´ eoriquement. Nous ´ etudions ici un mod` ele de GSAT et WalkSAT sous la forme de chaˆınes de Markov, mod` ele exact pour la partie gloutonne, ap- proch´ e pour la version avec random restart. Les r´ esultats classiques sur les chaˆınes de Markov permettent d’en d´ e- duire deux nouvelles majorations de l’esp´ erance du temps de calcul de WalkSAT sans random restart, en fonction des valeurs propres de la matrice de transition associ´ ee.

Nous montrons exp´ erimentalement sur de petites ins- tances que cette borne permet de retrouver le param´ e- trage optimal observ´ e dans la litt´ erature. Nous donnons ensuite deux r´ esultats sur l’esp´ erance de GSAT ou Walk- SAT avec random restart en fonction du nombre d’it´ e- rations avant random restart (entre autres). Mˆ eme si les r´ esultats restent ` a approfondir, ce mod` ele donne une piste vers une ´ etude th´ eorique du param´ etrage optimal et, au del` a, du comportement de ces algorithmes.

1 Introduction

Les algorithmes incomplets sont devenus des m´ e- thodes de choix pour la r´ esolution de probl` emes d’op- timisation combinatoire en raison de leur efficacit´ e.

On s’int´ eressera ici aux m´ ethodes trajectoire (par op- position aux m´ ethodes maintenant une population de points de l’espace de recherche comme les algorithmes g´ en´ etiques ou fourmis), dont les plus courants sont le tabu search, le recuit simul´ e ou encore les m´ e- thodes d´ edi´ ees ` a SAT souvent d´ eriv´ ees de GSAT[10] et

WalkSAT[9]. Le but est d’optimiser it´ erativement une fonction de coˆ ut f d´ efinie sur l’espace de recherche, ` a partir d’un point choisi al´ eatoirement. On trouve tou- jours une ´ etape d’optimisation gloutonne sur un voisi- nage du point courant, et divers m´ ecanismes d’´ echap- pement : les m´ ethodes gloutonnes ´ etant par nature bloqu´ ees dans des minima locaux de f , il faut autori- ser l’algorithme ` a d´ et´ eriorer f de temps en temps pour

´

eviter ces bloquages.

1.1 Algorithmes incomplets et probabilit´ es

Quelle que soit la m´ ethode de recherche locale consi- d´ er´ ee, on trouve g´ en´ eralement une composante al´ ea- toire, souvent ` a plusieurs niveaux : choix du meilleur voisin (al´ eatoirement parmi les meilleurs voisins), pro- babilit´ e de random walk pour WalkSAT, conditionne- ment ` a la temp´ erature pour le recuit simul´ e, etc. Le comportement de ces algorithmes est donc intrins` eque- ment al´ eatoire.

La litt´ erature fournit pl´ ethore de tels algorithmes

pour un ensemble de probl` emes extrˆ emement vaste, ce

qui donne une connaissance assez large de leur com-

portement exp´ erimental. On peut consid´ erer comme

commun´ ement admis les faits exp´ erimentaux suivants :

(a) les algorithmes sont tr` es efficaces (ie r´ epondent

en moyenne plus vite que les m´ ethodes compl` etes

si le probl` eme est satisfiable) en g´ en´ eral. Cepen-

dant, pour une mˆ eme classe de probl` emes (SAT

par exemple), cette efficacit´ e peut varier forte-

ment selon les instances, mˆ eme satisfiables ;

(b) en g´ en´ eral, le comportement de l’algorithme d´ e- pend assez fortement d’un certain nombre de pa- ram` etres : tabu tenure, probabilit´ e de random walk, it´ erations avant random restart, etc ; (c) pour un probl` eme dont la satisfiabilit´ e est incon-

nue, le caract` ere incomplet de ces algorithmes in- terdit de conclure quand ils ne r´ epondent pas. En g´ en´ eral, la recherche est coup´ ee apr` es un nombre suffisamment grand d’it´ erations, l’information d´ e- duite ´ etant ”il est fort possible que le probl` eme soit insoluble”.

S’agissant d’algorithmes probabilistes, un certain nombre de ces observations devraient pouvoir s’expli- quer au niveau th´ eorique. Il existe pourtant assez peu de r´ esultats th´ eoriques, et ceux qui existent concernent principalement le recuit simul´ e ou les algorithmes g´ e- n´ etiques. La convergence asymptotique est en g´ en´ eral prouv´ ee. C’est le cas du Tabu Search [3] ou de Walk- SAT [5]. Des r´ esultats plus pr´ ecis sur l’´ evolution du temps de calcul en fonction du param` etre de random walk p sont donn´ es dans [7], et test´ es sur de petites instances.

1.2 Pourquoi un mod` ele probabiliste

Le but de ce travail est de donner un mod` ele pro- babiliste du comportement d’algorithmes de recherche locale. Qu’il s’agisse du Tabu Search, du recuit simul´ e ou de WalkSAT, ces algorithmes se traduisent naturel- lement en chaˆınes de Markov, objets probabilistes qui

´ evoluent dans le temps en ne tenant pas compte du pass´ e. Ce mod` ele a ´ et´ e largement utilis´ e pour prouver des convergences ou d´ ependances au param´ etrage des algorithmes g´ en´ etiques ou du recuit simul´ e. Sur Walk- SAT, il est aussi utilis´ e dans [7] pour une ´ etude du param´ etrage du random walk, donnant des r´ esultats statistiques v´ erifi´ es sur de petites instances.

Au niveau mˆ eme du mod` ele, plusieurs difficult´ es apparaissent. D’abord, les m´ ecanismes d’´ echappement comme le random restart ou le tabu introduisent une m´ emoire. Cette m´ emoire n’est que partielle, limit´ ee ` a un certain nombre d’it´ erations, mais cela complique le mod` ele. Ensuite, la nature de l’algorithme et du pro- bl` eme d’optimisation peut compliquer encore le mo- d` ele, avec par exemple des voisinages complexes, des fonctions de coˆ ut d´ elicates ` a exprimer ou tr` es variables sur l’espace de recherche, etc. Pour toutes ces raisons, on s’int´ eresse aux algorithmes GSAT et WalkSAT, qui sont facilement exprimables sans m´ emoire de l’espace visit´ e, bien connus exp´ erimentalement, et s’attaquent

`

a un probl` eme propre (au sens o` u toutes les variables sont bool´ eennes et ont le mˆ eme rˆ ole, et toutes les contraintes sont de la mˆ eme forme).

Donner un mod` ele probabiliste ` a des algorithmes de r´ esolution de probl` emes fortement combinatoires

semble ` a la fois capital (il s’agit de comprendre leur comportement) et na¨ıf : sans perte d’information, la complexit´ e du mod` ele est ´ evidemment ´ equivalente ` a celle du probl` eme de d´ epart, ou pire. Un calcul sur le temps d’ex´ ecution par exemple, sans changer la taille du probl` eme (nombre de variables dans le cas de SAT), est inutile car de complexit´ e au moins ´ egale ` a celle du probl` eme de d´ epart, difficult´ e que l’on rencontrera dans la suite. Dans ce cas, pourquoi donner un tel mo- d` ele ? D’abord, on peut envisager des r´ esultats appro- ch´ es ou en probabilit´ e. Ce que dit l’intuition en (a) ou (c) est peut-ˆ etre ainsi quantifiable en probabilit´ e. En- suite, mˆ eme si les calculs pratiques sont impossibles en temps raisonnables, en th´ eorie rien n’interdit d’obte- nir des calculs exacts et de faire une approximation en pratique, ce qui permettrait d’envisager des encadre- ments des param` etres, cf (b). C’est le sens des r´ esultats pr´ eliminaires donn´ es dans cet article.

La section 2 rappelle quelques r´ esultats classiques sur les chaˆınes de Markov, et d´ ecrit le mod` ele de GSAT et WalkSAT dans ce formalisme. La section 3 donne deux majorations du temps de calcul pour WalkSAT en fonction de caract´ eristiques de la chaˆıne associ´ ee.

Ces majorations sont d’une complexit´ e trop grande pour ˆ etre calcul´ ees syst´ ematiquement, mais on montre dans la section 4 qu’elles permettent de retrouver le param´ etrage optimal observ´ e dans la litt´ erature pour de petites instances de SAT. Enfin, la section 5 d´ ecrit une mani` ere d’ajouter le m´ ecanisme de random restart au mod` ele de fa¸ con approch´ ee.

2 El´ ements sur les chaˆınes de Markov

Nous pr´ esentons ici quelques r´ esultats classiques sur les chaˆınes de Markov, uniquement dans la mesure o` u ils sont n´ ecessaires dans la suite. C’est un formalisme tr` es classique en th´ eorie des probabilit´ es, pour une pr´ e- sentation compl` ete voir par exemple [1]. Les deux pre- miers paragraphes sont ind´ ependants des algorithmes consid´ er´ es. Nous ne nous int´ eresserons qu’` a des chaˆınes homog` enes ` a temps discret et espace d’´ etats fini.

2.1 Chaˆınes d’ordre 1 homog` enes

Soit un espace d’´ etats fini S = {s

1

. . . s

n

}. Une chaˆıne de Markov d’ordre t sur S est une suite de va- riables al´ eatoires (X

i

)

_i∈N

` a valeurs dans S, telle que X

i

ne d´ epend que de X

i−1

. . . X

i−t

. On s’int´ eressera uni- quement ` a des chaˆınes d’ordre 1, dont chaque variable al´ eatoire ne d´ epend que de la pr´ ec´ edente, et homo- g` enes, c’est-` a-dire que la d´ ependance est constante au cours du temps.

Dans ce cas, il est pratique de repr´ esenter les pro-

babilit´ es de transition de s

i

` a s

j

sous la forme d’une

matrice M appel´ ee matrice de transition, d´ efinie par M

i,j

= P (X

i+1

= s

j

|X

i

= s

i

). On v´ erifie ais´ ement que M

^p

donne les probabilit´ es de transition pour p it´ era- tions de la chaˆıne, et que si µ est une distribution sur les ´ etats S, alors M

^p

∗ µ est la distribution apr` es p it´ erations. La matrice M peut aussi ˆ etre vue comme d´ efinissant un graphe sur l’espace de recherche, dont les arˆ etes sont ´ etiquet´ ees par les probabilit´ es de tran- sition.

2.2 Chaˆınes absorbantes

La plupart des r´ esultats classiques sur les chaˆınes de Markov concernent des chaˆınes irr´ eductibles, telles que de chaque ´ etat il est possible d’atteindre tout autre

´

etat en un nombre fini d’it´ erations. Ce n’est h´ elas pas le cas des chaˆınes qui nous int´ eressent : GSAT comme WalkSAT ne ressortent pas des ´ etats solutions du pro- bl` eme SAT consid´ er´ e. Quand l’algorithme trouve une solution, il s’arrˆ ete et la probabilit´ e de passer ` a tout autre ´ etat est 0. C’est une des conditions d´ efinissant les chaˆınes absorbantes : intuitivement, une chaˆıne ab- sorbante a des ´ etats ”puits”, dont elle ne peut ressortir, et de tout autre ´ etat il est possible d’atteindre un ´ etat puit.

Formellement, un ´ etat s

i

d’une chaˆıne de Markov est dit absorbant si il est impossible ` a quitter, ie M

i,i

= 1 et M

i,j

= 0 pour i 6= j. Une chaˆıne de Markov est dite absorbante si

– elle a au moins un ´ etat absorbant,

– de chaque ´ etat, il est possible d’atteindre un ´ etat absorbant.

Dans ce cas, il est pratique d’´ ecrire la matrice de transition en r´ eordonnant les ´ etats : d’abord, les ´ etats non-absorbants et ensuite les ´ etats absorbants. On ob- tient

M =

Q R

0 I

o` u I est l’identit´ e et 0 est la matrice remplie de 0.

On notera ainsi ces deux matrices ind´ ependamment de leurs dimension, de mˆ eme que M , pour ne pas alourdir les notations.

Intuitivement, R est la matrice qui permet de s’´ echapper des ´ etats transients pour arriver ` a une solu- tion. Q au contraire repr´ esente le sous-graphe associ´ e aux ´ etats transients. La chaˆıne boucle un certain temps dans Q, puis passe une fois par R pour tomber un ´ etat puit, et ne plus en ressortir.

Dans toute la suite on notera 1 =

^t

(1, . . . , 1), Sol l’ensemble des ´ etats absorbants, α le nombre d’´ etats absorbants et T l’ensemble des ´ etats transients. Les matrices absorbantes v´ erifient les propri´ et´ es suivantes (r´ esultats courants de la litt´ erature, voir par exemple [1]) :

(i) soit N l’inverse de I − Q, N = I + Q + Q

²

+ Q

³

. . .. N est bien d´ efinie et N

i,j

est l’esp´ erance du nombre de passages en s

j

en partant de s

i

. (ii) soit t = N ∗ 1. Soit µ une distribution sur S.

L’esp´ erance du nombre d’it´ erations avant absorp- tion, avec la distribution initiale µ, est donn´ ee par P

i|si∈T

µ(s

i

)t

i

. (iii) soit ||t||

1

= P

1≤i≤n−α

|t

i

| (norme classique sur les espaces vectoriels appel´ ee norme un). Soit E (abs) l’esp´ erance du temps d’absorption. Si la distribution de d´ epart µ est uniforme sur l’espace,

´ egale ` a x, on a E (abs) = x||t||

₁

.

(iv) t est la solution de l’´ equation t = Q ∗ t + 1.

(v) la probabilit´ e que la chaˆıne soit absorb´ ee est 1, ie Q

^z

→ 0 quand z → ∞.

2.3 Expression de GSAT et WalkSAT

On traduit ici les algorithmes consid´ er´ es, GSAT et WalkSAT, en chaˆınes de Markov. Intuitivement, ces deux algorithmes effectuent des sauts de voisinage en voisinage dans l’espace de recherche sans m´ emoire de l’espace visit´ e, et la traduction doit ˆ etre naturelle. Ce- pendant, les m´ ecanismes de random walk et surtout de random restart demandent un minimum d’attention.

Soit F une formule sur n variables, S l’espace de re- cherche pour l’algorithme GSAT associ´ e (de taille 2

ⁿ

), Sol l’ensemble des solutions, α = |Sol| le nombre de solutions, f : S → N la fonction comptant le nombre de clauses fausses dans F , V : S → P(S) la fonction de voisinage habituelle (flip d’une variable apparaissant dans une clause fausse).

On consid` ere d’abord l’algorithme donn´ e sur la fi- gure 1, prenant en entr´ ee une instanciation s ∈ S et un param` etre de random walk p ∈ [0, 1]. Pour p = 0, cet algorithme est la boucle gloutonne de GSAT, sans random restart et sans limite du nombre d’it´ erations.

Pour p > 0, c’est la boucle interne de WalkSAT, qui ne peut plus vraiment ˆ etre qualifi´ ee de gloutonne car elle autorise des pas al´ eatoires sur le voisinage avec probabilit´ e p.

Dans ce cas, l’information calcul´ ee est toujours lo- cale ` a l’it´ eration courante et strictement ind´ ependante du pass´ e (pas de condition d’arrˆ et, donc pas besoin de compter les it´ erations). L’espace de recherche S est l’ensemble des ´ etats not´ e ´ egalement S ci-dessus. L’al- gorithme d´ efinit une chaˆıne de Markov d’ordre 1 dont la matrice de transition d´ epend de F .

Pour GSAT et WalkSAT, les ´ etats absorbants sont

exactement les solutions Sol du probl` eme SAT asso-

ci´ e ` a F . On notera M

^G

la matrice de transition as-

soci´ ee ` a GSAT, M

^W

celle associ´ ee ` a WalkSAT. Dans

la suite, les notations introduites pr´ ec´ edemment se-

ront conserv´ ees, indic´ ees par

^G

s’il s’agit de GSAT

1:

while f (s) 6= 0 do

2:

v ← V (s)

3:

if f(s) = 0 then

4:

return s

5:

else

6:

if random(1) ≤ 1 − p then

7:

s ← random({s

⁰

∈ v, s

⁰

diff´ erent de s d’une variable x et flipper x optimise le nombre de clauses fausses})

8:

else

9:

s ← random(v)

10:

end if

11:

end if

12:

end while

Fig. 1 – La boucle interne de GSAT et WalkSAT, sans random restart, sans limite du nombre d’it´ erations.

et par

^W

s’il s’agit de WalkSAT. On peut remarquer qu’en posant V la sous-matrice de taille 2

ⁿ

− α du graphe des voisinages (tels que d´ efinis ci-dessus), on a Q

^W

= (1 −p)∗ Q

^G

+p∗ V . Enfin, la matrice M

^G

a une forme tr` es particuli` ere : sur une ligne i, si β

i

< n est la taille du voisinage restreint (cf ligne 7 de l’algorithme donn´ e sur la figure 1), elle vaut 0 sauf en β

i

cases o` u elle vaut 1/β

i

.

2.4 Expression du random restart

Qu’il s’agisse de GSAT ou WalkSAT, un m´ ecanisme de random restart est ajout´ e ` a la boucle donn´ ee en 1.

Toutes les m it´ erations, l’algorithme repart al´ eatoire- ment avec une probabilit´ e uniforme sur S. La figure 2 rappelle pr´ ecis´ ement l’algorithme, prenant en entr´ ee le param` etre p, et un nombre maximum d’it´ erations avant random restart m.

1:

while f (s) 6= 0 do

2:

int i=0 ;

3:

while f (s) 6= 0 et i < m do

4:

s ← random(S)

5:

effectuer les lignes 2 ` a 12 de l’algorithme fi- gure 1

6:

i++

7:

end while

8:

end while

Fig. 2 – Le m´ ecanisme de random restart, sans limite du nombre de random restarts

Du point de vue des chaˆınes de Markov, cela si- gnifie que l’information calcul´ ee ` a l’it´ eration i ne d´ e- pend plus seulement de l’it´ eration pr´ ec´ edente. On a donc naturellement une chaˆıne d’ordre m + 1. En th´ eo- rie, cela ne gˆ ene en rien l’application du formalisme :

tout chaˆıne d’ordre t > 1 peut en effet s’exprimer comme une chaˆıne d’ordre 1 ´ equivalente, et les r´ esul- tats s’appliquent. Cependant, la chaˆıne ainsi form´ ee a un nombre d’´ etats exponentiel en le nombre initial d’´ etats, qui est d´ ej` a 2

ⁿ

dans notre cas.

Pour contourner ce probl` eme on peut aussi exprimer le random restart sous une forme sensiblement diff´ e- rente : au lieu de red´ emarrer toutes les m it´ erations, on choisit ` a chaque it´ eration de red´ emarrer, avec une probabilit´ e de x = 1/(m + 1), ou de continuer le fonc- tionnement normal de GSAT ou WalkSAT, avec une probabilit´ e m/(m + 1). L’avantage est bien sˆ ur de re- trouver une chaˆıne d’ordre 1, bien plus facile ` a traiter.

Cela n’est pas rigoureusement ´ equivalent. Mais le nombre moyen de random restarts est le mˆ eme dans les deux cas. Les chaˆınes qui nous int´ eressent ne sont pas compl` etement ind´ ependantes, cependant la d´ epen- dance est limit´ ee (ordre 1) et constante. Or pour des variables al´ eatoires ind´ ependantes, les deux mod` eles sont ´ equivalents. En revanche, pour des variables al´ ea- toires non ind´ ependantes, on trouve ais´ ement des cas de non-´ equivalence : dans le premier mod` ele, tout ce qui se passe apr` es m est de l’information perdue et on peut placer des pics o` u l’on veut apr` es m pour per- turber l’esp´ erance. Mais la construction suppose une forme de d´ ependance ` a long terme (sup´ erieure ` a 1).

L’approximation r´ ealis´ ee semble donc raisonnable.

2.5 Convergence

Le mˆ eme type de mod` ele probabiliste est utilis´ e par [5] pour ´ etudier la convergence de GSAT et WalkSAT, r´ esultats que l’on rappelle bri` evement ici. Pour GSAT, on peut construire des instances telles qu’il peut rester bloqu´ e autour d’un minimum local et ne pas terminer.

Il est ´ egalement impossible de d´ emontrer la conver- gence de WalkSAT : l’algorithme peut rester bloqu´ e dans un cycle en modifiant ind´ efiniment le mˆ eme bit par exemple (mˆ eme si c’est extrˆ emement peu pro- bable). Hoos [5] prouve que WalkSAT v´ erifie une pro- pri´ et´ e plus faible appel´ ee Probabilistic Approximate Completeness (PAC). Si on note p

_l

la probabilit´ e que l’algorithme (sans restart ) ait trouv´ e une solution apr` es l it´ erations, la propri´ et´ e s’´ ecrit

l→∞

lim p

l

= 1

Remarque Plus g´ en´ eralement, en d´ efinissant un al- gorithme de recherche locale comme d’habitude (it´ era- tions de voisinage en voisinage), on peut montrer qu’il y a ´ equivalence entre ”l’algorithme v´ erifie la PAC” et

”la chaˆıne associ´ ee est absorbante” [8].

3 Majoration du temps de calcul

On cherche ici une propri´ et´ e sur le temps d’ab- sorption de la chaˆıne associ´ ee ` a WalkSAT, qui cor- respond au temps de calcul moyen de l’algorithme.

D’apr` es (iii), cette esp´ erance d´ epend du vecteur t, qui d’apr` es (ii) mesure le temps d’absorption pour chacun des ´ etats de d´ epart. Pour WalkSAT, la loi de d´ epart est uniforme sur S et µ est constante ´ egale ` a 1/2

ⁿ

. L’esp´ erance du temps d’absorption est donc ´ egale ` a 1/2

ⁿ

||t||

1

. Elle d´ epend de la forme de Q, qui d´ epend elle mˆ eme de F (donc de n). On la notera E (F).

On s’int´ eresse ici ` a ||t||

1

, que l’on calcule en fonction des valeurs propres de Q

^W

. Dans cette section, tous les calculs concernent WalkSAT et on omettra l’indice

^W

par souci de clart´ e.

Intuitivement, l’id´ ee du calcul est la suivante : on utilise l’´ equation (iv) pour calculer les composantes de t. Cependant, le calcul de Q ∗ t contient beaucoup trop de termes. On ne sait pas si Q est diagonalisable dans R ou C , mais elle est en tous cas jordanisable dans C , et cela simplifie beaucoup la forme de Q ∗ t.

Inconv´ enient, il n’existe pas n´ ecessairement de base de Jordan orthonorm´ ee, d’o` u une difficult´ e pour prendre les normes un en fonction des coordonn´ ees de t et de 1. On calcule donc d’abord les composantes de t dans une base de Jordan norm´ ee pour Q, en fonction des valeurs propres de Q. Ensuite, on utilise ce calcul et les propri´ et´ es de la norme un pour donner une majoration

||t||

1

.

3.1 Calcul de t dans la base de Jordan

Soit B = (e

ⁱ_k

)

1≤i≤p,1≤k≤ti

une base de Jordan pour Q, que l’on choisit norm´ ee pour la norme un, et Q

_J

la r´ eduction de Jordan de Q dans cette base :

Q

J

=













J

1

0 . . . 0 0 J

2

. . . .. . .. . . . . . . . 0 0 . . . 0 J

_p













o` u le bloc J

_k

de taille t

_k

est de la forme :

J

k

=













λ

k

1 0

0 . . . . . . .. . . . . . . . 1 0 . . . 0 λ

k













Soit t

_J

l’expression de t dans B et t

ⁱ_k

sa coordon- n´ ee sur e

ⁱ_k

. Pour calculer le produit Q

_J

∗ t

_J

il suffit de faire le calcul dans chaque bloc de Jordan ind´ epen- damment :

J

i

*













 t

ⁱ₁

.. .

t

ⁱ_t

i















=















λ

i

∗ t

ⁱ₁

+ t

ⁱ₂

λ

i

∗ t

ⁱ₂

+ t

ⁱ₃

.. . λ

_i

∗ t

ⁱ_t

i−1

+ t

ⁱ_t

i

λ

_i

∗ t

ⁱ_t

i













 L’´ equation (iv) se traduit de mˆ eme ind´ ependam- ment sur chaque bloc. On a besoin des coordonn´ ees de 1 dans B que l’on notera (u

ⁱ_k

)

_i,k

. On a alors

n t

ⁱ_ti

= λ

i

∗ t

ⁱ_ti

+ u

ⁱ₁

t

ⁱ_k

= λ

i

∗ t

ⁱ_k

+ t

ⁱ_k+1

+ u

ⁱ_k

si k 6= 1

En d´ epliant les ´ equations, on en d´ eduit une expres- sion de t

J

en fonction des valeurs propres de Q :

t

ⁱ_ti−k

=

k

X

r=1

u

ⁱ_ti−r+1

(1 − λ

_i

)

^k−r

3.2 Majoration de ||t||

₁

La base B permet de faire le calcul, mais elle n’est pas n´ ecessairement orthonorm´ ee ce qui est gˆ enant pour calculer ||t||

1

: on a t = P

i,k

t

ⁱ_k

e

ⁱ_k

. La norme un dans la base de d´ epart (celle qui nous int´ eresse), vaut donc

|| P

i,k

t

ⁱ_k

e

ⁱ_k

||

1

≤ P

|t

ⁱ_k

|||e

ⁱ_k

||

1

≤ P

i,k

|t

ⁱ_k

| par l’in´ egalit´ e triangulaire et le fait que B est norm´ ee. D’o` u :

||t||

1

≤

p

X

i=1 ti

X

k=1

|t

ⁱ_k

| =

p

X

i=1 ti

X

k=1 k

X

r=1

|u

ⁱ_ti−r+1

|

|1 − λ

i

|

^k−r

et pour tout i,k, |u

ⁱ_k

| ≤ ||1||

1

= 2

ⁿ

− α d’o` u

||t||

₁

≤ (2

ⁿ

− α) ∗

p

X

i=1 ti

X

k=1 k

X

r=1

1

|1 − λ

_i

|

^k−r

Et finalement

E (F) ≤ (2

ⁿ

− α) 2

ⁿ

∗

p

X

i=1 t_i

X

k=1 k

X

r=1

1

|1 − λ

i

|

^k−r

On obtient une majoration de E (F ), qui repr´ esente le temps de calcul de WalkSAT, en fonction des valeurs propres de la matrice de la chaˆıne de Markov associ´ e et de leur ordre de multiplicit´ e.

3.3 Majoration grossi` ere

On donne ici une majoration grossi` ere de E (F ), en majorant d’un coup tous les termes

_|1−λ¹

i|^k−r

. On uti- lisera la proposition 1.

Proposition 1. La valeur propre |λ

^∗

| de Q la plus

proche de 1 (au sens o` u |1 −λ| est minimal) est unique,

r´ eelle et correspond ` a la valeur propre de plus grand

module de Q.

D´ emonstration. La matrice Q est irr´ eductible par construction. Par le th´ eor` eme de Perron-Frobenius, le rayon spectral de Q (rayon de la plus petite boule contenant toutes les valeurs propres) est une valeur propre simple, strictement positive. Soit λ

^∗

∈ R

⁺

cette valeur propre. Comme toutes les valeurs propres sont dans le disque de rayon λ

^∗

, cette valeur propre est l’unique valeur propre la plus proche de 1.

On peut alors majorer

_|1−λ¹

i|^k−r

par

_|1−λ¹_∗|k−r

et si on pose t = max

i

t

i

, par

_|1−λ¹∗|^t

. Il s’ensuit :

E (F ) ≤ (2

ⁿ

− α) 2

ⁿ

p

X

i=1 t_i

X

k=1 k

X

r=1

1

|1 − λ

^∗

|

^t

≤ 1

|1 − λ

^∗

|

^t

p

X

i=1 t_i

X

k=1 k

X

r=1

1

≤ 1

|1 − λ

^∗

|

^t

p

X

i=1 t_i

X

k=1 k

X

r=1

1

≤ 1

|1 − λ

^∗

|

^t

p

X

i=1

t

i

(t

i

− 1) 2

≤ 1

|1 − λ

^∗

|

^t

∗ p ∗ t

²

2 3.4 Majoration fine

La majoration donn´ ee ci-dessus peut ˆ etre am´ elior´ ee en calculant plus pr´ ecis´ ement la s´ erie g´ eom´ etrique en

1

|1−λi|

pour tous les i tels que λ

k

6= 0 :

t_i

X

k=r

1

|1 − λ

_i

|

^k−r

=

1 −

_|1−λ ¹

i|^ti−r+1

1 −

_|1−λ¹

i|

= |1 − λ

i

|

^ti−r+1

− 1

|1 − λ

_i

|

^ti−r+1

× |1 − λ

i

| 1 − |1 − λ

_i

|

= 1 − |1 − λ

_i

|

^ti−r+1

(1 − |1 − λ

i

|)|1 − λ

i

|

^ti−r

= 1

1 − |1 − λ

i

|

1

|1 − λ

i

|

^ti−r

− |1 − λ

_i

|

D’o` u

ti

X

r=1

1

|1 − λ

i

|

^ti−r

=

ti−1

X

r=0

1

|1 − λ

i

|

^r

=

1 −

_|1−λ¹

i|^ti

1 −

_|1−λ¹

i|

= |1 − λ

_i

|

^ti

− 1

|1 − λ

i

|

^ti

× |1 − λ

_i

|

|1 − λ

i

| − 1

Et finalement

t_i

X

r=1 t_i

X

k=r

1

|1 − λ

_i

|

^k−r

= 1

|1 − λ

i

| − 1

t

i

|1 − λ

i

| + 1 − |1 − λ

i

|

^ti

(|1 − λ

i

| − 1)|1 − λ

i

|

^ti−1

Le comportement est celui attendu : relativement petit pour les valeurs propres ´ eloign´ ee de 1 et augmen- tant tr` es vite pour les valeurs proche de 1. Le majorant trouv´ e pour E (F ) s’exprime ainsi comme une somme de telles fonctions :

E (F ) ≤ 2

ⁿ

− α 2

ⁿ





p

X

i=1,λi6=0

1

|1 − λ

i

| − 1

t

i

|1 − λ

i

| + 1 − |1 − λ

i

|

^ti

(|1 − λ

_i

| − 1)|1 − λ

_i

|

^ti−1

+

p

X

i=1,λi=0 t_i

X

k=1 k

X

r=1

1





Or

p

X

i=1,λ_i=0 t_i

X

k=1 k

X

r=1

1 =

p

X

i=1,λ_i=0 t_i

X

k=1

l

=

p

X

i=1,λ_i=0

t

i

(t

i

+ 1) 2 Donc

E (F ) ≤ 2

ⁿ

− α 2

ⁿ





p

X

i=1,λi6=0

1

|1 − λ

i

| − 1

t

i

|1 − λ

i

| + 1 − |1 − λ

i

|

^ti

(|1 − λ

i

| − 1)|1 − λ

i

|

^ti−1

+

p

X

i=1,λi=0

t

_i

(t

_i

+ 1) 2





4 Tests et discussion

La section pr´ ec´ edente donne deux majorations de

l’esp´ erance du nombre d’it´ erations de WalkSAT en

fonction des valeurs propres de la matrice de transition

associ´ ee. On v´ erifie d’abord exp´ erimentalement que ces

majorations sont raisonnables : elles permettent de re-

trouver le param` etre p optimal observ´ e dans la litt´ e-

rature pour de petites instances de SAT sur lesquelles

le calcul est possible. On donne ensuite quelques r´ esul-

tats sur les valeurs propres en question puis on discute

ensuite de l’int´ erˆ et pratique de la majoration.

0.984 0.986 0.988 0.99 0.992 0.994 0.996 0.998 1

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

p

Valeur propre sous dominante en fonction dep

♦

♦

♦

♦

♦

♦

♦

♦♦♦♦♦♦♦♦♦♦♦♦♦♦♦♦

♦

♦

♦

♦

♦

♦

♦

Fig. 3 – Valeur propre λ

^∗

pour WalkSAT sans random restart en fonction de p.

4.1 V´ erification exp´ erimentale

Dans l’absolu, rien ne permet de savoir si les ma- jorations donn´ ees sont proches de E (F ), ou pas, en particulier pour les variations et minima.

Il est difficile de savoir th´ eoriquement si les majo- rations sont fid` eles ou pas. On peut cependant noter que des cas d’´ egalit´ e sont possibles pour la majoration fine : les seules ´ etapes majorantes concerne le probl` eme de la base B qui n’est pas n´ ecessairement orthonorm´ ee et l’expression de 1 dans cette base. Si B est orthonor- m´ ee, on a un cas d’´ egalit´ e ` a l’´ etape ”in´ egalit´ e triangu- laire” de 3.2. Mˆ eme si les cas d’´ egalit´ e sont difficiles ` a caract´ eriser, cela constitue un indice de ce que la ma- joration fine n’est pas trop ´ eloign´ ee de la r´ ealit´ e. La majoration grossi` ere ajoute une majoration de toutes les valeurs propres λ

_i

par λ

^∗

, et des tailles des espaces de Jordan t

_i

par t, ce qui est tr` es probablement beau- coup plus mauvais (les cas limites devenant vraiment improbables : toutes les valeurs propres ´ egales). On la v´ erifie exp´ erimentalement.

Cette majoration a ´ et´ e calcul´ ee exp´ erimentalement pour mille instances al´ eatoires satisfiables ` a 20 va- riables, ´ etudi´ ees par Hoos dans [6] (disponibles dans SATLib). Les matrices associ´ ees sont de taille 2

²⁰

×2

²⁰

et impossibles ` a trigonaliser enti` erement en temps rai- sonnable avec des logiciels classiques. Cependant, elles sont incluses dans V la matrice des voisinages, au sens suivant : si V

i,j

= 0 alors M

i,j

= 0. Elles contiennent donc au plus n termes non nul sur chaque ligne (et mˆ eme en g´ en´ eral beaucoup moins), sont des matrices creuses et des algorithmes de calcul d´ edi´ es existent.

Les tests ont ´ et´ e faits avec la librairie SLEPc [4].

4.2 R´ esultats

La moyenne de λ

^∗

sur les mille instances de Hoos est donn´ ee en fonction de p sur la figure 3. On observe

0.84 0.86 0.88 0.9 0.92 0.94 0.96 0.98 1

0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

p

Valeur propre sous dominante en fonction dep

Fig. 4 – Les minima des valeurs propres sous domi- nantes de chaque instance en fonction de p pour les chaˆınes associ´ ees ` a WalkSAT sans random restart.

.

que l’on retrouve la valeur optimale de p observ´ ee par Hoos ` a 0.55. On retrouve la mˆ eme observation avec le mod` ele de Markov de [7] avec un p optimal ` a 0.5. On en d´ eduit que la majoration, au moins sur ces instances, est suffisamment fiable pour optimiser p.

Cependant, le minimum en p de la moyenne sur les mille instances ne correspond pas n´ ecessairement ` a la moyenne des minima. La r´ epartition des minima de λ

^∗

en fonction de p est instructive. La figure 4 montre, pour chaque instance, la valeur minimale de λ

^∗

et le p qui la r´ ealise (en abscisse). On observe que le p r´ ea- lisant le minimum de λ

^∗

varie fortement selon les ins- tances. En d’autres termes, le p = 0.55 observ´ e est un pis-aller moyen, mais certaines instances devraient ˆ

etre param´ etr´ ees avec un p tr` es diff´ erent, jusqu’` a 0.15 soit 85% de random walk.

4.3 Discussion et travaux futurs

L’int´ erˆ et pratique des majorations propos´ ees reste faible. En effet, elles sont donn´ ees en fonction des va- leurs propres des matrices de transition associ´ ees ` a WalkSAT. Or, d’une part, ces matrices sont de taille 2

ⁿ

× 2

ⁿ

, en carr´ e de la taille de l’espace de recherche, d’autre part, une valeur propre est une information globale sur toute la matrice : il faut connaˆıtre l’int´ e- gralit´ e de la matrice pour la calculer.

Cependant, un certain nombre d’observations intui- tives donnent l’espoir d’approximer la majoration de fa¸ con ` a la rendre calculable :

– les valeurs propres sont les racines du polynˆ ome

caract´ eristique. De mani` ere g´ en´ erale, il semble

bien plus probable d’obtenir un polynˆ ome scind´ e

qu’avec des racines multiples (cela se voit intuiti-

vement avec la repr´ esentation en produit de mo-

nˆ omes), de sorte que les t

k

en puissance dans la majorations ne devraient pas ˆ etre trop grands ; – exp´ erimentalement, nous avons calcul´ e toutes les

valeurs propres pour certaines instances et bien que cela soit conditionn´ e aux approximations sur les flottants, les valeurs calcul´ ees ´ etaient simples, ce qui confirme l’observation ci-dessus ;

– un th´ eor` eme h´ erit´ e de Perron-Frobenius donn´ e par Flajolet dans [2] donne des propri´ et´ es de l’ordre de multiplicit´ e de la valeur propre sous- dominante en fonction des cycles du graphe asso- ci´ e, dont il est possible de d´ eduire des propri´ et´ es sur les t

_i

;

– enfin, les matrices associ´ ees ` a WalkSAT ont une forme bien particuli` ere : sur une ligne, on a exac- tement n termes non nuls, et seulement deux va- leurs possibles pour ces termes (selon qu’ils mini- misent f ou non). C’est une information ` a exploi- ter. Ces termes d´ ependent du nombre de flips par

´

etat, dont la distribution exacte est donn´ ee dans la matrice, et qu’on l’on doit pouvoir approcher en moyenne en temps raisonnable.

Les majorations donn´ ees devraient donc pouvoir s’approximer, notamment en fonction de t.

5 Etude du random restart

On donne ici deux r´ esultats pr´ eliminaires concer- nant le random restart. Ces deux r´ esultats n’ont pas encore ´ et´ e test´ es exp´ erimentalement, cependant, ils montrent bien le type de calculs que permet de faire le mod` ele probabiliste et l’int´ erˆ et qui peut en d´ ecouler.

5.1 Random restart strict

On reprend ici le m´ ecanisme habituel de random res- tart, celui donn´ e sur la figure 2. Dans ce cas, il est possible de donner un encadrement de l’esp´ erance de l’algorithme avec random restart en fonction de l’esp´ e- rance sans random restart et d’un nombre raisonnable de variables (m le nombre d’it´ erations avant random restart et probabilit´ e de r´ epondre avant m).

On note P (X, s, t), (resp. P (X, s, < t), etc) la proba- bilit´ e pour X de passer en s pour la premi` ere fois au temps t (resp. ` a un temps t

⁰

< t, etc).

Proposition 2. Soit (X

i

)

_i∈N

une chaˆıne de Markov d’ordre 1 sur S, R la loi uniforme sur S et m un entier.

On d´ efinit la suite de variables al´ eatoires Y par – Y

_i

= X

_imodm

si m ne divise pas i

– Y

_i

= R si m|i

On note P (X, s, t), (resp. P (X, s, < t), etc) la proba- bilit´ e pour X de passer en s pour la premi` ere fois au temps t (resp. ` a un temps t

⁰

< t, etc).

Soit s

0

∈ S. Soit E (Y, s

0

) l’esp´ erance du temps de premier passage de Y en s

0

, et a(m) la probabilit´ e que X ne passe pas en s

0

avant le temps m. On a :

E (Y, s

0

) = P

m−1

i=0

i ∗ P (X, s

0

, i) + m ∗ a(m) 1 − a(m)

D´ emonstration. On cherche d’abord P (Y, s

₀

, t). Y ar- rive pour la premi` ere fois en s

₀

au temps t ssi dans les t div m cycles complets effectu´ es avant t, les it´ er´ ees de X correspondantes ne sont pas pass´ ees par s

₀

, et le cycle commenc´ e en t div m arrive en s

0

pour la premi` ere fois en t mod m, ces ´ ev` enements ´ etant ind´ ependants car Y est coup´ e ` a chaque cycle. D’o` u :

P (Y, s

0

, t) = P (X, s

0

, > m)

^tdivm

∗ P (X, s

0

, t mod m) On remarque que P (X, s

0

, > m) ne d´ epend pas de t, on le note a dans la suite. L’esp´ erance du temps de premier passage en s

0

pour Y est d´ efinie par :

E (Y, s

0

) =

∞

X

t=0

t P (Y, s

0

, t)

=

∞

X

t=0

ta(m)

^tdivm

P (X, s

₀

, t mod m)

=

∞

X

k=0 m−1

X

i=0

(km + i)a(m)

^k

P(X, s

0

, i)

Comme tout converge on inverse :

E (Y, s

₀

) =

m−1

X

i=0

P(X, s

₀

, i)

∞

X

k=0

(km + i)a(m)

^k

La somme int´ erieure est la somme de deux s´ eries classiques en a (g´ eom´ etrique et d´ eriv´ ee de g´ eom´ e- trique) :

∞

X

k=0

(km + i)a(m)

^k

= m

∞

X

k=0

ka(m)

^k

+ i

∞

X

k=0

a(m)

^k

= a(m) ∗ m

(1 − a(m))

²

+ i 1 − a(m) On obtient le r´ esultat en r´ einjectant dans l’expres- sion de E (Y, s

₀

) :

E (Y, s

0

) =

m−1

X

i=0

P (X, s

0

, i) i

1 − a(m) + a(m) ∗ m (1 − a(m))

²

= 1

1 − a(m)

m−1

X

i=0

i ∗ P(X, s

0

, i) + m ∗ a(m)

1 − a(m)

Le r´ esultat est montr´ e pour un seul ´ etat puit s

0

mais la d´ emonstration est analogue en rempla¸cant s

0

par Sol. On v´ erifie notamment que pour m → ∞, E (Y, s

0

) → E (X, s

0

) On retrouve ce qui ´ etait intuiti- vement ´ evident : quand le nombre d’it´ erations avant random restart tend vers l’infini, le comportement de Y devient celui de X (au moins pour l’esp´ erance).

Ce r´ esultat est difficile ` a analyser en l’´ etat car on ne connaˆıt pas la distribution du temps d’absorption.

On peut cependant quitter le domaine rigoureux pour interpr´ eter le r´ esultat avec des approximations asymp- totiquement raisonnables. On peut faire ici deux hy- poth` eses :

– a(m) est la probabilit´ e de ne pas avoir trouv´ e de solution en m it´ erations, donc de rester ` a l’in- t´ erieur de T (ou de la matrice Q) en m it´ era- tions, soit 1/2

ⁿ

||Q

^m

||

1

≈ 1/2

ⁿ

||Q||

^m₁

. On pose γ = ||Q||

1

, et on prend a(m) ≈ 1/2

ⁿ

∗ γ

^m

; – plus d´ elicat est le cas de la somme. On peut

approximer P (X, s

0

, i) par la probabilit´ e de ne pas ˆ etre pass´ e en s

₀

avant i, qui vaut γ

ⁱ⁻¹

, fois la probabilit´ e de passer en s

₀

au temps i, qui vaut 1 − γ. On a alors P

m−1

i=0

i ∗ P(X, s

₀

, i) ≈ 1/2

ⁿ

∗ (1 − γ) P

m−1

i=1

iγ

ⁱ⁻¹

. C’est le d´ ebut d’une s´ erie enti` ere classique.

Les courbes correspondantes sont donn´ ees sur la fi- gure 5 pour γ = 0.99 et n = 20. On observe que le d´ ebut de la courbe (` a gauche), pour des it´ erations de 1 ` a 1000, est assez fortement en dessous de E (X, Sol), ce qui justifie l’int´ erˆ et du random restart mais est ` a prendre avec pr´ ecaution car l’approximation r´ ealis´ ee est plutˆ ot valide asymptotiquement. Plus int´ eressante est la courbe asymptotique, ` a droite, pour des it´ era- tions de 1 ` a 10000 : on voit que pour des m trop grand, le random restart devient vite n´ egligeable. Cela justi- fie la n´ ecessit´ e d’un param´ etrage assez fin de m : ` a le fixer trop grand, on perd vite l’int´ erˆ et du m´ ecanisme de random restart.

5.2 Random restart it´ eratif

On s’int´ eresse maintenant au deuxi` eme mod` ele, dans lequel le random restart consiste ` a effectuer un pas al´ eatoire avec probabilit´ e 1/(m + 1). L’´ etude est identique qu’il s’agisse de GSAT ou WalkSAT d’o` u l’omission des indices dans la suite.

On d´ ecompose comme pr´ ec´ edemment M avec T en premier et Sol en dernier.

M =

Q R

0 I

Soit M

^R

la matrice de transition de la chaˆıne de Markov sur 2

ⁿ

´ etats, ainsi d´ efinie :

0 20 40 60 80 100

200 400 600 800 1000

m

0 20 40 60 80 100

2000 4000 6000 8000 10000

m

Fig. 5 – Evolution d’une approximation de l’expres- sion de l’esp´ erance de Y en fonction de m, le nombre d’it´ erations avant random restart.

– si s ∈ Sol alors la chaˆıne reste en s avec probabi- lit´ e 1

– sinon, la chaˆıne saute sur tous les ´ etats S\Sol avec une probabilit´ e ´ egale.

M

^R

se d´ ecompose ainsi :

M

^R

=

Q

^R

R

^R

0 I

=







1/2

ⁿ

. . . 1/2

ⁿ

. . . .. . .. .

0 I







Soit enfin x ∈ [0, 1], la probabilit´ e d’effectuer un random restart. On consid` ere la chaˆıne de Markov d’ordre 1 dont la matrice de transition est : M

⁰

= x ∗ M + (1 − x) ∗ M

^R

. C’est une chaˆıne absorbante dont les ´ etats absorbants sont l’ensemble Sol. Elle se d´ ecompose en

M

⁰

=

Q

⁰

R

⁰

0 I

avec

Q

⁰

= x ∗ Q + (1 − x) ∗ Q

^R

On cherche ` a calculer l’esp´ erance du temps d’ab- sorption pour la chaˆıne M

⁰

. Soit t le vecteur des es- p´ erances du nombre de sauts avant absorption comme d´ efini plus tˆ ot. t est solution de

t = Q

⁰

∗ t + 1 = (x ∗ Q + (1 − x) ∗ Q

^R

) ∗ t + 1 Or Q

^R

est constante, tous termes ´ egaux ` a 1/2

ⁿ

d’o` u

Q

^R

∗ t =

^t

(1/2

ⁿ

∗ X

1≤i≤2ⁿ−α

t

_i

. . .) = 1/2

ⁿ

||t||

₁

1

car toutes les composantes de t sont positives. On a donc

t = xQt + ((1 − x)/2

ⁿ

||t||

1

+ 1) 1

En utilisant l’in´ egalit´ e triangulaire et la majoration du produit des normes un, on obtient

||t||

1

≤ x||Q||

1

||t||

1

+ (1 − x)/2

ⁿ

||t||

1

||1||

1

+ ||1||

1

Comme ||1||

1

= (2

ⁿ

− α), on en d´ eduit

||t||

1

≤ 2

ⁿ

− α

1 − x||Q||

1

− (1 − x)(2

ⁿ

− α)/2

ⁿ

On obtient ainsi une majoration de l’esp´ erance du temps de calcul de l’algorithme sans random restart, en fonction de l’algorithme avec. C’est une fonction d´ ecroissant tr` es rapidement en x. C’est conforme ` a l’intuition : x = 0 signifie un processus enti` erement al´ eatoire sur S. Pour x = 1 en revanche, la chaˆıne de Markov associ´ ee est seulement celle de l’algorithme sans random restart et l’esp´ erance est faible. La d´ e- croissance de la courbe n’est pas tr` es satisfaisante, car elle signifie qu’il vaut mieux ne pas faire de random restart, du tout. Cependant, il ne s’agit que d’une ma- joration. Une analyse plus pouss´ ee est n´ ecessaire pour conclure, notamment sur la possibilit´ e de cas d’´ egalit´ e, ainsi qu’une v´ erification exp´ erimentale et une compa- raison aux valeurs de la litt´ erature.

6 Conclusion

Cet article pr´ esente des r´ esultats pr´ eliminaires sur l’utilisation d’un mod` ele de Markov pour d´ ecrire le comportement de GSAT et WalkSAT. Le mod` ele ´ etant d’une complexit´ e ´ equivalente au probl` eme de d´ epart, il est inutile d’esp´ erer faire des calculs exacts. Cepen- dant, on montre qu’il permet de donner des encadre- ments ou r´ esultats approch´ es sur ces deux algorithmes.

L’une des majorations est confirm´ ee exp´ erimentale- ment sur de petites instances.

Il ne s’agit encore que de r´ esultats pr´ eliminaires, dont l’application pratique n’est pas imm´ ediate. Plu- sieurs sont encore ` a approfondir. Mais on constate d´ ej` a que le mod` ele permet de donner des informations no- tamment sur le param´ etrage, qui est en g´ en´ eral ´ etu- di´ e statistiquement. C’est un cadre prometteur pour une approche syst´ ematique de l’´ etude du param´ etrage et du comportement probabilistes des algorithmes de recherche locale : ` a terme, on peut envisager d’effec- tuer un param´ etrage en s’appuyant sur ces r´ esultats en moyenne ou bien en majoration.

Remerciements Merci ` a J´ er´ emie Bourdon, LINA, UMR6241, pour ses relectures et son aide math´ ema- tique.

R´ ef´ erences

[1] J. Laurie Snell Charles M. Grinstead. Introduc- tion to Probability : Second Revised Edition, chap- ter 11. 1997.

[2] Philippe Flajolet and Robert Sedgewick.

Analytics combinatorics. preprint disponible sur http ://algo.inria.fr/flajolet/Publications/books.html.

[3] Fred Glover and Sa¨ıd Hanafi. Tabu search and finite convergence. Discrete Appl. Math., 119(1- 2) :3–36, 2002.

[4] Vicente Hernandez, Jose E. Roman, and Vicente Vidal. Slepc : A scalable and flexible toolkit for the solution of eigenvalue problems. ACM Trans.

Math. Softw., 31(3) :351–362, 2005.

[5] Holger H. Hoos. On the run-time behaviour of stochastic local search algorithms for SAT. In Proceedings of the Sixteenth National Conference on Artificial Intelligence (AAAI’99), pages 661–

666, Orlando, Florida, 1999.

[6] Holger H. Hoos and Thomas Stutzle. Local search algorithms for SAT : An empirical evaluation.

Journal of Automated Reasoning, 24(4) :421–481, 2000.

[7] Bhaskar Krishnamachari, Xi Xie, Bart Selman, and Stephen. Wicker. Analysis of random walk and random noise algorithms for satisfiability tes- ting. Proceedings of 6th Intl. Conference on the Principles and Practice of Constraint Program- ming (CP-2000)., 1894, 2000.

[8] Damien Nogu` es. Walksat et chaˆınes de markov.

Rapport de stage, 2007.

[9] Bart Selman, Henry A. Kautz, and Bram Cohen.

Noise strategies for improving local search. In Proceedings of the Twelfth National Conference on Artificial Intelligence (AAAI’94), pages 337–

343, Seattle, 1994.

[10] Bart Selman, Hector J. Levesque, and D. Mit- chell. A new method for solving hard satisfiability problems. In Paul Rosenbloom and Peter Szolo- vits, editors, Proceedings of the Tenth National Conference on Artificial Intelligence, pages 440–

446, Menlo Park, California, 1992. AAAI Press.