1.3 Méthodes de recherche
1.3.3 Recherche locale
sélectionnerv∈dom(X)|countConf licts(P|X=v)est minimal
2
P ←P|X=v
3
retournercountConf licts(P) 4
souvent falsifiées a tendance à exacerber les contraintes les plus difficiles du problème, et à identifier les sous-réseaux difficiles.
Résoudre plusieurs fois de suite le même problème avec une légère modification aléatoire des heu-ristiques peut engendrer d’importantes disparités dans le temps de résolution du problème. C’est le phé-nomène Heavy-Tail [GOMESet al. 2000, HULUBEI& O’SULLIVAN2005]. Un problème relativement facile peut alors mettre beaucoup de temps à être résolu en raison de mauvais choix initiaux. Outre l’uti-lisation d’heuristiques adaptatives commedom/wdeg, l’utilisation des redémarrages permet de limiter fortement ce phénomène. On fixe un critère d’arrêt à MGAC (maxBT). Si le problème n’a pu être résolu aprèsmaxBT backtracks, on recommence avec de nouveaux choix initiaux. Dans le cas dedom/wdeg, le fait que les contraintes n’aient pas le même poids d’un redémarrage à l’autre suffit à modifier les choix initiaux. On fait progresser maxBT géométriquement à chaque redémarrage de telle sorte que l’algorithme reste théoriquement complet.
1.3.3 Recherche locale
La recherche locale a déjà été envisagée pour résoudre les CSP [MINTON et al. 1992, GALINIER & HAO1997, GALINIER & HAO2004], mais la littérature sur le sujet est bien plus maigre que sur la recherche systématique, bien que la recherche locale ait été longuement étudiée en recherche opération-nelle ou même pour résoudre le problème SAT. Contrairement aux algorithmes de recherche systéma-tique comme MGAC, les techniques de recherche locale sont par nature incomplètes : si une solution existe, il n’existe aucune garantie de la trouver en temps fini, et l’absence de solution ne peut être prou-vée. Cependant, sur les instances de très grande taille, la recherche locale reste en pratique la meilleure alternative.
Un algorithme de recherche locale fonctionne sur des instanciations complètes : une valeur est affec-tée à chaque variable, puis l’instanciation est itérativement réparée jusqu’à la découverte d’une solution. Une réparation implique en général le changement d’une valeur affectée à une variable, de telle sorte que le moins de contraintes possibles soient violées [MINTON et al. 1992]. L’instanciation initiale des
variables peut être générée aléatoirement. Cependant, pour que les premières réparations soient plus in-téressantes, on utilise généralement une instanciation gloutonne telle que présentée par l’algorithme 12 : on cherche à minimiser le nombre de conflits dès l’initialisation.countConf licts(P)renvoie le nombre de contraintes falsifiées par des variables instanciées.
La conception d’algorithmes de recherche locale efficaces nécessite la mise au point de structures de données évoluées permettant le développement d’algorithmes incrémentaux puissants, capables de gar-der une trace de la qualité de chaque réparation. On utilise par exemple une structure de donnéesγ(X, v) qui contient à tout moment le nombre conflits qu’amènerait la réparation consistant à affecter la valeur
vàX[GALINIER& HAO1997]. Les algorithmes 13 et 14 décrivent la gestion deγ(check(C)contrôle
siC est satisfaite par l’instanciation actuelle des variablesvars(C)). Comme chaque réparation n’a un impact que sur les contraintes impliquant la variable modifiéeX, il devient possible de sélectionner la ré-paration à effectuer et mettre à jourγenO(Γ(X)kd) ∈O(nk−1kd): c’est la complexité de l’algorithme 14 (l’initialisation deγ décrite par l’algorithme 13 se fait enO(ekd)).
Algorithme 13 : initγ(P =(X,C): CN)
γ(X, v)←0∀X∈X ∀v∈dom(X) 1
pour chaqueC∈C faire
2
pour chaqueX∈vars(C)faire
3
pour chaquev∈dom(X)faire
4
si¬check(C|X=v)alors
5
γ(X, v)←γ(X, v) +wght[C] 6
Algorithme 14 : updateγ(X : Variable,vold: Value)
pour chaqueC∈C |X∈vars(C)faire
1
pour chaqueY ∈vars(C)|X6=Y faire
2
pour chaquevy ∈dom(Y)faire
3
sicheck(C|Y=vy)6=check(C|Y=vy∧X=vold)alors
4 sicheck(C|Y=vy)alors 5 γ(Y,vy)←γ(Y,vy)−wght[C] 6 sinon 7 γ(Y,vy)←γ(Y,vy) +wght[C] 8
Il arrive fréquemment qu’aucune réparation simple ne puisse améliorer l’affectation courante en termes de satisfaction de contraintes. Dans ce cas, un minimum local a été atteint. Le principal défi de la recherche locale consiste à trouver le meilleur moyen de sortir ou d’éviter les minima locaux afin de poursuivre la recherche. Diverses techniques ont été étudiées dans de précédents travaux :
Mouvements aléatoires Avec une probabilité p, une réparation est effectuée aléatoirement au lieu d’être choisie parmi les meilleures réparations possibles [MINTONet al. 1992]. L’algorithme 15, appelé
MCRW (Min-Conflicts with Random Walks), effectue une telle recherche locale. À chaque itération, une variable en conflit est sélectionnée aléatoirement (ligne 3 ; une variable en conflit est une variable telle qu’au moins une contrainte impliquant cette variable est en conflit). Avec une probabilitép, une valeur est alors sélectionné aléatoirement (ligne 5), ou, avec une probabilité1−p(ligne 7), la meilleure valeur possible est sélectionnée. Il arrive très souvent que la meilleure valeur possible était déjà celle qui était sélectionnée. Dans ce cas, il est inutile de mettre à jour les structures de données. Le coût en termes de temps de calcul de ces itérations est négligeable. Dans tous les cas, le choix de la variable à réparer à chaque itération se fait aléatoirement (ligne 3).
Liste Tabu Les réparations précédentes (un couple variable, valeur) sont enregistrées afin d’éviter les réparations pouvant mener à des affectations déjà visitées [GALINIER& HAO1997]. Un nombre limité de réparations (correspondant à la taille de la liste Tabu) est gardé en mémoire, et les plus anciens sont oubliés, de sorte qu’un grand nombre de réparations reste disponible à chaque itération. Le critère
d’as-piration permet de choisir une réparation présente dans la liste Tabu si celle-ci permet d’obtenir une
affectation meilleure que toutes celles rencontrées jusqu’à présent. Cet algorithme semble particulière-ment efficace sur les problèmes d’optimisation de type Max-CSP. L’algorithme 16 effectue une recherche Tabu.
Algorithme 15 : MCRW(P = (X,C): CN,maxIterations: Integer) : Booléen
nbConf licts←initP(P);initγ(P);nbIterations←0 1
tant quenbConf licts >0faire
2
sélectionnerXaléatoirement |Xest en conflit
3
sirandom[0,1]< palors
4
sélectionnerv∈dom(X)aléatoirement
5
sinon
6
sélectionnerv∈dom(X)|γ(X,v)est minimal
7
vold←valeur actuelle deX
8 siv6=voldalors 9 P ←P|X=v 10 nbConf licts←γ(X,v) 11 updateγ(X,vold) 12
sinbIterations++> maxIterationsalors lever Expiration
13
retourner vrai
14
Algorithme 16 : Tabu(P = (X,C): CN,maxIterations: Integer) : Booléen
nbConf licts←initP(P);initγ(P);nbIterations←0 1
initialiserT ABU aléatoirement 2
tant quenbConf licts >0faire
3
sélectionnerXv ∈/ T ABU∨valide le critère d’aspiration |γ(X, v)est minimal
4
vold←valeur courante deX
5
insérer(Xvold)dansT ABUet effacer le plus ancien élément deT ABU
6 P ←P|X=v 7 nbConf licts←γ(X, v) 8 updateγ(X, vold) 9
sinbIterations++> maxIterationsalors lever Expiration
10
retourner vrai
FIG. 1.17 – Sortir d’un minimum local
Ces deux techniques nécessitent la mise au point d’importants paramètres, respectivementpet la taille de la liste Tabu.
Pondération de Contraintes La pondération des contraintes est issue de la Breakout Method proposée par [MORRIS 1993]. Quand un minimum local est rencontré, toutes les contraintes non satisfaites sont pondérées. Cette méthode permet de « lisser » les minima locaux afin de les éliminer efficacement et durablement. La figure 1.17 montre schématiquement le résultat attendu en représentant l’évolution du nombre de conflits à chaque itération.
Les problèmes structurés, particulièrement les problèmes industriels, sont généralement hétérogènes. Ils comportent des sous-réseaux comportant un très grand nombre de solutions et faciles à résoudre, et d’autres parties beaucoup plus difficiles, s’apparentant à un problème aléatoire au seuil. Pour résoudre ces instances, généralement de très grande taille, il convient d’identifier ces sous-réseaux difficiles. En pondérant les contraintes souvent falsifiées (et donc par intuition plus difficiles à satisfaire), elles se-ront exacerbées et l’algorithme cherchera à les satisfaire en priorité [EISENBERG & FALTINGS 2003]. L’algorithme de recherche locale par pondération de contraintes, WMC (Weighted Min-Conflicts), est décrit par l’algorithme 17. La ligne 7 détecte un minimum local, et les lignes 8 à 12 incrémentent le poids des contraintes tout en maintenantγ, en O(ekd)opérations.eest ici en fait borné par le nombre de contraintes en conflit au minimum local : la complexité est plus importante que pour une itération « normale », mais comme seules les contraintes en conflit sont prises en compte, les calculs à effectuer restent limités. Pour les problèmes de décision difficiles, à proximité du seuil, le nombre de variables en conflit à un moment donné est généralement très faible. On peut remarquer que WMC ne nécessite pas de paramètre particulier, si ce n’est le nombre maximal d’itérations avant un redémarrage.
Redémarrages Une limite au nombre d’itérations,maxIterations, est paramétrée, à la manière du paramètremaxF lipde GSAT [SELMAN et al. 1992] (une itération consiste soit à réparer l’affectation
courante ou à pondérer les contraintes dans un minimum local), de sorte que l’algorithme puisse être exécuté plusieurs fois sur des affectations initiales différentes.
Les redémarrages restent très utiles pour éviter que de très mauvais choix initiaux n’orientent la recherche vers de larges zones de l’espace sans solution. Il arrive fréquemment, en particulier sur les problèmes structurés, qu’il faille faire un grand nombre de réparations pour passer d’un minimum local à l’autre, et il peut s’avérer très difficile d’en sortir. Le meilleur moyen reste parfois de « réparer » toutes les variables simultanément tout simplement en reprenant la recherche du début.
Pour mettre en avant l’influence des paramètres sur les algorithmes de recherche locale, nous mon-trons quelques figures obtenues lors du paramétrage des algorithmes implantés dans notre prouveur CSP4J, présenté dans le chapitre 4 de ce document.
Algorithme 17 : WMC(P =(X,C): CN,maxIterations: Entier) : Booléen
nbConf licts←initP(P) 1
initγ(P) 2
nbIterations←0 3
tant quenbConf licts >0faire
4
sélectionnerXv|γ(X,v)est minimal
5
vold←valeur actuelle deX
6
siγ(X,v)≥γ(X,vold)alors
7
pour chaqueC ∈C |Cest en conflit faire
8
wght[C]++ ;nbConf licts++
9
pour chaqueY ∈vars(C)faire
10
pour chaquew∈dom(Y)| ¬check(C|Y=w)faire
11 γ(Y,w)++ 12 sinon 13 P ←P|X=v 14 nbConf licts←γ(X,v) 15 updateγ(P,vold) 16
sinbIterations++> maxIterationsalors
17 leverExpiration 18 retourner vrai 19 0 5 10 15 20 25 10 100 1000 secondes t
FIG. 1.18 – Nombre d’instances RLFAP résolues en moins de 100 secondes par la recherche Tabu en fonction de la taille de la liste Tabu
0 5 10 15 20 25 1000 10000 100000 1e+06 secondes t WMC Tabu MCRW
FIG. 1.19 – Nombre d’instances RLFAP résolues en moins de 100 secondes en fonction du paramètre
maxIterations 100 200 300 400 500 600 700 1000 10000 100000 1e+06 secondes t WMC Tabu MCRW
Tabu en moins de 100 secondes avec notre prouveur sur une machine virtuelle Sun Java 6 fonctionnant sur un processeur AMD 64bits cadencé à 2 GHz, en fonction de la taille de la liste Tabu. Les problèmes testés sont les 25 problèmes satisfiables de la bibliothèque de problèmes RLFAP disponible [LECOUTRE2006]. On observe un « plus haut » pour une taille de liste Tabu égale à 200. Sur des problèmes aléatoires de la classeh2; 50; 23; 262; 0,45i, la taille optimale de la liste Tabu est de 30 éléments. On procède de même pour paramétrer le paramètrepde l’algorithme MCRW, avec un comportement similaire.
Bien que WMC ne prenne pas de paramètre supplémentaire, le paramètremaxIterationsest évi-demment important et l’efficacité de la résolution en dépend fortement. Si la valeur est trop faible, la recherche recommencera à chaque fois juste avant la découverte d’une solution. Si la valeur est trop forte, on risque de perdre beaucoup de temps dans de larges minima locaux. La figure 1.19 montre le nombre d’instances résolues sur les problèmes RLFAP en moins de 100 secondes en fonction du para-mètremaxIterationspour les trois algorithmes (p = 0,4etT abu = 200), et la figure 1.20 donne sur des problèmes aléatoires forcés à être satisfiables de la classeh2; 50; 23; 262; 0,45i (ces problèmes sont au seuil,p= 0,4etT abu= 30). WMC semble plus sensible au paramètremaxIterationsque les deux autres algorithmes, en particulier sur les problèmes aléatoires.
Les algorithmes MCRW et Tabu sont particulièrement adaptés pour donner des solutions au pro-blème Max-CSP. Les algorithmes restent évidemment incomplets et ne peuvent indiquer si une solution falsifiant un certain nombre de contraintes est la solution optimale (c’est à dire qu’il n’existe pas d’autre solution falsifiant moins de contraintes), mais ils peuvent rapidement atteindre des solutions proches ou égales à la solution optimale. WMC fonctionne mal sur les problèmes Max-CSP : bien qu’il puisse trou-ver rapidement des solutions d’assez bonne qualité, il va avoir tendance à éviter des solutions falsifiant un faible nombre de contraintes si celles-ci sont fortement pondérées.