M. M. MekhilefMekhilef ECP ECP J anvierJ anvier 20062006 Mounib.Mekhilef @lgi.ecp.f r Mounib.Mekhilef @lgi.ecp.f r
Le pr oblème de la r echer che de l opt imum global
Appr oches par analogies
Appor t s et Limit es de t elles mét hodes
Le pr oblème de l opt imum global
Cas des pr oblèmes discr et s et NP-dif f iciles Techniques de base
Algor it hmes évolut ionnist es Algor it hme du r ecuit simulé
Algor it hme de r echer che t abou Essaim de par t icules
Algor it hme des f our mis
Cas de la fonction de Rosenbrock
Y=a cos(a) a [ -2 ,4 ]
Minimum local
Estimé initial
Le voyageur de commer ce
On demande à un représentant de commerce de passer par n villes sans y passer plus d une fois et ce en minimisant le coût global de ses visites (temps, distance, ou tout autre mesure)
Ce problème est NP-Complet
La complexit é d' un pr oblème est
l' or dr e de gr andeur de la complexit é (dans le cas pir e) du meilleur
algor it hme connu pour le r ésoudr e.
Les classes de pr oblèmes
La classe P: sont des "bons pr oblèmes" dans le sens où le calcul de leur solut ion est f aisable dans un t emps r aisonnable. Ceux sont des pr oblèmes dit s polynomiaux.
La classe E: sont des pr oblèmes dit s exponent iels par nat ur e. Ceux sont les pr oblèmes dont la
complexit é est int r insèquement en au moins kn, où k est une const ant e et n la t aille des données.
De nombr eux pr oblèmes échappent à cet t e classif icat ion. sont dit s de classe NP, non dét er minist e polynomiaux.
Un algor it hme non dét er minist e peut -êt r e vu comme un algor it hme r éalisé par une
machine de Tur ing non dét er minist e.
Un algor it hme dét er minist e consist er ait à essayer syst émat iquement t out es les
La classe NP-Complet est une sous-classe des
pr oblèmes NP. Un pr oblème est NP-Complet quand t ous les pr oblèmes appar t enant à NP lui sont
r éduct ibles.
Si on t r ouve un algor it hme polynomial pour un pr oblème NP-Complet , on t r ouve alor s
aut omat iquement une r ésolut ion polynomiale des t ous les pr oblèmes de classe NP.
Avec ma voit ur e, j e pr opose de r accompagner deux de mes amis Alain et Ber nar d chez eux. J e
commence par Alain puis Ber nar d ou l' inver se
2 dest inat ions | 2 possibilit és (combinaisons)
Le lendemain, aussi génér eux, j e pr opose aussi à Claude
Alain puis Ber nar d puis Claude Alain puis Claude puis Ber nar d Ber nar d puis Alain puis Claude Ber nar d puis Claude puis Alain Claude puis Alain puis Ber nar d Claude puis Ber nar d puis Alain
Soit 3 dest inat ions et 6 possibilit és
Avec 100!!!Le problème devient vite hors de portée de calcul
100 ! = 0,933 10158
Même à la vitesse maximum des ordinateurs d'aujourd'hui
Pr enons 1 nanoseconde pour examiner une combinaison Il faudra 10158 ns pour examiner le t out , soit 10149
secondes
A r aison de 32 millions de secondes par an, soit en gr os,
7 142
Technique de la grille
Avantage: mise en oeuvre facile
Inconvéniant:
Exponentiel
Technique de redémarrage
Avantage: mise en oeuvre facile, critère d arrêt maîtrisé
Inconvéniant: Coûteux
Technique du Simplexe
Enumération
profondeur
Const r uit l' ar bor escence en évaluant a pr ior i les chances de t r ouver la solut ion opt imale dans une br anche par t iculièr e.
I l est nécessair e d' int r oduir e une heurist ique qui per met de dét er miner si une solut ion est plus
avant ageuse qu' une aut r e.
L' évaluat ion empir ique nous donne un par cour s de l' ar br e qui est en moyenne plus r apide qu' un
algor it hme de par cour s exhaust if .
Branch and Bound
Techniques non dét er minist es, non exhaust ives
Mét hodes +/ - int elligent es d explor at ion de l espace de r echer che
Basées sur des analogies
Algor it hme Génét ique
Mécanique évolutionniste
Mécanique biologique
Basée sur 3 opér at eur s:
Sélect ion Cr oisement Mut at ion
Basée sur la r éponse de l individu aux changement s de l envir onnement et or ient ée, par hypot hèse, ver s une meilleur e adapt at ion
On dist ingue 4 dif f ér ences ent r e les AG et les aut r es algor it hmes:
1- Les algor it hmes génét iques ut ilisent un codage des par amèt r es et non les par amèt r es eux-mêmes,
2- Les algor it hmes génét iques n ut ilisent que les valeur s de la f onct ion ét udiée
3- Les algor it hmes génét iques t r availlent sur une populat ion d individus, au lieu d un point unique
4 Ingrédients pour un AG
Nous appelons une séquence (chr omosome, individu) A de longueur l(A) une suit e A={a1, a2, ,al) avec
1 , 0 ,
,
1 l a V
i
iNous appelons f it ness d une séquence t out e valeur posit ive que nous not er ons f (A), où f est t ypiquement appelée f onct ion de f it ness
Les algor it hmes génét iques
nécessit ent que les par amèt r es d un pr oblème soient codés comme une
chaîne f inie d élément s d un alphabet .
Soit à r ésoudr e le pr oblème suivant
x
nx f ( )) max(
Le codage de la variable x impose la définition d un intervalle et:
Si on not e l la longueur de la chaine chr omosomique, il vient :
x
lL
Exemple:
L=5
31 , 0 '
10 ,
10 x
x
On const r uit une populat ion d individus (de f açon aléat oir e)
0 1
0 0
1 1 1 0 0 1
1 1
1 0
0 0 0
0 1
0
30.9 361=192
10011 4
5.5 64=82
01000 3
49.2 576=242
11000 2
14.4 169=132
01101 1
% du t ot al Valeur de
f (x) Chaine
N°
1
0.673
0.492
14,40%
49,20%
5,50%
30,90%
0,144
0,636 0,691 0,055
0,492
0 1
0 0
1
0 0
0 1
0
Soient Les deux individus
sélectionnés
On détermine une position k aléatoire pour effectuer le croisement
0 1 1 0 1 1 1 0 0 0
Select ion + f it ness
Convergence vers le centre du polytope
Besoin d un f act eur d enr ichissement et d explor at ion
Changement aléat oir e
0 1 1 0 1 1 1 0 0 0
0 1 1 0 0 1 1 0 0 1
1. Soit le cas d une f onct ion convexe 2. Soit le cas f (x)=x.cos(x)
3. Soit le cas de la f onct ion de Rosenbr ock
La chaine chr omosomique est un assemblage de micr o-chaines
0 1 1 0 1 0 1 1 0 1
0 1 1 0 1 0 1 1 0 1
x1 x2
Le cr oisement se f ait par composant e
0 1 1 0 1 0 1 1 0 1
0 1 1 0 1 0 1 1 0 1
x1 x2
Ou globalement
0 1 1 0 1 0 1 1 0 1
0 1 1 0 1 0 1 1 0 1
x1 x2
I llust r at ion
Rosenbr ock
Gr iewank_5_sqr t _2
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Sans per dr e de génér alit és, considér ons que les chaines sont const r uit es sur un alphabet V={0,1}
V=0111000 peut êt r e r epr ésent ée symboliquement par
A=a1,a2,a3,a4,a5,a6,a7
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Considér ons une populat ion de chaines individuelles
Aj =1,2, n cont enues dans une populat ion A(t ) à l inst ant t
Soit l alphabet {0,1,# }
On appelle schéma H une chaine sur cet alphabet
Exemple: H = # 11# 0# #
La chaine A=0111000 est un exemple de ce schéma
Sur une chaine de longueur l il ya 3l schémas
Si on admet qu un schéma code une idée, un phénot ype
Gr ande quant it é d inf or mat ions
Tous les schémas ne sont pas ident iques.
0# # # # # # est plus lar ge que 10# 11# 0
Tous les schémas ne sont pas ident iques.
# 01# # # # pr end moins de longueur que le schéma 1# # # # 0#
On déf init l or dr e d un schéma O(H) par le nombr e de posit ions f ixées.
Exemple O(1# 0# # # 1)=3
On déf init la longueur (H) d un
schéma H par la dist ance ent r e le pr emier bit f ixé et le der nier
Exemple O(011# 1# # )=7-3=4
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Supposons qu à l inst ant t , il exist e m exemplair es d un schéma H cont enus dans une populat ion
A(t ).m=m(H,t )
Pendant la reproduction, une chaine Ai est copiée en fonction de la valeur qu elle donne à la fonction objectif c-a-d avec la probabilité:
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
A la génér at ion (t +1) on obt ient m(H,t +1) nombr e de schémas r epr ésent at if s du schéma H à
l inst ant t +1
n
j
f j
H n f
t H m t
H m
1
) . (
).
, ( )
1 ,
(
Où f(H) est la moyenne des valeurs de la fonction objectif pour les individus r épondant au schéma H
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Si on admet que
n
i
fi
f
1
On obt ient f
H t f
H m
t H
m ( )
) , (
) 1 ,
(
Un schéma donné cr oît avec le quot ient de
Ce phénomène est valable pour t ous les schémas.
L ef f et de la r epr oduct ion sur les schémas est qualit at ivement clair : en
dessous de la moyenne le schéma dispar aît et au dessus il cr oît .
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Supposons qu un schéma se pr ésent e au dessus de la moyenne avec valeur (c une
const ant e)
f c
) , ( . 1
) , ( )
1 ,
( c m H t
f f c t f
H m t
H m
Si on fait commencer le processus d évolution à t=0, et en supposant une valeur de c stationnaire, on obtient
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Cest une pr ogr ession géomét r ique
La r epr oduct ion a une inf luence exponent ielle sur la cr oissance d un schéma
c t
H m
t H
m( , ) ( ,0).(1 )
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Le cr oisement est un pr ocessus st r uct ur é, aléat oir e, d échange d inf or mat ions
Pour voir quel schéma est af f ect é par le cr oisement , pr enons un exemple
0 0
0
0 1 1 1
0
1 # # # #
# A=
H1=
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
0 0
0
0 1 1 1
0
1 # #
#
#
#
0
1 # # # #
# A=
H1=
H2=
On peut remarquer deux choses
Le schéma H1 est détruit car les deux éléments fixes vont être séparés
Le schéma H2 est conservé car les deux éléments fixes vont être copiés dans la même
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
1 ) ( 1 l
pd H
Si le choix du site de croisement se fait aléatoirement avec une distribution uniforme
Le schéma H1 est détruit avec la probabilité:
Et la probabilité de survie du schéma:
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
1 ) 1 (
l p H
ps c
Si le cr oisement se f ait avec une pr obabilit é pc, la pr obabilit é de sur vie devient :
1 ) 1 (
) ). (
, ( )
1 ,
( l
p H f
H t f
H m t
H
m c
L effet combiné de la reproduction et du croisement sera alors:
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Pour qu un schéma survie, il faut que l ensemble de ses
composantes fixes qui sont au nombr e de O(H) survivent.
Si on appelle pm la probabilité de mutation d un gène, alors
La probabilité de survie d un gène est égale à 1-pm
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
Sachant que la mutation est statistiquement indépendante, la probabilité de survie est donc à mult iplier O(H) f ois par elle- même.
La probabilité de survie d un schéma devient:
m
c O H p
l p H f
H t f
H m t
H
m ( ).
1 ) 1 (
) ). (
, ( )
1 , (
)
1 pm O(H
Pour de petites valeurs pm<<1
Q ui doit vivr e et qui doit mour ir ? Le t héor ème f ondament al des AG
On appelle cet t e r elat ion: Théor ème des schémas ou encor e Théor ème
Fondament al des Algor it hmes Génét iques
m
c O H p
l p H f
H t f
H m t
H
m ( ).
1 ) 1 (
) ). (
, ( )
1 ,
(
0 0
0
0 1 1 1 56
0 0
0
1 1 1 1 120
Changement d un bit Changement d ordre de grandeur
Une solution le codage GRAY
On passe d'un nombre au suivant en changeant un bit:
le dernier si le nombre de " 1 " est pair celui à gauche du " 1 " le plus à droite, sinon
Dans cer t ains cas (pr oblèmes de gr ande t aille, pr écision r equise élevée)
Chaine chr omosomique longue Espace de r echer che t r ès gr and Conver gence lent e
Le cr oisement peut génér er des solut ions en dehor s de l espace de r echer che
La solut ion est de considér er les valeur s r éelles
On pr éser ve le sens physique du pr oblème
On diminue souvent le t emps de calcul On amélior e la pr écision
Opér at eur s de cr oisement
On génèr e un nombr e aléat oir e r (dist r ibut ion unif or me) sur l ensemble {1,2,3}
Opér at eur s de cr oisement
Combinaison ar it hmét ique, on génèr e un nombr e aléat oir e
1 , 0
Opér at eur s de cr oisement
Cr oisement heur ist ique
) ( )
(X f Y
f
Si
La mut at ion r est e un changement aléat oir e d une composant e en un aut r e point pr is de f açon aléat oir e dans l int er valle associé.
On peut également opér er un déplacement suivant une loi (Gaussienne) à par t ir de la posit ion en cour s
