Introduction `a l’optimisation stochastique Initiation Recherche EiLCO - ING2

(1)

Introduction ` a l’optimisation stochastique

Initiation Recherche EiLCO - ING2

S´ebastien Verel verel@univ-littoral.fr

http://www-lisic.univ-littoral.fr/~verel

Universit´e du Littoral Cˆote d’Opale Laboratoire LISIC Equipe OSMOSE

(2)

Plan

1 Probl`emes d’optimisation combinatoire

2 Probl`emes d’optimisation num´erique

3 Optimisation

(3)

Recherche Op´ erationnelle, m´ ethode d’optimisation

Origine historique de la recherche op´erationnelle (RO) Expression utilis´ee au Royaume-Unis

Seconde guerre mondiale (1938, Royal Air Force) Optimisation des op´erations militaires

Recueil donn´ees station radar, gestion des avions, strat´egie sous-marins allemand

D´efinition contemporaine de RO

Modélisation mathématique d’un problème,

puis résoudre ce problème à l’aide d’une méthode informatique

(4)

Probl` eme d’optimisation

Probl`eme d’optimisation

Unprobl`eme d’optimisationest un couple (X,f) avec : Espace de recherche : ensemble des solutions possibles,

X

fonction objectif : critère de qualité (ou de non-qualité) f :X →IR

R´esoudre un probl`eme d’optimisation

Trouver la (ou les) meilleure solution selon le crit`ere de qualit´e x^?=argmax_X f

(dans le cas de maximisation)

(5)

R´ esoudre des probl` emes du monde r´ eel

Exemple de problème du monde réel Des produits sont dans un entrepôt.

But : Livrer les produits `a tous les clients.

(6)

R´ esoudre des probl` emes du monde r´ eel

Client Dépot

Probl`eme abstrait

But : Minimiser la distance (le coˆut) parcourue en respectant les contraintes horaires

(7)

R´ esoudre des probl` emes du monde r´ eel

Client Dépot

Probl`eme abstrait

But : Minimiser la distance (le coˆut) parcourue en respectant les contraintes horaires

(8)

Une m´ ethodologie de r´ esolution de probl` eme

Principe

Transformer un problème réel en un problème d’optimisation

Problème

Réel Problème

Optimisation Solution(s)

Modélisation Résolution

Mod´eliser :

Abstraire la r´ealit´e

Simplifier la réalité (nombre de paramètres, “bruit”, défauts,...)

Garder les éléments pertinents par rapport au problème à résoudre

(9)

Une m´ ethodologie de r´ esolution de probl` eme

Principe

Transformer un problème réel en un problème d’optimisation

Problème

Réel Problème

Optimisation Solution(s)

Modélisation Résolution

Concevoir un (bon) mod`ele :

Connaissance experte du domaine

Connaissance des m´ethodes de r´esolution (informatique)

(10)

Introduction Problèmes d’optimisation combinatoire Problèmes d’optimisation numérique Optimisation

Probl` eme d’optimisation

X

bonne approximation, ou une solution ”robuste”, etc.

(11)

Probl` eme d’optimisation

X

Mais, des fois, l’ensemble de toutes les meilleures solution, ou une bonne approximation, ou une solution ”robuste”, etc.

(12)

Contexte

Optimisation boite noire (Black box)

Nous ne pouvons connaitre que{(x₀,f(x0)),(x1,f(x1)), ...}donn´es par un ”oracle”

Aucune information sur la d´efinition de la fonction objectiff n’est soit disponible ou soit n´ecessaire

x −→ −→f(x)

Fonction objectif donnée par un calcul ou une simulation Fonction objectif peut être irrégulière, non différentielle, non continue, etc.

(13)

Typologie des probl` emes d’optimisation

Classification

Optimisation combinatoire : Espace de recherche dont les variables sont discr`etes (cas NP-difficile)

Optimisation num´erique (continue): Espace de recherche dont les variables sont continues

N’entrant pas dans les deux autres cat´egories : combinaison discret/continue, programme, morphologie, topologie, etc.

(14)

D´ etour ou retour : Notion de complexit´ e

cf. cours en annexe : Notion de complexit´e pour comprendre les probl`emes NP-complet, NP-difficile

(15)

Sudoku

Questions :

Calculer le nombre de grilles (solutions) possibles au sudoku.

Calculer le temps de traitement par l’ensemble des ordinateurs sur Terrre de ces solutions `a l’aide d’un algorithme ”it´eratif”.

(16)

Probl` eme SAT

Premier problème NP-difficile (Cook, 1971) n variables booléennes :{x₁,x2, ...,xn} littéral :l =x_i oul = ¯x_i

m clauses (disjonction de litt´eraux) :{C₁,C₂, ...,C_m} k_j litt´eraux par clauseC_j :{l_1,j,l_2,j, ...,l_k_j_,j} :

Cj =Wkj

i=1li,j

Trouver l’affectation des variables telle la conjonction des clauses soit vraie :

V_m

j=1C_j

(cas sp´ecial, k-SAT lorsque kj =k)

(17)

SAT : Applications

V´erification de circuits (model checking), logique, planification, informatique...

cf. solver IBM, etc.

(18)

De SAT au probl` eme d’optimisation Max-SAT

Maximiser le nombre de clausesC_j v´erifi´ees

f(x) = #{C_j : C_j(x) est vraie}

x est une solution de SAT ssi f(x) =m

(19)

SAT : Propri´ et´ es physiques !

r´ef´erence bib

Transition de phase suivant : α= ^m_N = nombre de clauses nombre de variables

Siα < α_c alors forte probabilité qu’une instance aléatoire ait une solution Siαc < αalors faible probabilité qu’une instance aléatoire ait une solution ... analogie avec la transition de phase entre eau et glace autour de 0^◦C.

αc temp. critique

(20)

Coloration de graphe

Graphe :

G = (S,A) avecS ens. des sommets et A⊂S² ens. des arcs

Coloration :

affectation d’une couleur `a chaque noeud

α:S →C avec C ={c₁, . . . ,c_k} Trouver une (k-)coloration telle que :

si (s,t)∈A alorsα(s)6=α(t)

Applications : affection de fréquence en téléphonie mobile, emploi du temps, coloration des cartes...

(21)

Coloration de graphe

Affectation de fr´equences

Exercice

Des émetteurs radio sont disposés dans l’espace géographique.

Pour éviter les interférences, ils ne peuvent diffuser sur la même fréquence si leur distance est inférieure à une constanteD.

Traduire ce probl`eme en probl`eme de coloration de graphe.

(22)

sudoku : coloration de graphe ?

Exercice

Traduire le probl`eme de sudoku en un probl`eme de coloration de graphe.

(23)

Voyageur de commerce (TSP)

Trouver le parcours le plus court passant par toutes les villes.

n : nombre de villes

drs : distance entre les villesr ets.

Exprimer la fonction à optimiser en fonction des paramètres du problème.

(24)

Voyageur de commerce (TSP)

Trouver le parcours le plus court passant par toutes les villes.

n : nombre de villes

drs : distance entre les villesr ets.

Exercice

Exprimer la fonction à optimiser en fonction des paramètres du problème.

(25)

Quadratic Assignment Problem (QAP)

Probl`eme d’affection quadratique

Minimiser le flux total (Exemple d’apr´es Taillard).

(26)

Quadratic Assignment Problem (QAP)

Minimiser le flux total n objets, n emplacements

f_ij : flot entre objectsi et j,

d_rs : distance entre emplacement r ets

Applications : r´epartition de batiments ou de servives, affectation des portes d’a´eroport, placement de modules logiques, claviers...

(27)

Vehicule Routing Problem (VRP)

But : transporter des biens `a des clients

Véhicule à capacité limitée, fenêtre de temps, etc.

Problème : Déterminer pour chaque véhicule leur trajet de manière

à minimiser les coûts (temps, essence, etc.) Application : logistique du dernier kilomètre, etc.

(28)

Job Scheduling Problem

Ensemble de taches J ={j₁,j2,j3, . . . ,jp} temps d’executionp(j_i) R´ealis´es sur m machines M ={M₁, . . . ,Mm}

Applications : ordonnancement, emploi du temps,...

(29)

Optimisation du contrˆ ole du coeur d’une centrale nucl´ eaire

Th`ese en cours de Mathieu Muniglia (CEA) - dont ces slides sont issus avec J.-C. Le Pallec, J.-M. Do, H. Grard, S. David.

Contexte

Forte augmentation de la part des ´energies intermittentes :

´eolien, solaire - 5% en 2013, 30% selon l’ademe en 2030.

Les variations peuvent ˆetre compens´ees par :

une gestion du r´eseau, le stockage ou les autres sources, i.e.le nucl´eairedans le contexte fran¸cais (50% en 2030).

Objectif

Adapter les centrales nucl´eaires `a cette nouvelle configuration, afin qu’elles puissent compenser au mieux les variations

(30)

M´ ethodologie

M´ethodologie

Modéliser un réacteur nucléaire :

mod´elisation multiphysique (neutronique, thermodynamique, thermom´ecanique)

multi-échelle (échelle du coeur au système complet) Simuler le modèle par un calcul :

Définir le schéma de calcul, développer les outils informatiques Optimiser certains paramètres de contrôle

afin de permettre la manoeuvrabilité du réacteur : Algorithme évolutionnaire

(31)

Mod` ele du r´ eacteur (REP 1300MV)

Source : Mathieu Muniglia

(32)

Sch´ ema simplifi´ e d’une centrale

(33)

Chaine de r´ egulation des barres de commande

Modèles et couplage : ”best estimate” puis dégradé pour réduire temps de calcul

(34)

Param` etres de la position des barres de contrˆ ole

Param`etres (13 variables discr`etes)

Recouvrement : nombre de pas entre 2 insertions de barre Programme de vitesse : vitesse nominale (pas/min), bande morte, bande de manœuvre groupe R

Crit`eres `a optimiser

Hétérogénéité du coeur relatif à l’axial offset Critère de sureté relatif à la gaine

(35)

Quelques consid´ erations sur ce travail

Interaction multi-disciplinaire

Définir un modèle et une simulation est difficile : Connaissances expertes nécessaires

Logiquement l’optimisation commence lorsque (X,f) : Mais participation à la modélisation nécéssaire :

comprendre le probl`eme,

conseil dans la modélisation (variable, critères, etc.), expliquer ce que l’on attendre comme résultat, regard critique sur les méthodes, etc.

R´esultats dans les deux domaines (physique nucl´eaire et optimisation) : Publications dans les deux domaines

(36)

Quelques consid´ erations sur ce travail

Int´erˆet du point de vue optimisation stochastique

Problème d’optimisation combinatoire black-box multiobjectif Temps de calcul d’une simulation long et hétérogène :

20 min par simu en moyenne de 15 min `a 35 min

Développer de nouveaux algorithmes distribués : Prise en considération des temps hétérogènes Aucune connaissance sur ce problème (black-box) :

Technique pour r´egler les param`etres des algorithmes

(37)

Probl` eme du sac ` a dos

Exercice

Traduire en un problème d’optimisation le problème qui consiste à remplir un sac à dos avec le plus d’objets de valeur en tenant compte de leur encombrement.

(38)

Exemples de probl` eme d’optimisation num´ erique

La suite est une liste de probl`emes d’optimisation num´erique

(39)

Docking mol´ eculaire

Position relative qui minimise l’´energie ´electrostatique

ADN - prot´eine ou proteine - prot´eine

(cr´edits S. Fiorucci, universit´e de Nice Sophia Antipolis)

(40)

Calibration de mod` ele

Mod´ele cognitif computationnel

stimuli

cognitive data Human

cognitive activity

parameters

stimuli

cognitive

Computational data

Model

(41)

Un mod` ele, ` a quoi ¸ca sert ?...

Pourquoi faire un mod`ele ? Valeur explicative :

D´efinition et utilisation d’un vocabulaire formel pour d´ecrire le comportement cognitif

Approche th´eorique : apport de nouvelles connaissances scientifiques

Valeur pr´edictive :

Utilisation de la simulation d’un mod`ele pour pr´edire le comportement d’un humain

Approche pratique : par exemple en ergonomie

(42)

Estimation de la charge cognitive

Methods :

Self-report measures (subjective) : uni or multi-dimensional scales (SWAT, NASA-TLX,...).

Physiological measures :

EEGs, Heart rate, Electrodermal activity,pupil diameter,...

(43)

Pupil Diameter (Task-evoked Pupillary Responses)

Digit span task

Encoding : increases Recall : decreases

Pupillary response correlates positively with increases in mental processing effort, or workload

(Backs and Walrath, 1992 ; Beatty, 1982 ; Granholm et

al., 1996 ; Just et al., 2003). Kahneman and Beatty (1966)

(44)

Task-evoked Pupillary Responses (TEPR)

Number studies have shown significant relations between pupillary responses and cognitive processes

Short-Term Memory (Kahneman and Beatty, 1966 ; Van Der Meer et al, 2005)

Language (Just and Carpenter, 1992)

Reasoning (Nuthmann and Van Der Meer, 2005)

Memory (Karatekin, Couperus, and Marcus, 2004 ; Van Der Meer, Friedrich, Nuthmann, Stelezl, and Kuchinke, 2005) Perception (Verney, Granholm, and Dionisio, 2001 ; Schlemmer el al, 2005)

...

and information seeking ?

(45)

Etude et m´ ethodologie

Goal : Testing attentional load with dual-task paradigm 2 single tasks and 1 dual task

Vision: Word-Search (WS)

Target-word on a set of 12 words randomly displayed (same length)

Lexical Frequency (low vs high) Fitts’index (low vs high) Audition : Digit-Span (DS) Digit from 0 to n

Digits’ sequence (5 digits vs 9 digits) Phase (encoding vs recall)

Vison + Audition: Mixing WS and DS All previous factors

(46)

M´ ethodologie

Target +

+ Left bouton

3 sec.

Word search Target word

11 sec. (9 digits) +

+

Recall 10 sec. (5 digits) 18 sec. (9 digits) Encoding

Left bouton 3 sec.

7 sec. (5 digits)

Word Search +

+ Left bouton

3 sec.

Recall Encoding

18 sec. (9 digits) 10 sec. (5 digits) 11 sec. (9 digits) 7 sec. (5 digits) Target Target word

Word Search task Digit Span task Dual task

(47)

R´ esultats

(48)

R´ esultats : succession des essais pour un mˆ eme sujet

-1 0 1 2 3 4 5 6

0 5000 10000 15000 20000 25000 30000

diameter

time

-1 -0.5 0 0.5 1 1.5 2 2.5 3 3.5 4

0 5000 10000 15000 20000 25000 30000

diameter

time

(49)

Diam` etres pupillaires pour les 24 sujets : encodage

12 premiers sujets 12 derniers sujets

2.5 3 3.5 4 4.5 5

0 50 100 150 200 250 2.5

3 3.5 4 4.5 5

0 50 100 150 200 250

5 nombres `a m´emoriser

2.5 3 3.5 4 4.5 5

0 50 100 150 200 250

2.5 3 3.5 4 4.5 5

0 50 100 150 200 250

(50)

Diam` etres pupillaires pour les 24 sujets : Rappel

12 premiers sujets 12 derniers sujets

2.5 3 3.5 4 4.5 5

0 50 100 150 200 250 2.6

2.8 3 3.2 3.4 3.6 3.8 4 4.2 4.4 4.6 4.8

0 50 100 150 200 250

2.8 3 3.2 3.4 3.6 3.8 4 4.2 4.4 4.6

0 50 100 150 200 250

2.6 2.8 3 3.2 3.4 3.6 3.8 4 4.2 4.4 4.6

0 50 100 150 200 250

(51)

Mod´ elisation

Questions

Nature de la mod´elisation :

Qu’est-ce qu’un modèle dans notre cas ? Comment définir un comportement moyen ? Exploitation de la modélisation :

Est-ce que la pupille est un marqueur de la charge cognitive pour ces taches ?

Est-ce que les taches sont traitées en parallèle ou en série ?

(52)

Average of the normalized encoding curves

5 digits, low frequency lex., easy fitts

0.1 0.2 0.3 0.4 0.5 0.6 0.7

0 5 10 15 20 25

Diameter

Time

0.1 0.2 0.3 0.4 0.5 0.6 0.7

0 5 10 15 20 25

Diameter

Time

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

0 5 10 15 20 25

Diameter

Time encodage 5 et bf_f

digit word dual

(53)

Average of the normalized encoding curves

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

0 5 10 15 20 25

Diameter

digit word

dual 0.1

0.2 0.3 0.4 0.5 0.6 0.7 0.8

0 5 10 15 20 25

Diameter

digit word dual

5 d., low, easy 9 d., low, easy

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7

0 5 10 15 20 25

Diameter

Time encodage 5 et hf_f

digit word

dual 0.1

0.2 0.3 0.4 0.5 0.6 0.7 0.8

0 5 10 15 20 25

Diameter

Time encodage 9 et hf_f

digit word dual

5 d., high, easy 9 d., high, easy

(54)

Principe g´ en´ eral de la mod´ elisation

Une id´ee de mod´elisation ?

f_WS,f_DS : fonctions construites à partir de l’interpolation linéaire des données expérimentales pour chacune des taches simples

F est d´efinie `a partir de fWS et fDS

(55)

Principe g´ en´ eral de la mod´ elisation

Une id´ee de mod´elisation ?

But : d´eduire des taches simples la tache duale

f_WS,f_DS : fonctions construites à partir de l’interpolation linéaire des données expérimentales pour chacune des taches simples

F est d´efinie `a partir de fWS etfDS

(56)

Troisi` eme tentative

Intuition/Hypoth`ese (...)

2 périodes : avantT accélération de la tacheWS, aprèsT ralentirWS

pas de normalisation de la pond´eration

F(t) =

K₂(α₂f_DM(t) + (1−α₂)f_WS(ω₁T +ω₂(t−T))), if ∀t≥T

ω2= ^T_T^max^−ω¹^T

max−T

(57)

Troisi` eme tentative

Intuition/Hypoth`ese (...)

2 périodes : avantT accélération de la tacheWS, aprèsT ralentirWS

pas de normalisation de la pond´eration

F(t) =

K1(α1f_DM(t) + (1−α1)f_WS(ω1t)) if ∀t <T K₂(α₂f_DM(t) + (1−α₂)f_WS(ω₁T +ω₂(t−T))), if ∀t ≥T

ω2= ^T_T^max^−ω¹^T

max−T

(58)

Recherche des param` etres de la mod´ elisation

6 param`etres `a ajuster...

Principe

Passage d’un probl`eme de calibration de mod`ele

`a un probl`eme d’optimisation.

Minimiser la distance entre les données expérimentales et la réponse du modèle :

D(F,f_dual) =

Tmax

X

t=0

(F(t)−f_dual(t))² (1) M´ethode standart

M´ethode least squares : descente de gradient

(59)

Troisi` eme tentative : r´ esultats !

5 d., low, easy

0.2 0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7

0 5 10 15 20 25

Diameter

dual

fit 0.3

0.35 0.4 0.45 0.5 0.55 0.6 0.65

0 5 10 15 20 25

Diameter

dual fit

Moindres carr´es CMA-ES

(60)

Troisi` eme tentative : r´ esultats !

0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65

0 5 10 15 20 25

Diameter

Time encodage 5 et bf_d

dual

fit 0.2

0.25 0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65

0 5 10 15 20 25

Diameter

Time encodage 9 et bf_d

dual fit

5 d., low, hard 9 d., low, hard

0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7 0.75

0 5 10 15 20 25

Diameter

Time encodage 5 et hf_d

dual

fit 0.25

0.3 0.35 0.4 0.45 0.5 0.55 0.6 0.65 0.7

0 5 10 15 20 25

Diameter

Time encodage 9 et hf_d

dual fit

5 d., high, hard 9 d., high, hard

(61)

Commentaires sur les r´ esultats

Word search is faster for 9 digits than for 5 digits.

5 digits :T ≈6 and 2.5≤ω1≤3.0 9 digits :T ≈4 and 3.5≤ω1≤4.7.

Word search task has the main influence on the pupil diameter.

α1andα2small and≤0.39.

Word search task has more influence on 9 digits thant for 5 digits

α₁orα₂are respectively higher for 9 digits tasks than for 5 digits tasks.

(62)

Conclusions

Conclusion de l’´etude

Word search task has the priority on the digit memory task, Priority for word search task stronger when the digit memory task is more difficult.

We can suppose that the people are first concentrated on word search task to save time for the more difficult task after.

Conclusion de la m´ethodologie

Conception progressive par essai/erreur d’un mod`ele pertinent Travail original de longue haleine

(63)

Probl` eme d’optimisation

X

bonne approximation, ou une solution ”robuste”, etc.

(64)

Probl` eme d’optimisation

X

Mais, des fois, l’ensemble de toutes les meilleures solution, ou une bonne approximation, ou une solution ”robuste”, etc.

(65)

Contexte

Optimisation boite noire (Black box)

Nous ne pouvons connaitre que{(x₀,f(x0)),(x1,f(x1)), ...}donn´es par un ”oracle”

Aucune information sur la d´efinition de la fonction objectiff n’est soit disponible ou soit n´ecessaire

x −→ −→f(x)

Fonction objectif donnée par un calcul ou une simulation Fonction objectif peut être irrégulière, non différentielle, non continue, etc.

(66)

Typologie des probl` emes d’optimisation

Classification

Optimisation combinatoire : Espace de recherche dont les variables sont discr`etes (cas NP-difficile)

Optimisation num´erique (continue): Espace de recherche dont les variables sont continues

N’entrant pas dans les deux autres cat´egories : combinaison discret/continue, programme, morphologie, topologie, etc.

(67)

Quelques d´ efis actuels de recherche en optimisation

Comprendre et concevoir des m´ethodes d’optimisation stochastiques

Combiner les m´ethodes d’optimisation : portfolio, exact/approch´e, etc.

R´eglage automatique des param`etres des algorithmes : off-line, on-line

Algorithmes adapt´es aux variables mixtes : variables discr`etes et continue, autre, etc.

Problèmes de grande dimension Algorithmes parallèles et distribués

Modèle de substitution pour évaluation coûteuse : avec simulateur, avec autre solveur

Probl`emes multi-objectifs, many-objectifs Gestion des contraintes et des incertitudes