Dual approaches in stochastic programming

(1)

HAL Id: tel-00938751

https://tel.archives-ouvertes.fr/tel-00938751

Submitted on 29 Jan 2014

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de

Dual approaches in stochastic programming

Marc Letournel

To cite this version:

Marc Letournel. Dual approaches in stochastic programming. Other [cs.OH]. Université Paris Sud - Paris XI, 2013. English. �NNT : 2013PA112187�. �tel-00938751�

(2)

UNIVERSITE PARIS-SUD

ÉCOLE DOCTORALE : Laboratoire de Recherche en Informatique.

DISCIPLINE Graphes Combinatoires.

THÈSE DE DOCTORAT

soutenue le 27/09/2013 par

Marc LETOURNEL

APPROCHES DUALES DANS LA RESOLUTION DE PROBLEMES STOCHASTIQUES

Directeur de thèse : Abdel LISSER Professeur, Laboratoire de Recherche en Informatique, Orsay.

Président du jury : Marc BABOULIN, Professeur Université Paris Sud.

Rapporteurs :

Jean-Baptiste HIRIART-URRUTY, Professeur, Université de Toulouse.

Alexei GAIVORONSKI, Professeur, Université de Trondheim (Norvège).

Examinateur :

Patrice PERNY, Professeur Université Paris 6.

(3)

A ma femme, sans qui je ne suis rien, à ma mère, parce qu'elle me manque, à mes enfants, car l'avenir leur appartient.

(4)

Remerciements

Les choix qui gouvernent notre vie sont faits de petits instants, de rencontres im- probables, de décisions simples, qui nous dirigent à un instant donné dans une direction. En revanche, ces orientations deviennent fondamentales, et nous y en- gageons tous nos eorts, parce que des hommes et des femmes nous soutiennent, nous aident, et s'impliquent à nos côtés dans nos entreprises. C'est presque par hasard que j'ai entrepris ce travail de thèse. Lorsque j'ai poussé la porte du LRI, il y a quelques années, mon intention était de suivre quelques cours d'informatique pour remettre à niveau mes connaissances dans ce domaine, après quinze années d'enseignement des mathématiques en classes préparatoires. Mon idée était alors simplement de suivre quelques modules pour rafraîchir mes connaissances en réseau ou en programmation. C'est Daniel Etiemble qui m'a tout naturellement suggéré de m'inscrire complètement au master recherche du LRI, c'est ensuite Emmanuel Waller qui m'a proposé de passer les examens, puisque j'étais inscrit ocielle- ment. Et c'est enn Abdel Lisser qui m'a proposé de continuer l'aventure à l'issue de son cours sur la recherche opérationnelle, tout d'abord par un mémoire sur la programmation semi dénie, puis par une thèse sur les problèmes d'intégralité dans les problèmes stochastiques combinatoires. Evidemment, le professeur Lisser est la première personne à qui j'adresse mes remerciements, il a su accompagner mes eorts tout en s'adaptant à ma situation particulière de thésard de plus de quar- ante ans, exerçant une activité professionnelle à plein temps. Il est certain que ses directives ont été cruciales pour le bon déroulement de cette thèse.

Une de mes motivations pour cette thèse, a été la possibilité qu'elle m'orait de travailler avec d'autres personnes. Le métier d'enseignant, en dehors de phases administratives, reste essentiellement un métier qu'on exerce seul. Au laboratoire de recherche, j'ai pu collaborer, échanger, participer avec d'autres chercheurs sur le coeur de leur activité. Je remercie tous ceux et celles qui m'ont accueilli, donné de leur temps, échangé leur collaboration. Merci à Charles, Pablo, Rafael, Pierre, Stéfanie, Odile, Paul Dorbec, Cheng, et d'autres encore de l'équipe GraphComb.

Je remercie également le professeur Rüdiger, pour les après-midi passés à dessiner des graphes multi-scénarios, ou à rééchir ensemble sur des matrices de 0 et de 1. Je remercie également mes rapporteurs de thèse, les professeurs Hiriart-Urruty et Gaivoronski, pour avoir accepté cette tâche, et m'avoir communiqué leur questions et corrections pendant cette dernière phase de soumission. Je remercie aussi les

(5)

membres du jury, les professeurs Patrice Perny et Marc Baboulin, pour le temps qu'il consacrent à mon travail.

Bien évidemment, j'accorde une place toute particulière à ma famille dans mes remerciements. Tous ceux qui me connaissent savent combien elle compte pour moi. Merci à mon épouse Anne-Catherine, pour tous ces instants où tu partages mes eorts, mes doutes et mes joies. Merci à mes enfants pour supporter un père qui travaille même quand il n'est pas à son travail. J'ai une ultime pensée pour ma mère qui vient de nous quitter à quatre mois de l'échéance, elle qui n'a jamais douté de ma capacité à aller au bout de mes eorts.

(6)

Introduction

Le travail général de cette thèse consiste à étendre les outils analytiques et al- gébriques usuellement employés dans la résolution de problèmes combinatoires al- gorithmiques déterministes à un cadre combinatoire stochastique. Deux cadres distincts sont abordés : les problèmes combinatoires stochastiques discrets et les problèmes stochastiques continus. Le cadre discret est abordé à travers le problème de la forêt couvrante de poids maximal dans une formulation Two-Stage à multi scénarios. La version déterministe très connue de ce problème établit des liens entre la fonction de rang dans un matroïde et la formulation duale via l'algorithme glou- ton. La clé de voûte de la preuve mathématique du cas déterministe réside d'une part dans la fomulation duale du problème et l'absence de saut de dualité pour le problème linéaire, et d'autre part dans une transformation d'Abel appliquée sur la diérence de coût des arêtes. La formulation stochastique discrète du problème de la forêt maximale couvrante est transformée en un problème déterministe équiv- alent, mais du fait de la multiplicité des scénarios, le dual associé est en quelque sorte incomplet. Le travail réalisé ici consiste à comprendre en quelles circonstances la fomulation duale atteint néanmoins un minimum égal au problème primal inté- gral. D'ordinaire, une approche combinatoire classique des problèmes de matroïdes consiste à rechercher des congurations particulières au sein des graphes, comme les circuits, et à explorer d'éventuelles recombinaisons. Le problème classique de l'intersection de deux matroïdes est par exemple résolu par ce type d'approche algorithmique, où la partie analytique est nalement absente. Les preuves combinatoires prennent en compte les éléments de reconguration d'un graphe pondéré en inventoriant une liste de recongurations possibles . Pour donner une interpré- tation prosaïque, si on change d'une manière innitésimale les valeurs de poids des arêtes d'un graphe, il est possible que la forêt couvrante se réorganise complète- ment. Ceci est vu comme un obstacle dans une approche purement combinatoire.

Pourtant, certaines grandeurs analytiques vont varier de manière continue en fonction de ces variations innitésimales, comme la somme des poids des arêtes choisies.

Il apparaît également que les choix de telle ou telle arête est une fonction de son poids, mais également du poids des autres arêtes. Ainsi, il est naturel d'essayer de formuler ces sauts décisionels comme autant de fonctions implicites (je serais tenté d'écrire fonctions implicites les unes des autres si cela n'était par essence même le rôle des fonctions implicites). Après un premier chapitre d'introduction

(11)

des concepts de base, la section 2 décrit la formulation déterministe et la formulation stochastique du problème de la forêt couvrante de poids maximal. Signalons dès à présent que j'ai choisi de répartir les références bibliographiques dans chacun des chapitres séparément, dans la mesure où la lecture des chapitres peut se faire séparément elle aussi. Dans le chapitre 3, la formulation stochastique de la forêt couvrante dans le cas de deux scénarios seulement est abordée avec une preuve de la conservation du caractère intégral du dual. Le chapitre 4 présente le cas de trois scénarios ou plus et donne les situations où le système dual perd son caractère intégral. Le chapitre 5 propose une réduction du problème considéré et aborde un algorithme d'approximation dans le cas d'un dual non intégral. Dans le cas où le dual n'est pas intégral, on peut explorer les forêts couvrantes après relaxation du problème. Une autre diculté surgit liée au fait que le nombre d'inégalités du système est exponentiel. En eet, pour chaque sous ensemble de sommets, une contrainte apparait dans le fait que le nombre d'arêtes internes doit être stricte- ment inférieur au cardinal de l'ensemble de sommets. Le chapitre 6 propose un modèle polynomial de contraintes par rapport au cardinal de l'ensemble de sommets en introduisant une orientation arbitraire des arêtes, des résultats numériques sont présentés dans une mise en oeuvre du modèle. Les problèmes stochastiques continus sont abordés au cours du chapitre 7 dans le cadre du problème de sac à dos avec contrainte stochastique. La formulation est de type chance constraint, et la dualisation par variable lagrangienne est adaptée à une situation où la prob- abilité de respecter la contrainte doit rester proche de 1. Le modèle étudié est celui d'un sac à dos où les objets ont une valeur et un poids déterminés par des distributions normales. Cette situation présente un certain nombre d'avantages calculatoires. En premier lieu, la contrainte étant linéaire, son expression devient une espérance d'une loi normale. Cette formulation permet de s'aranchir de prob- lèmes de convexité, voire de connexité de l'espace admissible des solutions. De plus, la loi normale étant déterminée par sa moyenne et son écart-type, il est possible de géométriser complètement le problème. C'est cette particularité qui est exploitée par Prékopa dans [50] pour armer que le problème est convexe pourp > 1

2, mais c'est également la même particularité qui permet de mettre en oeuvre une résolu- tion par la méthode du second order cone programming. Dans notre approche, nous nous attachons à appliquer des méthodes de gradient directement sur la formulation en espérance de la fonction objectif et de la contrainte. Nous délaissons donc une possible reformulation du problème sous forme géométrique pour détailler les conditions de convergence de la méthode du gradient stochastique. Cette partie est illustrée par des tests numériques de comparaison avec la méthode SOCP sur des instances combinatoires avec méthode de Branch and Bound, et sur des instances relaxées.

The global purpose of this thesis is to study the conditions to extend analytical and algebraical properties commonly observed in the resolution of determin-

(12)

istic combinatorial problems to the corresponding stochastic formulations of these problems. Two distinct situations are treated : discrete combinatorial stochastic problems and continuous stochastic problems. Discrete situation is examined with the Two Stage formulation of the Maximum Weight Covering Forest. The well known corresponding deterministic formulation shows connexion between the rank function of a matroid, the greedy algorithm , and the dual formulation. The key-stone of the mathematical proof in the deterministic case relies on the dual formulation and on an Abel transformation on the summation of the costs of the greedy selected edges. The discrete stochastic formulation of the Maximal Cover- ing Forest is turned into a deterministic equivalent formulation, but, due to the number of scenarios, the associated dual is not complete. The work of this thesis leads to understand in which cases the dual formulation of the primal problem remains integer, and, when it is not the case, how to approximate the primal integer solution. Usually, classical combinatorial approaches aim to nd particular congurations in the graph, as circuits, in order to handle eventual recongurations. The classical problem of intersection of two matroids is solved by this kind of methods, where we can consider that analytical considerations are not taken in account. Combinatorial proofs examine possible reconguration of a weighted graph by listing all combinations of specic edges. In order to give a global consideration, slight modications of the weights of the edges mights change considerably the conguration of the Maximum Weight Covering Forest. This can be seen as an obstacle to handle pure combinatorial proofs. However, some global relevant quantities, like the global weight of the selected edges during the greedy algorithm, have a continuous variation in function of the weights of each edges in the graph.

It appears equally, that an edge is selected or not depending on its own weight, but equally depending on the weight of the other edges too. So it is attracting to try to formulate this decision as an implicit function. After a rst chapter devoted to the introduction of basis concepts, like matroids, rank function, duality, System Totally Dual Integral, the chapter 2 describes the deterministic formulation of the Maximum Weight Covering Forest. I Have chosen to give bibliographical references separately in each chapter, in consideration to the relative main distance between the dierent subjects in the thesis. In chapter 3, we deal with the stochastic formulation of the covering forest in the case of only two scenarios, and we give the proof of the TDIness of the problem. Chapter 4 is devoted to the case of more or equal to three scenarios and give conditions to preserve TDIness. Chapter 5 gives a reduction of this problem and elaborates an approximation algorithm in the case where the system is not TDI. In the case where the dual formulation is not integer, we come back to a direct resolution of the primal problem. But another diculty is that the number of constraints grows exponentially with the number of vertices.

Every subset of vertices is associated to a new constraint : the number of chosen edges connecting these vertices must be strictly smaller than the number of vertices itself. Chapter 6 proposes a polynomial formulation of the constraints by intro- ducing an arbitrary orientation of the edges. Numerical experiments are presented.

(13)

Continuous stochastic problems are presented in chapter 7 in the case of the stochastic Knapsack with chance constraint. Chance constraint and dual La- grangian formulation are adapted in the case where the expected probability of not exceeding the knapsack capacity is close to 1. The model introduced consists in item with costs and rewards following a normal distribution. This situation is comfortable in the sense that in some cases, the convexity and even the connect- edness of the feasible set is not guaranteed for some stochastic process. In case of normal distribution, completely determined by its mean and its standard deviation, the feasible set gains a geometric description that ensures easy computations, with a new formulation of the constraint (SOCP method). In our case, we try to ap- ply direct gradient methods rather than reformulating the problem in geometrical terms. We detail convergence conditions of gradient based methods directly on the initial formulation. This part is illustrated with numerical tests on combinatorial instances and Branch and Bound evaluations on relaxed formulations.

(14)

Part I

Discrete Stochastic modeling

(15)

(16)

Chapter 1 Matroids, sub-modular functions, duality

1.1 Introduction

This chapter introduces the fundamental tools used to modelize the discrete problem of nding a Maximal Weight Covering Forest in a graph. These tools are Matroids, rank function, dual formulation, and System Totally Dual Integral. The purpose of this part is not to present a complete and deep overview of these subjects, but to pick up progressively the dierent aspects which are relevant for the proofs we will give in the dierent parts of our work. Matroid theory is developed in [49]. Matroids have been introduced by Whitney(1935) to study the fundamental properties of dependence that appears commonly in a graph and in a matrix.

The rst chapter is organised as follow : in section 1.2, we introduce several equivalent denitions of matroids, in section 1.3, we introduce the rank function and the notion of submodular function, in section 1.4.1, we present a rst approach of dual formulation for a linear problem, and nally, in section 1.4.3, we introduce the notion of System Totally Dual Integral.

1.2 General denitions

Several equivalent denitions of matroids exist. We use the following approach given in [48]:

Denition 1 Let N = {1, . . . , n} be a nite set, and consider a collection F of subsets. (N,F) is an independence system if

∀F₁∈F,∀F₂⊂N, F₂ ⊂F₁ ⇒F₂ ∈F.

Elements of F are called independent sets, and the remaining subsets are called dependent sets.

(17)

Denition 2 Given an independence system (N,F), a subset F ∈F is said to be a maximal independent set ifF ∪ {j}∈/F for all j /∈F.

Denition 3 A maximal independent set T is maximum if |S| ≤ |T| for all S∈F.

We introduce the notationm(T) ={max

S⊂T |S|:S ∈F}.

Denition 4 M = (N,F) is a matroid if M is an independence system in which for any subset T ⊂ N, every independent set in T that is maximal in T has the same cardinalitym(T).

Some other equivalent denitions can be adopted, using a "switching axiom"

formulation:

Denition 5 Alternative formulation: Let N = {1, . . . , n} be a nite set, and consider a collection F of subsets. (N,F) is a matroid if

• ∅ ∈F

• ∀F₁ ∈F,∀F₂ ⊂N, F2⊂F1 ⇒F2 ∈F

• ∀F₁ ∈F,∀F₂ ∈F,|F₂|<|F₁| ⇒ ∃j∈F₁\F₂ such as j∪F₂ ∈F. Among independent sets, those with maximum cardinality are called bases:

Denition 6 Let M = (N,F) be a matroid, a set B is a base if B ∈ F and

∀j∈N, j∪B /∈F

It is possible to dene matroids from the collection of bases:

Denition 7 LetN be a nite set and B a collection of subsets such that:

• B6=∅

• ∀(B₁, B2)∈B and i∈B1\B₂,∃j∈B2\B₁ such that (B1− {i})∪ {j} ∈B Independent sets are subsets of elements ofB ∈B.

Circuits are subsets with an extra element:

Denition 8 Circuits. LetM be a matroid. A subset C⊂N is a circuit if

• C /∈F

• ∀j∈C, C\j∈F

(18)

Circuit is synonym of cycle for graphic matroids. It is possible to dene matroids from the collection of circuits:

Denition 9 LetN be a nite set and C a collection of subsets such that:

• ∅∈/ C

• ∀(C₁, C₂)∈C², C₁ ⊆C₂ ⇒C₁ =C₂

• ∀(C₁, C2)∈C² and C1 6=C2, ∀i∈C1∩C2,∃C₃ ∈C, C3 ⊂(C1∪C2)\{i}

For the problem of nding a maximal independent covering forest in a graph, these formulations are useful to construct algorithms where the global strategy is based on exchanging the edges one by one. But, according to the approach we lead in this work, considering the rst denition is more adapted. We do not compare the independent sets with the analysis of closed congurations between themselves, but we compare the independent sets by ranking the weight of the lightest edge of the subset. This way is more exible and it is possible to handle simultaneously several subsets with dierent congurations but with a common level of weighted edges.

There exist several kinds of matroids. First examples have been introduced in 1935 by Whitney in matrices when considering the subsets of columns who are linearly independent.

1.2.1 Matric and linear matroids

Matric matroid

For any matrixA∈Mm,n(K), consider the setNof columns ofAnoted{C₁, . . . , Cn}. The familyF of independent subsets consists of subset of columns who are linearly independent. m(T) is the space dimension of the subspace generated by a family T of columns.

Linear matroid

The pending formulation of a matric matroid in terms of vectors ofK^m is given by the independent vectors of a family ofN vectors corresponding to the columns of a matrixA∈Mmn(K).

1.2.2 Graphic matroids

This type of matroids is widely used in this work. Let G = (V, E) be a graph, and F the collection of subsets whose edges contain no cycles. M = (E,F) is a matroid.

(19)

• The independent sets are the forests.

• The circuits are the cycles ofG.

• The bases are the maximal covering forests.

Directed graphs can be used in the same manner: LetG= (V, E)be a digraph, and F the collection of subsets whose edges contain no cycles. M = (E,F) is a matroid.

A global survey of Franck [21] for applications of submodular functions presents properties of directed graphs and associated matroids.

Isomorphism and matroids

Denition 10 Two matroids M = (N,F) and M⁰ = (N⁰,F⁰) are isomorphic if there exists a bijection f that maps independent sets of M to independent sets of M⁰.

Theorem 11 Any graphic matroid is isomorphic to a matric matroid.

Proof. This theorem is given in [49]. Let G = (V, E) be a graph, and for any vertexi∈V, consider the vector

Vi=





 0...

1 0...

0







where1 is on the linei. For any edge (u, v)∈E, build the vectorVuv=Vu−Vv. For any circuitC={u₁u2, u2u3, . . . , u_ku1}in the graph, the corresponding family S_C ={V_u₁_u2, . . . , V_u_k_u₁}is linearly dependent. Moreover for any egde in the circuit, let say(uku1), the familySC\{V_u_k_u₁} is linearly independent.

Conversely, it is much more dicult to associate any matric matroid with a graphic matroid. If we consider a similar reverse construction with any matrixA∈ Mmn(K)of rankr, we try to construct a graph in this way : We call{(C₁, . . . , Cn)}

the columns of A. There exists a subset of columns of cardinalr which is a base, call it B and suppose without restriction that B consists of the r rst columns set of A. For any columns Ci with i > r there exists only one subset of B (and moreover only one linear combination) of elements of B such that Ci belongs to the subspace generated by this subset.

∀i > r,∃!{j_1i, j_2i, . . . , j_ki} ⊂ {1, . . . , r}, C_i∈V ect(C_j_1i, . . . , C_j_ki)

(20)

The indexes {j_1i, j2i, . . . , jki} are considered in an increasing order. Consider the mapφthat associates to a column Ci the following column of a new matrixA⁰:

∀i∈ {1, . . . , r}, C_i7→Vi,i+1 =





 0...

1

−1 0...

0







where1 is on the linei. And

∀i∈ {r+ 1, . . . , n}, C_i 7→V_j_ki_j_1i =





 0...

−1 0...

1 0...

0







where 1 is on the line jki and −1 on the line j1i. Now we associate to A⁰ a graphic matroid when considering a graph ofr+ 1vertices, where the edge between two vertices exist if and only if the corresponding column exist in the matrix A⁰. Unfortunately, this map is not a bijection. Suppose that there exist two dierent columns C and C⁰ that are exactly in the same subspace generated by V ect(C_j_1i, . . . , C_j_ki). These two columns are associated to the same edge.

Yet, it is possible to associate a matric matroid to a graphic matroid with an exponential number of edges, and make a bijection between circuits. We show an example with a matrix A ∈ Mn4(K) whose rank is 2 in gure 1.1. Suppose that any subset of two columns is linearly independent (for instance A = (C₁C₂C₃C₄) is the matrix associated with 4 non collinear vectors in a plan of Kⁿ). Circuits of A are all the subsets of 3 vectors.

The map between the set of columns of A and the subsets of G is the following one: {C₁} → {e₁₁, e₁₂, e₁₃}

{C₂} → {e₂₁, e22, e24} {C₃} → {e₃₁, e₃₃, e₃₄} {C₄} → {e₄₂, e₄₃, e₄₄}

Note that the graph G is not connected. Indeed, the bijection is not directly between the edges of the graph and the columns of the matrix.

(21)

Figure 1.1: graphic matroid associated with A

Indeed, the question of representation of any matroid by a matric matroid has huge developments. First of all, in this short introduction, we just consider matrix with0,1coecients. Considering matrices with coecients in a nite eld modify linear dependence other the columns of a matrix, and open widely the possible matric reprensentation for a matroid. It is well known that any graphic matroid is isomorphic with a matric matroid over any nite eld [49]. Matroids that admit a graphic or matric representation are said to have a compact representation.

1.2.3 Partition matroid

Given m disjoint nite sets E_i for i ∈ {1, . . . , m}, let E =

m

[

i=1

E_i, F ⊂ E is independent if|F ∩E_i| ≤1,∀i∈ {1, . . . , m}. (E,F)is a matroid.

Partition matroids can be used to show that the k-matroid intersection problem is N P Complete with k ≥ 3 [48]: Given k ≥ 3 matroids Mi = (N,Fi) for i ∈ {1, . . . , k} and a weight vector c∈Rⁿ, the problem is

maxS





 X

j∈S

cj :S∈

k

\

i=1

Fi





 .

The intersection problem of3 matroids can be reduced to the search of an Hamil- tonian path in a graph. Consider a directed graph D = (V,A) and the following matroids:

• M1 = (A,F1)whereF1 are the subsets ofA with no cycle.

• M₂ = (A,F2)whereF2 are the subsets ofA where, for each vertexeofV, there is at most only one arc entering one.

• M3 = (A,F3)whereF3 are the subsets ofA where, for each vertexeofV, there is at most only one arc leavinge.

M₁ is a graphic matroid and M₂ and M₃ are partition matroids. Every subset in the intersectionM₁∩M₂∩M₃ is an Hamiltonian path.

(22)

There exist several class of matroids which are not presented here. We focus here on graphic matroids since we study the maximum weight forest problem in a graph. Graphic matroids are said to be binary matroids because they can be represented by a matrix with coecients in the eldKwith two elements {0,1}.

1.3 Rank function

Denition 12 Consider a matroid M = (V,F), the cardinality function m(T) = maxF⊂T {|F|, F ∈F} is the rank function associated to the matroid M.

Denition 13 • A functionf is submodular onV if

∀(S, T)⊂V², f(T ∩S) +f(T∪S)≤f(S) +f(T)

• A function f is nondecreasing on V if

∀(S, T)⊂V², T ⊂S ⇒f(T)≤f(S)

The rank function massociated to a matroid is submodular and nondecreasing.

In the same way that matroids can be dened by dierent approaches (bases, independent sets, cycles,...), a rank function can be the starting point to dene matroids [48]:

Proposition 14 An independence system (V,F) whose cardinality function m is submodular is a matroid.

A more generaly approach can be formulated in this way:

Denition 15 A functionf :P(V)→N such that 1. f(∅) = 0

2. ∀e∈V, f(e) = 1

3. ∀F ∈ P(V),∀e∈V, f(e∪F) =f(F) +k(F, e) where k(F, e)∈ {0,1}

4. ∀F ∈ P(V),∀(e₁, e₂)∈V², f(e₁∪F) =f(e₂∪F) =f(F)⇒f(F∪e₁∪e₂) = f(F).

is called a rank function.

From this starting point, it is possible to dene a matroid in a set by its bases:

subsetsF 6=∅such thatf(F) =f(V) and∀e∈F, f(V\{e})< f(F).

Before ending this introduction on matroids, it is essential to introduce the concept of closure.

(23)

Denition 16 LetM = (V,F)be a matroid, with a rank functionm. The closure of a subset F is cl(F) = {e ∈ V, m(F ∪ {e}) = m(F). The closure of a set F is called equally the span of F.

This denition is central in the rst part of this work. The closure is clearly connected to the notion of cycle presented in denition 8. Moreover, there is another way to dene a matroid, which is not so much used in graphs. This denition was given as the rst step of a former course of mathematics on combinatorial geometry [20] and we will see that this denition useful in our work :

Denition 17 A dependency closure on V is an application cl : P(V) 7→ P(V) which satises:

1. ∀F ⊂V, F ⊂cl(F)

2. ∀(F₁, F₂)⊂V², F₁⊂F₂ ⇒cl(F₁)⊂cl(F₂) 3. ∀F ⊂V, cl(F) =cl(cl(F))

4. ∀F ⊂V,∀(x, y)∈V²,(y∈cl(F ∪ {x}) andy /∈cl(F))⇒x∈cl(F∪ {y}) 5. ∀F ⊂V,∀x∈cl(F),∃Z ⊂F,|Z|nite andx∈cl(Z)

The last axiom is clearly useless in nite sets, but ordinary expresses that the algebraic dependency is over a nite subset.

Then, the couple M = (V, cl) is a matroid. It is easy to dene a base as a subset ofV with minimal cardinality and whose closure is exactlyV.

1.4 Duality, System totally Dual Integral

1.4.1 Duality

In mathematics and specially in graph theory, duality can be traduced in numer- ous ways. Finding a duality formulation to a problem means generally that we transport the problem into another space conguration with an isomorphism, and that the new structure is easier to handle. Consider the following maximization problem : c∈Rⁿ,A∈Mpn(R),x∈Rⁿand b∈(R⁺)^p

ZLP =





 max

n

X

j=1

cjxj

Ax≤b

(1.1)

(24)

We consider the columns of the matrix A as vectors V1, . . . , Vn of R^p. The rst interpretation of 1.4.1 is to attribute a specic weightcj to each vector Vj and to nd the maximum weighted linear combination of {V₁, . . . , V_n} in the part P of the associated half cone bounded by b:

P ={(x₁, . . . , x_n)∈(R⁺)ⁿ\x₁V₁+. . .+x_nV_n≤b}

P is a polyhedron and we outline that a topological argument shows thatZ_LP has always a solution which is reached wheneverA∈Mpn(R⁺)andb∈V ect(V1, . . . , Vn) since P is a nonempty compact subset of Rⁿ (closed and bounded) while

n

X

j=1

c_jx_j is a continuous function of (x1, . . . , xn).

A dual approach leads to considering each line L1, . . . , Lp of the matrix A as a linear form on the space Rⁿ, and the combination

n

X

j=1

c_jx_j as a linear form φ(x₁, . . . , x_n). If we note L_i(x₁, . . . , x_n) =

n

X

j=1

A_ijx_j, and according to the fact thatφ∈V ect(L1, . . . , Lp),ZLP can be interpreted as the maximization of φover (R⁺)ⁿ under the constraints that each linear form L_i is bounded by b_i over the same subpart of the space. The dual approach leads to the dual formulation that we introduce with an example in the next subsection:

1.4.2 Dual formulation

Consider the following problem:

Z_LP =











max 2x1+x2+ 2x3

x1+x2+x3 ≤2 x₂ ≤1 x1+x2 ≤1

(1.2)

The rst approach is to maximize the linear combination of V₁ =



 1 0 1



, V2 =



 1 1 1



 and V3 =



 1 0 0



 bounded by b =



 2 1 1



 according to the fact that the costs of V1 and V3 are 2 while the cost of V2 is only 1. In our example, P ={(x₁, x₂, x₃)∈(R⁺)³\x₁V₁+x₂V₂+x₃V₃ ≤b}

Dual approaches in stochastic programming

Dual approaches in stochastic programming

Remerciements

Contents

Introduction

Part I

Discrete Stochastic modeling

Chapter 1

Matroids, sub-modular functions, duality

1.1 Introduction

1.2 General denitions

1.3 Rank function

1.4 Duality, System totally Dual Integral