Approche à base d'agents pour l'ingénierie et le contrôle de micro-réseaux

HAL Id: tel-00982342

https://tel.archives-ouvertes.fr/tel-00982342

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

de micro-réseaux

Gillian Basso

To cite this version:

Gillian Basso. Approche à base d’agents pour l’ingénierie et le contrôle de micro-réseaux. Ordina-teur et société [cs.CY]. Université de Technologie de Belfort-Montbeliard, 2013. Français. �NNT : 2013BELF0221�. �tel-00982342�

é c o l e d o c t o r a l e _{s c i e n c e s p o u r l ’ i n g é n i e u r e t m i c r o t e c h n i q u e s}

U N I V E R S I T É D E T E C H N O L O G I E B E L F O R T - M O N T B É L I A R D

Approche `a base d’agents pour

l’ing ´enierie et le contr ˆole de

micror ´eseaux

é c o l e d o c t o r a l e _{s c i e n c e s p o u r l ’ i n g é n i e u r e t m i c r o t e c h n i q u e s}

U N I V E R S I T É D E T E C H N O L O G I E B E L F O R T - M O N T B É L I A R D

TH `

ESE pr ´esent ´ee par

G

ILLIAN

B

ASSO

pour obtenir le

Grade de Docteur de

l’Universit ´e de Technologie de Belfort-Montb ´eliard

Sp ´ecialit ´e :Informatique

Approche `a base d’agents pour l’ing ´enierie

et le contr ˆole de micror ´eseaux

Soutenue publiquement le 09 d ´ecembre 2013 devant le Jury compos ´e de :

ABDERRAFIAAˆ KOUKAM Pr ´esident Professeur des Universit ´es, UTBM

PIERRECOLLET Rapporteur Professeur des Universit ´es, Universit ´e

de Strasbourg

CYRIL FONLUPT Rapporteur Professeur des Universit ´es, Universit ´e

du Littoral C ˆote d’Opale

LHASSANE IDOUMGHAR Examinateur Maˆıtre de Conf ´erences-HDR, UHA

SEBASTIANRODRIGUEZ Examinateur Professeur des Universit ´es,

Universidad Tecnol ´ogica Nacional

VINCENTHILAIRE Directeur de Th `ese Professeur des Universit ´es, UTBM

FABRICELAURI Co-Directeur de Th `ese Maˆıtre de Conf ´erences, UTBM

R

EMERCIEMENTS

Je tiens tout d’abord `a remercier Abderrafi ˆaa Koukam pour m’avoir fait l’honneur de pr ´esider mon jury de th `ese.

Je remercie ´egalement Pierre Collet et Cyril Fonlupt pour avoir accept ´e de rappor-ter sur ce travail, les remarques que vous m’avez faites m’ont permis d’am ´eliorer significativement ce document.

Je remercie aussi Lhassane Idoumghar et Sebastian Rodriguez pour avoir ac-cept ´e de faire partie de mon jury.

Je ne peux ´egalement que remercier vivement Vincent Hilaire et Fabrice Lauri, mes directeurs de th `ese, sans qui ces travaux n’auraient simplement pas pu se faire. Pour tout le temps que vous m’avez consacr ´e, pour l’encadrement, la re-lecture, les r ´eunions mais aussi pour les conversations scientifiques, ou non, que nous avons eues et qui m’ont ´et ´e d’une grande aide durant ces 3 ann ´ees, je vous dis un grand merci. J’esp `ere que mon travail a pu r ´epondre `a vos attentes. Mes coll `egues de bureau avec qui j’ai pass ´e des moments tr `es sympathiques, Achraf, Jonathan (Krishna) et Li Shi, Messieurs les docteurs, merci `a vous. Je tiens ´egalement `a remercier Michael Schumacher et son ´equipe pour m’avoir accueilli au sein de son laboratoire, ces 5 semaines furent tr `es agr ´eables d’un point de vue personnel et m’ont beaucoup appris d’un point de vue professionnel. Il est ´evident qu’un travail lors d’un doctorat est avant tout un travail d’ ´equipe, et pour cela je veux dire un grand merci `a St ´ephane Galland et Nicolas Gaud pour leurs aides inestimables et nombreuses durant le d ´eveloppement de mes travaux, ainsi qu’ `a Arnaud Gaillard, Damien Paire et Robin Roche pour leur expertise c ˆot ´e ´energie, mais ´egalement `a Abdeljalil Abbas-Turki, Florian B ´ehe, C ´edric Boittin, Jocelyn Buisson, Cindy Cappelle, Jean-Michel Contet, Baudouin Dafflon, Philippe Descamps, Madeleine El Zaher, Franck Gechter, Ariane Glatigny, Pablo Gruer, Olivier Lamotte, Alexandre Lombard, Julian Murgia, Florent Perronnet, Yassine Ruichek et Fr ´ed ´eric Zann avec qui j’ai pu avoir de nombreuses conversations, dont quelques unes, scientifiques.

Merci aux personnes avec qui j’ai pu collaborer dans le cadre scientifique ou as-sociatif durant ces 3 ann ´ees. Je pense notamment aux activit ´es faites par Doceo, `a l’ ´ev ´enement Ing ´eDoc, et aux diff ´erents conseils qui m’ont permis d’avoir une vision diff ´erente de la recherche.

Un fancy merci `a Charly Legros, nos conversations passionnantes, tes musiques extraordinaires et tes ”houete” de couloir m’ont vraiment offert des moments in-oubliables.

Je voudrais aussi dire un grand merci Madame Ricord pour sa pr ´esence d ´es que j’avais besoin d’elle, mais aussi quand ce n’ ´etait pas le cas.

Enfin, je veux absolument remercier mes amis qui ont toujours trouv ´e du temps pour organiser quelque chose, ou simplement passer me voir, pour me changer les id ´ees. Je ne peux nommer tout le monde mais je tiens `a citer ceux avec qui j’ai pu passer le plus de temps : 2tr `efle, 6pour5, Asable, Bido, Cash, Chachou, Chulie, Dameur, Detapi, Dyna, Efan, ´Emilie, Foif, Ki ?, Luidir, Marjo, Nyst, Onier, R ´e-√, et tous les gens qui se reconnaˆıtront dans ces termes : ”Merci !” et pour certains je rajouterais ”Trisous !”

Je voudrais ´evidemment remercier toute ma famille, mon fr `ere et sa famille grandissante, ma m `ere, mon p `ere, oncles, tantes, cousins, cousines et grands-parents, qui m’ont toujours support ´e durant mes longues ann ´ees d’ ´etudes. Je terminerai par remercier toutes les personnes qui ont ´et ´e aupr `es de moi et m’ont soutenu durant mes ann ´ees d’ ´etudes, ce document est l’aboutissement de toutes ces ann ´ees et bien que vous ne soyez pas nomm ´es directement dans ce document, j’ai bien ´evidemment une pens ´ee pour vous.

S

OMMAIRE

I

Contexte

1

1 Introduction 3

1.1 Contexte g ´en ´eral . . . 3

1.2 Objectifs de ces travaux . . . 5

1.2.1 Cadre de comparaison des approches pour les smartgrids 6 1.2.2 Approche m ´ethodologique pour le contr ˆole de smartgrids . 6 1.2.3 Mod `ele de strat ´egie de contr ˆole . . . 7

1.2.4 Simulateur de smartgrids . . . 7

1.3 Plan de la th `ese . . . 7

2 Pr ´esentation et D ´efinitions 9 2.1 Introduction . . . 9

2.2 Les r ´eseaux ´electriques . . . 9

2.2.1 Les r ´eseaux ´electriques actuels . . . 9

2.2.2 Les futurs r ´eseaux ´electriques intelligents . . . 11

2.3 Les microgrids . . . 14

2.4 Les smartgrids aujourd’hui . . . 15

2.5 Les approches multi-agents . . . 17

2.6 Les agents apprenants . . . 19

2.6.1 Apprentissage par renforcement mono-agent . . . 20

2.6.2 Apprentissage par renforcement multi-agents . . . 21

2.7 Discussions . . . 22

3 Un cadre pour la d ´efinition et l’ ´evaluation des approches pour smart-grids 23 3.1 Introduction . . . 23

3.2 La d ´efinition pour l’ ´evaluation et le positionnement . . . 24

3.2.1 La dimension structurelle . . . 24 vii

3.2.2 Les familles de probl `emes . . . 25

3.3 Cadre d’ ´evaluation . . . 27

3.3.1 L’approche environnementale . . . 27

3.3.2 Le crit `ere ´economique . . . 28

3.3.3 La qualit ´e de service . . . 29

3.3.4 L’int ´egration de l’humain . . . 30

3.4 R ´ecapitulatif . . . 31 3.5 Evaluation . . . .´ 31 3.5.1 GridAgentTM _{. . . . 32} 3.5.2 HOMEBOTS . . . 32 3.5.3 IDAPS . . . 35 3.5.4 IDEAS PROJECT . . . 35 3.5.5 PowerMatcher . . . 37 3.6 Conclusion . . . 41

II

Mod ´elisation et Conception

43

4.2 Aperc¸u de l’approche . . . 46

4.2.1 Mod `ele influence/r ´eaction . . . 46

4.2.2 Les automates combinatoires . . . 47

4.3 ASPECS . . . 48

4.3.1 Les concepts . . . 48

4.3.2 Les phases . . . 49

4.3.3 Les activit ´es . . . 50

4.3.3.1 Description de l’ontologie de domaine . . . 50

4.3.3.2 Identification des organisations . . . 50

4.3.3.3 Identification des r ˆoles et des interactions . . . 52

4.3.3.4 Description de sc ´enarios . . . 52

4.3.3.5 Plan des r ˆoles . . . 52

4.3.3.6 Identification des capacit ´es . . . 53

SOMMAIRE ix

4.4.1 Conceptualisation . . . 54

4.4.2 Identification des organisations . . . 56

4.4.3 Identification des r ˆoles et des interactions . . . 57

4.4.4 Sc ´enarios . . . 58

4.4.5 Identification de capacit ´es . . . 58

4.5 Conclusion . . . 59

5 Un mod `ele de gestion offre-demande dans un microgrid 61 5.1 Introduction . . . 61

5.2 Pr ´esentation des probl `emes de gestion d’un microgrid . . . 62

5.2.1 Ontologie du probl `eme de durabilit ´e dans un microgrid . . . 64

5.2.2 Mise en ´evidence des boucles de r ´etroaction . . . 66

5.2.3 Fr ´equences de d ´ecision . . . 67

5.3 Agentification des boucles de r ´etroaction . . . 67

5.3.1 Hypoth `eses de travail et notations . . . 67

5.3.2 Boucle offre-demande . . . 69

5.3.2.1 Syst `eme de gestion de la production . . . 69

5.3.2.2 Syst `eme de gestion de la consommation . . . 70

5.3.3 Boucle de stabilit ´e . . . 73

5.3.3.1 Processus de d ´ecision pour la stabilit ´e dans un microgrid . . . 74

5.4 R ´esultats exp ´erimentaux . . . 80

5.5 Conclusion . . . 84

III

Impl ´ementation, Exp ´erimentation et R ´esultats

89

6.2 Les simulateurs existants . . . 92

6.3 Les grands principes du simulateur . . . 93

6.3.1 Le mod `ele influence/r ´eaction . . . 93

6.3.2 Agentification des smart grids . . . 94

6.3.3 Le mod `ele holonique . . . 96

6.4.1 Ontologie de domaine . . . 97

6.4.2 Identification des organisations . . . 100

6.4.2.1 Identification des r ˆoles et des interactions . . . 101

6.4.2.2 La gestion du temps dans l’organisation . . . 102

6.4.2.3 Int ´egration de l’organisation microgrid . . . 104

6.5 Exp ´erimentations et premiers r ´esultats . . . 106

6.5.1 Sc ´enario . . . 106

6.5.2 R ´esultats . . . 107

6.6 Conclusion . . . 107

7 Conclusion 111 7.1 Bilan des travaux . . . 111

7.2 Perspectives et travaux futurs . . . 113

7.2.1 Vers un contr ˆole multi-niveaux de r ´eseaux ´electriques . . . 113

I

C

ONTEXTE

1

I

NTRODUCTION

1.1/

C

ONTEXTE G

EN

´

ERAL

´

La gestion des r ´eseaux d’ ´electricit ´e est un d ´efi majeur du 21e si `ecle. En effet, plusieurs objectifs, de mani `ere concurrente, induisent un bouleversement. Le pre-mier objectif est li ´e aux enjeux internationaux en mati `ere d’ ´economies d’ ´energies qui sont explicitement chiffr ´es aux niveaux franc¸ais et europ ´een :

– l’atteinte des objectifs de r ´eduction d’ ´emissions anthropiques de gaz `a effet de serre aux horizons 2020 (r ´eduction de 20 %) et 2050 (facteur 4), notamment au travers des programmes d’efficacit ´e ´energ ´etique ;

– `a minima, le respect des objectifs europ ´eens en mati `ere d’int ´egration des ´energies renouvelables (23 % de la consommation finale `a l’horizon 2020) et d’am ´elioration de l’efficacit ´e ´energ ´etique aux horizons 2020 et au-del `a.

Le deuxi `eme objectif, li ´e `a la qualit ´e de service, est le maintien d’un niveau ´elev ´e de qualit ´e de fourniture d’ ´electricit ´e et de s ´ecurit ´e du syst `eme ´electrique ( ´equilibre offre – demande), notamment dans des objectifs de comp ´etitivit ´e pour les sec-teurs ´electro-intensifs et de service public pour les usagers individuels.

Ce d ´efi est complexe pour deux raisons. D’une part `a cause de la n ´ecessit ´e de b ˆatir sur un existant, inadapt ´e pour une gestion efficace, en mati `ere d’installa-tions de production d’ ´electricit ´e et d’ ´equipement de consommation. D’autre part, `a cause de la transition vers de nouveaux dispositifs pour la gestion de l’ ´electricit ´e, qui peuvent n ´ecessiter des investissements lourds.

Le troisi `eme objectif est la prise en compte des nouveaux usages et usagers. Des exemples de nouveaux usages sont l’accroissement des besoins ´energ ´etiques, l’int ´egration des v ´ehicules ´electriques et le besoin de modernisation du r ´eseau ´electrique, actuellement fortement centralis ´e. Ce dernier ´el ´ement constitue un

des objectifs indispensables pour l’int ´egration des EnR ( ´Energies Renouvelables)

naturellement distribu ´ees dont l’implantation n’est pas sans poser un certain nombre d’obstacles, autres que purement technologiques.

Parmi ces nouvelles sources de production (EnR), on peut citer les panneaux photovolta¨ıques ou les ´eoliennes. Ces nouvelles sources sont les plus connues et les plus d ´eploy ´ees, mais il existe aussi d’autres sources d’ ´energie renouve-lables comme l’ ´energie hydraulique, d ´ej `a fortement utilis ´ee en tant que centrales

hydro ´electriques. D’autant plus que de nouvelles utilisations apparaissent comme les centrales mar ´emotrices utilisant l’ ´energie des mar ´ees, les hydroliennes utili-sant les courants marins ou encore les centrales houlomotrices utiliutili-sant l’ ´energie des vagues. De plus, la g ´eothermie, l’ ´energie calorifique extraite de la Terre, est ´egalement un nouveau syst `eme de production d’ ´energie ´electrique en plein d ´eveloppement, bien que principalement utilis ´ee pour le chauffage des b ˆatiments. Enfin, l’hydrog `ene est une nouvelle source, en terme d’utilisation, pouvant ap-porter une quantit ´e importante d’ ´energie. Ces nouveaux g ´en ´erateurs d’ ´energie sont `a la base de la transition ´energ ´etique permettant de diminuer la part des ´energies fossiles (ou plus g ´en ´eralement des ´energies non renouvelables) dans la production d’ ´energie, en int ´egrant un grand nombre de productions d’ ´energies diff ´erentes. Dans [Ramchurn et al., 2011c], les auteurs d ´etaillent les probl `emes soulign ´es par les ´evolutions possibles des r ´eseaux ´electriques, tels que la ges-tion de la demande (”demand-side managment”), l’int ´egrages-tion des v ´ehicules ´electriques ou hybrides ou encore les nouveaux types (et comportements) d’utili-sateurs du r ´eseau tels les ”prosumers ”, des consommateurs ayant leurs propres g ´en ´erateurs d’ ´energie.

La France a sp ´ecifiquement pour objectif de diminuer la part du

nucl ´eaire dans la production d’ ´electricit ´e de notre pays de 75% `a

50% en 2025 tout en r ´eduisant les ´emissions de gaz `a effet de serre [g ´en ´eral du d ´ebat national sur la transition ´energ ´etique, 2013]. Au niveau eu-rop ´een, le parlement a vot ´e une directive sur la performance ´energ ´etique des b ˆatiments. Les b ˆatiments construits `a partir de 2019 se devront de produire leur propre ´energie [parlement europ ´een, 2009].

Les r ´eseaux ´electriques intelligents (”smart grid ”) sont une des solutions ´emergentes `a ces probl `emes. Un smart grid n’est pas seulement un r ´eseau ´electrique int ´egrant les nouveaux g ´en ´erateurs d’ ´energie centralis ´es ou distribu ´es. En ajoutant une communication bidirectionnelle et de nouvelles capacit ´es en mati `ere de technologies de l’information et de la communication, ceux-ci posent les premi `eres briques pour un syst `eme de gestion intelligente de l’ ´energie. Ce syst `eme offre de nouvelles perceptives que ce soit dans le domaine de la pro-duction comme celui de la consommation d’ ´energie.

Tout comme les r ´eseaux caract ´erisant l’environnement urbain (r ´eseaux routiers, r ´eseaux d’assainissement, r ´eseaux de chaleur, etc.), un r ´eseau ´electrique peut ˆetre vu comme un syst `eme complexe. L’analyse et le contr ˆole d’un tel syst `eme se r ´ev `elent extr ˆemement difficiles. D ´eployer une strat ´egie de contr ˆole globale sur le r ´eseau ´electrique actuel s’av `ere ˆetre un v ´eritable d ´efi. Une solution serait de d ´ecomposer le r ´eseau en sous-r ´eseaux interconnect ´es, les micro-r ´eseaux

(”mi-crogrids ”) [Lasseter and Paigi, 2004] comme c’est le cas pour d’autres r ´eseaux1_.

Dans le cas de r ´eseaux non connect ´es, leurs strat ´egies de contr ˆole se doivent d’int ´egrer la qualit ´e de l’ ´energie, c’est- `a-dire d’assurer la stabilit ´e de celui-ci pour

´eviter les pannes sur le r ´eseau, tout en g ´erant de mani `ere optimale l’ ´energie.

1. En effet, les feux tricolores ou les r ´eseaux d’assainissement sont, par exemple, g ´er ´es par villes ou par communaut ´es d’agglom ´erations

1.2. OBJECTIFS DE CES TRAVAUX 5

Par d ´efinition, un microgrid est un r ´eseau moins complexe que le r ´eseau ´electrique global, mais ce r ´eseau reste un syst `eme complexe comprenant de nombreux p ´eriph ´eriques qui peuvent ˆetre producteurs ou consommateurs d’ ´energie. De plus, un microgrid est un syst `eme dit ouvert qui poss `ede sa propre dynamique en terme de comportement et int ´egration des entit ´es qui le com-posent. Cette dynamique reste difficilement pr ´evisible. Par exemple, nous pou-vons consid ´erer une habitation r ´esidentielle comme un microgrid. En effet, une habitation comprend `a elle seule quelques dizaines de p ´eriph ´eriques consomma-teurs d’ ´energie et peut poss ´eder des syst `emes de production d’ ´energie, comme des panneaux photovolta¨ıques, ou un garage pouvant accueillir un ou plusieurs v ´ehicules ´electriques comme syst `emes de stockage.

1.2/

O

BJECTIFS DE CES TRAVAUX

L’objectif de cette th `ese peut se r ´esumer ainsi :

Proposer une approche de contr ˆole pour la gestion des flux d’ ´energie dans un r ´eseau ´electrique. En particulier, nous nous restreindrons aux

microgrids, ces r ´eseaux ´etant assez complexes pour poser un grand

nombre de probl `emes et pouvant ˆetre compos ´es pour constituer un r ´eseau de plus grande ampleur.

Afin de satisfaire cet objectif, nous nous plac¸ons dans le paradigme des Syst `emes Multi-Agents (SMA) [Ferber, 1995, Weiss, 1999]. En effet, comme ´enonc ´e pr ´ec ´edemment, un smart grid est compos ´e d’entit ´es distribu ´ees. C’est un syst `eme ouvert qui poss `ede sa dynamique propre et dans lequel certaines en-tit ´es sont autonomes. Ces propri ´et ´es font des smart grids un objet privil ´egi ´e pour les SMA [McArthur et al., 2007a, McArthur et al., 2007b]. De cet objectif g ´en ´eral, nous pouvons en extraire trois sous-objectifs :

– Premi `erement, et pour prendre en compte la complexit ´e des probl ´ematiques li ´ees aux r ´eseaux ´electriques et leurs relations, il apparaˆıt comme n ´ecessaire de mener une ´etude comparative des approches existantes dans ce domaine. En particulier, quelles sont les probl ´ematiques clairement identifi ´ees, quelles sont les relations entre ces probl ´ematiques et les solutions propos ´ees. Pour cette ´etude nous avons choisi de cibler les approches `a base d’agents, car nous avons pos ´e comme hypoth `ese que ce paradigme est un candidat de choix pour s’attaquer aux smart grids.

– Deuxi `emement, la d ´efinition d’une strat ´egie de contr ˆole pour microgrids. Cette strat ´egie va ˆetre appliqu ´ee sur un sous-ensemble des probl `emes identifi ´es lors de l’ ´etude comparative. Toutefois, afin de g ´en ´eraliser cette strat ´egie, une ap-proche m ´ethodologique sera propos ´ee. Cette apap-proche m ´ethodologique doit permettre la prise en compte des probl `emes non trait ´es dans cette th `ese, mais

aussi d’enrichir l’approche pr ´esent ´ee.

– Une telle strat ´egie de contr ˆole ne peut pas ˆetre d ´eploy ´ee directement sur un r ´eseau ´electrique r ´eel sans avoir ´et ´e pr ´ealablement test ´ee de mani `ere inten-sive pour parer `a toutes ´eventualit ´es. Il apparaˆıt donc n ´ecessaire d’associer `a cette strat ´egie un outil de mod ´elisation et de simulation pour la valider. Il ap-paraˆıt donc que la r ´ealisation d’un simulateur de r ´eseaux ´electriques permet-tant de tester une strat ´egie de contr ˆole distribu ´ee avant de la d ´eployer dans un syst `eme r ´eel est n ´ecessaire. Ce simulateur permet de r ´ealiser les op ´erations sur le r ´eseau de mani `ere fiable avec une grande quantit ´e de p ´eriph ´eriques diff ´erents, et accepte dynamiquement de nouveaux p ´eriph ´eriques au cours de la simulation. Il permet ´egalement le contr ˆole dynamique de ces p ´eriph ´eriques par un processus de d ´ecision externe, mais aussi de r ´ealiser ces op ´erations `a diff ´erentes ´echelles g ´eographiques (simulation d’une maison aussi bien que d’un quartier) et temporelles (simulation en temps r ´eel ou aussi rapidement que le permet l’ ´electronique sous-jacente).

1.2.1/

C

Nous proposons la d ´efinition d’un cadre de comparaison d’approches `a base d’agents pour les smart grids. Ce cadre d ´efinit un ensemble de crit `eres. Ces crit `eres sont regroup ´es au sein de cat ´egories qui repr ´esentent les points de vue qui nous paraissent pertinents pour ´etudier les smart grids. Ces points de vue sont : la dimension structurelle et technique des smart grids, c’est- `a-dire l’in-frastructure, et les challenges, ou probl `emes que les smart grids essayent de r ´esoudre et un point de vue soci ´etal. Ce dernier point de vue se d ´ecompose en plusieurs ´el ´ements : l’impact environnemental, l’aspect ´economique, la qualit ´e de service et l’int ´egration de l’humain.

Cet ensemble de crit `eres est ensuite appliqu ´e `a un panel d’approches `a base d’agents qui ont donn ´e lieu `a des publications et/ou r ´esultats permettant ainsi leur ´evaluation.

1.2.2/

A

´

ˆ

Le cœur des travaux pr ´esent ´es ci-apr `es repose sur le m ´etamod `ele CRIO [Cossentino et al., 2007] qui fournit les abstractions n ´ecessaires `a l’ana-lyse et la conception de syst `emes complexes. Ce m ´etamod `ele est ensuite

int ´egr ´e dans le processus m ´ethodologique ASPECS [Cossentino et al., 2010,

Cossentino et al., 2013] afin de faciliter sa mise en œuvre.

Notre contribution r ´eside dans l’extension de cette m ´ethodologie afin de prendre en compte les boucles de r ´etroactions. En effet, nous partons du constat que les

for-1.3. PLAN DE LA TH `ESE 7

mul ´es selon plusieurs niveaux d’abstractions devant ˆetre r ´esolus simultan ´ement. L’id ´ee est de d ´efinir des boucles de r ´etroaction qui permettent de contr ˆoler chaque niveau s ´epar ´ement tout en assurant une coh ´erence globale et la ges-tion des diff ´erents probl `emes du smart grid (notamment ceux pr ´esent ´es dans [Ramchurn et al., 2011c, Basso et al., 2013]). La coh ´erence globale est bas ´ee sur les ´echanges d’informations pour s’influencer r ´eciproquement.

1.2.3/

M

`

´

ˆ

La strat ´egie de contr ˆole propos ´ee est bas ´ee sur une boucle de r ´etroactions `a base d’agents apprenants. Le m ´ecanisme d’apprentissage est conc¸u pour prendre en compte la probl ´ematique d’interactions li ´ee aux SMA et aux boucles de r ´etroaction au sein de SMA `a plusieurs niveaux d’abstractions.

1.2.4/

S

Le simulateur propos ´e dans cette th `ese doit r ´epondre `a un certain nombre de contraintes. La premi `ere est de repr ´esenter fid `element le comportement d’un r ´eseau ´electrique afin de valider la strat ´egie de contr ˆole. La deuxi `eme est de faciliter l’int ´egration de diff ´erentes strat ´egies de contr ˆole. D’une part de fac¸on transparente pour le reste du syst `eme et d’autre part ces strat ´egies de contr ˆole doivent ˆetre les m ˆemes que ce soit en simulation ou dans un cas r ´eel. Nous avons donc choisi, pour toutes ces raisons, de r ´ealiser ce simulateur avec le paradigme des SMA. L’ensemble du d ´eveloppement est r ´ealis ´e avec la plateforme

multi-agent JANUS[Gaud et al., 2009], conc¸ue pour faciliter l’implantation des mod `eles

fond ´es sur CRIO et ASPECS.

1.3/

P

LAN DE LA TH

ESE

`

Ce m ´emoire est constitu ´e des chapitres suivants :

– Le chapitre 2 : donne dans un premier temps, les d ´efinitions n ´ecessaires `a la

compr ´ehension des smart grids et des microgrids. Dans un deuxi `eme temps, nous pr ´esentons les concepts de base des syst `emes multi-agents et plus par-ticuli `erement des syst `emes multi-agents apprenants.

– Le chapitre 3 : introduit un cadre pour la d ´efinition et l’ ´evaluation des

ap-proches pour smart grids. Ce cadre permet de classifier les apap-proches selon leurs structures et leurs objectifs, pour ensuite pouvoir comparer leurs r ´esultats et contributions.

– Le chapitre 4 : pr ´esente une approche m ´ethodologique pour l’analyse et la

conception de boucles de r ´etroaction permettant `a diff ´erentes strat ´egies de contr ˆole, de plusieurs niveaux, d’interagir entre elles.

– Le chapitre 5 : pr ´esente un mod `ele de gestion ´energ ´etique d’un microgrid

utilisant des boucles de r ´etroaction pour l’autor ´egulation de la production et de la consommation d’ ´energie tout en int ´egrant un syst `eme de stabilit ´e du r ´eseau. – Le chapitre 6 : pr ´esente un simulateur multi-agents multi- ´echelles de

dis-tribution d’ ´energie. Ce simulateur permet un contr ˆole et une observation des p ´eriph ´eriques pour r ´eguler leurs consommations ou leurs productions. Il per-met aussi d’extraire des donn ´ees de simulation pour pouvoir comparer les diff ´erentes strat ´egies de contr ˆole d ´eploy ´ees.

– Le chapitre 7 : pr ´esente un bilan des travaux de recherche d ´ecrit dans ce

manuscrit ainsi que les perspectives `a d ´evelopper dans le but d’am ´eliorer ce travail.

2

P

R

ESENTATION ET

´

D ´

EFINITIONS

2.1/

I

NTRODUCTION

´

Etant donn ´e que de multiples domaines de recherches ont ´et ´e abord ´es au cours de cette th `ese, de nombreux concepts emprunt ´es `a ces domaines sont utilis ´es tout au long de ce m ´emoire. Nous d ´etaillons dans ce chapitre ces diff ´erents concepts.

Dans un premier temps, nous pr ´esenterons les r ´eseaux ´electriques, leurs en-jeux, mais aussi leurs ´evolutions vers les nouveaux r ´eseaux intelligents, les smart

grids. Une attention particuli `ere est port ´ee aux microgrids, `a leurs particularit ´es,

mais aussi `a leurs similitudes vis- `a-vis des smart grids. Dans un second temps, plusieurs d ´efinitions des syst `emes multi-agents sont pr ´esent ´ees afin de percevoir la complexit ´e de ces syst `emes. L’utilit ´e des agents apprenants dans des envi-ronnements complexes ainsi que les cadres classiques de l’apprentissage par renforcement mono-agent et multi-agent y sont ´egalement d ´etaill ´es.

2.2/

L

ES R

ESEAUX

´

ELECTRIQUES

´

2.2.1/

L

´

´

Actuellement, les r ´eseaux ´electriques existants peuvent ˆetre d ´ecompos ´es en 4 niveaux :

– les gros producteurs centralis ´es, tels que les centrales `a charbon, les cen-trales nucl ´eaires ou les cencen-trales hydrauliques, fournissant la majeure partie de l’ ´electricit ´e du r ´eseau ;

– le syst `eme de transport de l’ ´energie, permettant de transporter de grandes quantit ´es d’ ´energie `a haute tension sur de longues distances ;

– le syst `eme de distribution d’ ´energie, caract ´eris ´e par des tensions plus faibles, est charg ´e de d ´elivrer l’ ´energie aux usagers ;

– les usagers, ou consommateurs, r ´epartis sur une grande partie du territoire, utilisant l’ ´energie rec¸ue de fac¸on tr `es vari ´ee.

Les usagers peuvent demander de l’ ´energie `a tout moment. Il revient alors aux gestionnaires des autres niveaux de fournir l’ ´energie n ´ecessaire pour r ´epondre aux besoins des consommateurs. L’ ´equilibre offre-demande est un point cl ´e dans l’utilisation des r ´eseaux ´electriques. Si la stabilit ´e n’est pas respect ´ee, la tension varie, ce qui entraˆıne une usure pr ´ematur ´ee des installations.

Cependant, de nouvelles tendances annoncent de grands changements sur les r ´eseaux ´electriques. Ils devront devenir plus autonomes qu’ils ne le sont aujour-d’hui. Parmi ces tendances, nous pouvons citer :

– L’augmentation de la demande en ´energie : La demande d’ ´energie

mon-diale croˆıt r ´eguli `erement comme pr ´esent ´ee par la Figure 2.1 du fait de plu-sieurs facteurs. Ainsi, l’augmentation de la population mondiale implique une plus grande consommation. L’am ´elioration de la vie dans les pays en voie de

d ´eveloppement, notamment les BRICS1_{, influe fortement sur la consommation}

d’ ´energie. 250 300 350 400 450 500 550 1980 1985 1990 1995 2000 2005 2010 QBtu years world consumption

FIGURE 2.1 – ´Evolution de la consommation mondiale (Source : http://www.eia.

gov)

– La pr ´eoccupation environnementale : Selon les rapports du GIEC2_{, les}

changements climatiques sont sans ´equivoque. Depuis les ann ´ees 1950, beaucoup des changements observ ´es sont sans pr ´ec ´edent sur les derni `eres

1. Br ´esil, Russie, Inde, Chine, Afrique du Sud

2.2. LES R ´ESEAUX ´ELECTRIQUES 11

d ´ecennies `a mill ´enaires. Le GIEC annonce ´egalement comme ≪ tr `es

pro-bable≫ le fait que ces changements soient dus `a une influence humaine. Le

groupe cite notamment : le r ´echauffement oc ´eanique, la diminution des masses des calottes glaciaires, l’augmentation du niveau de la mer, l’augmentation de

la concentration des NOx dans l’atmosph `ere.

– L’int ´egration des nouvelles sources d ´ecentralis ´ees : Les r ´eseaux ´electriques actuels ont ´et ´e conc¸us pour transporter l’ ´energie de gros produc-teurs, que sont les centrales productrices, aux consommateurs. L’int ´egration des nouvelles sources d ´ecentralis ´ees am `ene des modifications structurelles et comportementales sur le r ´eseau. Les sources d’ ´energie renouvelable, telles que les panneaux photovolta¨ıques et les ´eoliennes, produisent de mani `ere sto-chastique, irr ´eguli `ere, et peuvent donc amener une instabilit ´e sur le r ´eseau. Enfin, l’int ´egration des v ´ehicules ´electriques ou hybrides devant ˆetre recharg ´es sur le r ´eseau sugg `ere ´egalement de tenir compte de nouveaux comportements

´emergents.

– Le co ˆut de l’ ´energie : L’ ´epuisement pr ´evisible des ressources en ´energies

fossiles ainsi que le d ´ebut des d ´emant `elements des centrales nucl ´eaires va impliquer une augmentation du prix de l’ ´energie. Pour compenser, de nouvelles sources d’ ´energie ont ´et ´e d ´evelopp ´ees, mais celles-ci ont un prix de production plus ´elev ´e. Cette hausse de prix sera forc ´ement r ´epercut ´ee sur les factures des consommateurs. Il va donc falloir trouver de nouveaux comportements sur le march ´e pour r ´eduire cette augmentation de tarif afin que l’ ´energie puisse encore ˆetre accessible au plus grand nombre.

Ce sont ces grands changements, autant comportementaux que structurels, qui ont induit le d ´eveloppement d’un nouveau type de r ´eseau : les r ´eseaux intelligents ou smart grids.

2.2.2/

L

´

´

Il existe actuellement plusieurs d ´efinitions d’un smart grid

[Coll-Mayor et al., 2007] et ´egalement plusieurs objectifs pour une m ˆeme d ´efinition d’un smart grid. Toutefois, l’ensemble des d ´efinitions s’accorde `a dire que la communication bidirectionnelle est une des cl ´es des futurs r ´eseaux intelligents.

D ´efinition 1 : Smart grid [Team, 2011]

Le Software Engineering Institut de l’universit ´e de Carnegie Mellon d ´efinit le smart grid, ou r ´eseau intelligent, comme un terme utilis ´e pour se r ´ef ´erencer `a un r ´eseau ´electrique dont les op ´erations sont pass ´ees d’une technologie analogique `a l’utilisation d’une technologie num ´erique int ´egr ´ee permettant la communication, la d ´etection, la pr ´evision et le contr ˆole.

r ´eseaux, comme sp ´ecifi ´ees par le U.S. Department of Energy’s National Energy

Technology Laboratory dans sa strat ´egie pour un r ´eseau moderne [Pullins, 2009].

Un smart grid se doit :

1. de faire participer de fac¸on active les consommateurs,

2. d’accueillir l’ensemble des g ´en ´erateurs (centralis ´es ou non) et des syst `emes de stockage (comme les v ´ehicules ´electriques),

3. de permettre de nouveaux produits, services et march ´es,

4. d’offrir une qualit ´e d’ ´energie pour supporter l’ ´economie num ´erique, 5. d’optimiser l’utilisation de l’existant et de fonctionner efficacement, 6. d’anticiper et de r ´epondre `a des perturbations sur le syst `eme, 7. de r ´esister aux attaques ou aux catastrophes naturelles.

Un des principaux probl `emes soulev ´es par les smart grids est leur int ´egration dans les r ´eseaux ´electriques physiques utilis ´es quotidiennement par des millions d’usagers. Le tableau 2.1 compare les caract ´eristiques des r ´eseaux ´electriques d’aujourd’hui et ceux potentiels des smart grids.

L’objectif de modernisation des r ´eseaux implique des fonctionnalit ´es pour fa-ciliter le d ´eveloppement d’un syst `eme ´energ ´etique efficace et fiable. Dans [Momoh, 2012], l’auteur donne une liste de fonctionnalit ´es permettant de passer du r ´eseau ´electrique actuel au smart grid :

1. Identification et r ´eduction des obstacles `a l’adoption de la technologie, des pratiques et des services des r ´eseaux intelligents.

2. Fournir aux consommateurs des renseignements et des options de contr ˆole. 3. Utilisation accrue de la technologie num ´erique et de la technologie de contr ˆole pour am ´eliorer la fiabilit ´e, la s ´ecurit ´e et l’efficacit ´e du r ´eseau

´electrique.

4. D ´eveloppement et int ´egration de r ´eponses `a la demande, de la gestion de la demande et de l’efficacit ´e ´energ ´etique.

5. D ´eploiement et int ´egration des syst `emes de stockage et des technologies permettant l’effacement des pics, y compris les v ´ehicules ´electriques et les climatiseurs.

6. Optimisation dynamique des op ´erations et des ressources sur le r ´eseau, int ´egrant la cybers ´ecurit ´e.

7. D ´eploiement et int ´egration des ressources et de la production d ´ecentralis ´ee, y compris des ressources renouvelables.

8. Int ´egration des appareils et des dispositifs de consommation dits ≪

intelli-gents≫.

9. ´Elaboration de normes pour la communication et l’interop ´erabilit ´e des

ap-pareils et des ´equipements raccord ´es au r ´eseau ´electrique, y compris l’in-frastructure op ´erant sur le r ´eseau.

2.2. LES R ´ESEAUX ´ELECTRIQUES 13

Caract ´eristiques r ´eseaux classiques smart grids

Participation des consommateurs

Les consommateurs ne sont pas inform ´es et ne participent pas.

Les consommateurs sont inform ´es et potentielle-ment actifs.

Int ´egration des sources et syst `emes de stockage

Domin ´es par les produc-teurs d’ ´energie centralis ´ee.

D ´eploiement d’un grand nombre de producteurs distribu ´es ”plug and play ”.

Nouveaux produits, services et march ´es

Limit ´e, peu d’int ´egration du march ´e pour les consom-mateurs.

Grande int ´egration du march ´e, Augmentation de l’utilisation du march ´e de l’ ´energie pour les consommateurs.

Qualit ´e de l’ ´energie Centr ´ee sur les pannes, r ´eponse lente aux probl `emes de qualit ´e de l’ ´energie.

Priorit ´e sur la qualit ´e de l’ ´energie avec une grande vari ´et ´e de qualit ´e et de prix, Rapide r ´esolution des probl `emes.

Optimisation des actifs Peu d’int ´egration des donn ´ees op ´erationnelles de gestion d’actifs.

Nombreuses acquisitions de donn ´ees ´elargies et des param `etres du r ´eseau.

Autocicatrisation Pr ´evention pour r ´eduire l’impact des d ´eg ˆats en se concentrant sur la protec-tion des infrastructures suite `a une panne

D ´etection automatique et correction des probl `emes, centr ´es sur la pr ´evention pour minimiser l’impact sur le consommateur.

R ´esistance aux attaques Tr `es vuln ´erables aux at-taques.

R ´esistance aux attaques avec restaurations rapides en cas de probl `emes.

TABLE 2.1 – Comparaison des r ´eseaux classiques et des smart grids (inspir ´e de

10. D ´eploiement de technologies dites ≪ intelligentes≫ (temps r ´eel et

auto-matis ´ees optimisant le fonctionnement des appareils et des dispositifs de consommation) pour la mesure, la communication relative `a l’exploitation du r ´eseau et l’automatisation de la distribution.

Il existe un grand nombre de recherches actuellement effectu ´ees sur les

smart grids [Farhangi, 2010, Hassan and Radman, 2010, Basso et al., 2013].

Ces derni `eres ann ´ees, des approches smart grids ont ´et ´e d ´eploy ´ees sur des syst `emes r ´eels que ce soit en test, ou sur les r ´eseaux ´electriques utilis ´es par des consommateurs [James et al., 2006].

Enfin, une nouvelle approche ´emergente d ´efinit les smart grids comme un syst `eme holonique [Lee, 2009], c’est- `a-dire comme un syst `eme com-pos ´e de sous-syst `emes. Par exemple, Negeri & Baken pr ´esentent dans [Negeri and Baken, 2012] une architecture holonique traitant les prosumers, des consommateurs produisant leur propre ´energie, comme des holons. Cette ar-chitecture permet, d’une part, de g ´erer de mani `ere autonome les productions propres de l’utilisateur, et d’autre part rejoindre un groupe de prosumers pour collectivement influencer le march ´e.

Dans le cadre de cette th `ese, une attention particuli `ere va ˆetre port ´ee sur la mod ´elisation et la conception de smart grids comme des syst `emes holoniques. Un smart grid sera donc consid ´er ´e comme un ensemble interconnect ´e de

micro-grids.

2.3/

L

ES MICROGRIDS

Le taux de p ´en ´etration de la production d ´ecentralis ´ee `a travers le monde n’a pas encore atteint des niveaux significatifs. Mais cette situation ´evolue rapide-ment au cours des derni `eres ann ´ees. La production d ´ecentralis ´ee englobe un large ´eventail de technologies telles que : les moteurs `a combustion interne, les turbines `a gaz, les microturbines, les panneaux photovolta¨ıques, les piles `a com-bustible ou encore l’ ´energie ´eolienne [Lasseter and Paigi, 2004].

Malheureusement, l’utilisation de g ´en ´erateurs distribu ´es peut amener autant de probl `emes qu’elle peut en r ´esoudre. Une meilleure fac¸on d’utiliser le potentiel ´energ ´etique de la production distribu ´ee est d’adopter une approche permettant le contr ˆole local des g ´en ´erateurs, mais aussi des consommateurs dans un sous-r ´eseau. Ces sous-sous-r ´eseaux peuvent ˆetsous-re d ´enomm ´es micsous-rogsous-rid.

Les microgrids peuvent ˆetre consid ´er ´es, de fait, comme les premiers r ´eseaux `a avoir ´et ´e d ´eploy ´es. En 1882, Thomas Edison construisit le premier r ´eseau ´electrique en courant continu dans le quartier de Wall Street `a Manhattan ali-ment ´e par la premi `ere centrale ´electrique, la Pearl Street Station. Ce r ´eseau peut ˆetre consid ´er ´e comme un microgrid ´etant donn ´e qu’aucun r ´eseau principal n’exis-tait alors.

2.4. LES SMARTGRIDS AUJOURD’HUI 15

d ´efinitions d’un microgrid. Le Consortium for Electric Reliability Technology

Solu-tions (CERTS) le d ´efinit comme une agr ´egation d’usagers du r ´eseau et de

micro-producteurs exploitant comme un seul syst `eme l’ ´energie ´electrique et calorifique [Lasseter and Paigi, 2004]. Ou encore, un microgrid peut ˆetre d ´efini comme ´etant un syst `eme d’ ´energie comprenant des producteurs d’ ´energie distribu ´ee et de mul-tiples charges ´electriques fonctionnant ensemble, de mani `ere autonome, en

pa-rall `ele ou≪ˆılot ´es≫ des r ´eseaux principaux [Asmus, 2010].

Nous adoptons, dans la suite de ce travail, la d ´efinition suivante. D ´efinition 2 : Microgrid

Les microgrids, ou micro-r ´eseaux peuvent ˆetre d ´efinis comme des sous-r ´eseaux de basse tension incluant des consommateusous-rs, des g ´en ´esous-rateusous-rs d ´ecentralis ´es (potentiellement renouvelables) et des syst `emes de sto-ckage locaux. Ils peuvent ˆetre exploit ´es en ´etant connect ´es `a d’autres r ´eseaux (ou au r ´eseau principal) ou en ´etant ”ˆılot ´es”, c’est- `a-dire sans aucun apport d’ ´energie de l’ext ´erieur.

Fondamentalement, il est donc possible de d ´efinir un microgrid comme ´etant une partie d’un smart grid et donc devant r ´epondre aux 7 caract ´eristiques d ´efinies pr ´ec ´edemment.

2.4/

L

ES SMARTGRIDS AUJOURD

’

HUI

Bien que la recherche en laboratoire dans le domaine des smart grids existe depuis de nombreuses ann ´ees, l’impl ´ementation dans des syst `emes r ´eels est bien plus r ´ecente. Aujourd’hui, de nombreux ´etats ont commenc ´e `a d ´eployer des syst `emes intelligents dans leurs r ´eseaux ´electriques.

Europe Le livre vert de 2006 de la Commission Europ ´eenne ”Une strat ´egie europ ´eenne pour une ´energie sure, comp ´etitive et durable” souligne que l’Europe est entr ´ee dans une nouvelle `ere ´energ ´etique. Les objectifs primordiaux de la politique europ ´eenne de l’ ´energie doivent ˆetre durabilit ´e, comp ´etitivit ´e et s ´ecurit ´e d’approvisionnement, ce qui n ´ecessite un ensemble coh ´erent et uniforme des politiques et des mesures pour les atteindre.

L’European Electricity Grid Initiative (EEGI) est l’une des initiatives indus-trielles europ ´eennes dans le cadre du plan pour les technologies ´energ ´etiques strat ´egiques (SET-PLAN) et propose un programme de recherche de 9 ans, le d ´eveloppement et la d ´emonstration pour acc ´el ´erer l’innovation et le d ´eveloppement des r ´eseaux ´electriques du futur en Europe. Le programme se concentre sur l’innovation des syst `emes existants plut ˆot que sur l’innovation tech-nologique, et s’int ´eresse particuli `erement `a l’int ´egration des nouvelles technolo-gies dans des conditions r ´eelles et `a la validation des r ´esultats.

´

Etats-Unis De nombreuses initiatives existent aux ´Etats-Unis. Ces initiatives peuvent ˆetre f ´ed ´erales, ´etatiques ou localis ´ees au niveau d’une ville.

L’article XIII de la loi sur la s ´ecurit ´e et l’ind ´ependance ´energ ´etique de 2007 (EISA) (Pub.L. 110-140) fait partie de la l ´egislation f ´ed ´erale et traite de la modernisation

de la transmission des services d’ ´electricit ´e aux ´Etats-Unis. Il traite aussi du

pas-sage aux smart grids pour offrir une plus grande fiabilit ´e et une protection aux infrastructures existantes tout en offrant de nouveaux avantages tels que la parti-cipation des consommateurs.

Fond ´ee en 2003, la GridWise Alliance est un exemple de regroupement de ser-vices comprenant des entreprises technologiques ´emergentes, des partenaires acad ´emiques et des repr ´esentants des milieux financiers. Des experts du

Na-tional Renewable Energy Laboratory (NREL) ainsi que d’autres laboratoires du Department of Energy (DoE), de l’Electric Power Research Institute (EPRI), mais

aussi de General Electric (GE), Cisco et d’IBM ont ´et ´e les membres fondateurs de cette alliance. Cette alliance est un moyen pour ´elargir la sph `ere des parties impliqu ´ees dans l’ ´elaboration des futurs r ´eseaux intelligents. Avec cette alliance, tous les intervenants peuvent travailler de concert pour faire progresser le r ´eseau ´electrique am ´ericain et le faire passer de l’ `ere industrielle `a l’ `ere de l’information et de la t ´el ´ecommunication.

Au niveau de la ville d’Austin au Texas, Austin Energy d ´ecide en 2003 de transformer les services de la ville pour am ´eliorer leurs flexibilit ´es [Carvallo and Cooper, 2011]. Cela se traduit en 2007 par l’ ´emergence d’un smart

grid . `A cette date, il s’agit surtout d’un ensemble de programmes, de syst `emes et de capteurs plus qu’un seul ´ecosyst `eme int ´egr ´e. C’est en 2008 qu’est r ´eellement cr ´e ´e l’ ´ecosyst `eme smart grid qui va permettre de transformer le r ´eseau d’ ´energie. Ces changements sont, `a l’heure actuelle, toujours en cours.

Ces deux pr ´esentations sont des exemples, mais d’autres groupes ou initiatives existent `a tous les niveaux.

Chine Le march ´e des smart grids en Chine devrait croitre de pr `es de 20% d’ici

20203_{. L’un des principaux facteurs contribuant `a cette croissance du march ´e de}

l’ ´energie est son plan de mise en œuvre syst ´ematique de r ´eseaux intelligents. Le march ´e du smart grid en Chine a ´egalement ´et ´e le t ´emoin d’investissements gouvernementaux de plus en plus importants durant ces derni `eres ann ´ees. Tou-tefois, l’importante exposition des r ´eseaux chinois aux cyberattaques pourrait ˆetre un d ´efi majeur `a la croissance de ce march ´e.

La grande majorit ´e des investissements dans les smart grids se situe dans les domaines de la transmission d’ ´energie, de l’automatisation de la distribution et de la r ´ecolte automatique de donn ´ees pour soutenir le d ´eveloppement du futur r ´eseau et pour soutenir l’int ´egration des ´energies renouvelables. Le march ´e du

smart grid en Chine sera d’une grande influence pour deux raisons.

– L’engagement croissant de la Chine pour le d ´eveloppement de l’ ´energie verte

2.5. LES APPROCHES MULTI-AGENTS 17

conduira `a d’ ´enormes besoins en technologies dans le domaine des r ´eseaux intelligents.

– La Chine a un contexte structurel unique qui pourrait lui permettre l’ ´elaboration d’un nouveau r ´eseau intelligent plus rapidement. Le r ˆole central que le gou-vernement peut jouer dans l’ ´economie et la gestion de l’ ´energie rendra cela possible.

Cependant, la Chine ne peut pas exploiter pleinement cette opportunit ´e. Les or-ganismes gouvernementaux de r `eglementation devront cr ´eer une vision appro-pri ´ee pour les r ´eseaux intelligents et fournir des politiques et des mesures incita-tives de soutien permettant une diminution de la consommation.

Le gouvernement chinois, la State Grid Corporation of China (SGCC) et la China

Southern Power Grid Company (CSG) formulent des plans et mettent en place

des mesures pour achever le d ´eveloppement des r ´eseaux intelligents en Chine. Cette initiative prise par SGCC s’applique `a la p ´eriode 2011-2020.

2.5/

L

ES APPROCHES MULTI

-

AGENTS

De par leurs complexit ´es et leurs r ´epartitions g ´eographiques, les smart grids, comme les microgrids, ne peuvent pas ˆetre g ´er ´es facilement par des syst `emes centralis ´es. Les syst `emes intelligents int ´egr ´es aux smart grids doivent g ´erer la production des grandes centrales, mais ´egalement les ´energies renouvelables ou encore aider `a r ´eduire la consommation des diff ´erents usagers du r ´eseau. Les intelligences artificielles distribu ´ees et plus particuli `erement les syst `emes multi-agents apparaissent comme un moyen ad ´equat de r ´esoudre les probl `emes li ´es aux smart grids [McArthur et al., 2007a, McArthur et al., 2007b].

D ´efinition 3 : Agents [Russell et al., 1995]

Un agent est tout ce qui peut ˆetre vu comme percevant son environne-ment `a l’aide de capteurs et agissant sur cet environneenvironne-ment `a l’aide d’ef-fecteurs, de fac¸on autonome.

Cette d ´efinition donne un point de vue tr `es g ´en ´eral sur la d ´efinition d’agent. Dans [Wooldridge and Jennings, 1995], Wooldridge et Jennings d ´efinissent un agent comme un syst `eme, logiciel ou non, ayant les propri ´et ´es suivantes :

– autonomie : Un agent se doit d’op ´erer sans une intervention directe de l’ext ´erieur, et d’avoir un certain contr ˆole de ses actions et de ses ´etats internes. – aptitudes sociales : Les agents interagissent entre eux gr ˆace `a un langage.

– r ´eactivit ´e : Les agents perc¸oivent leur environnement et r ´epondent en temps

opportun aux changements intervenant dans celui-ci.

– proactivit ´e : Les agents ne font pas que r ´epondre aux changements de

l’en-vironnement, ils peuvent ´egalement avoir un comportement leur permettant d’agir par eux-m ˆemes pour satisfaire leurs objectifs.

l’en-Coop ´eratifs Comp ´etitifs Mixtes

Ind ´ependants non-coordonn ´es opposition directe agents ind ´ependants

Correspondants coordination directe — agents correspondants

Conscients coordination indirecte opposition indirecte communication indi-recte

TABLE 2.2 – Classification des SMA par type d’interactions et degr ´e de

conscience des agents [Bus¸oniu et al., 2008b]

vironnement [Ferber, 1995]. Pour Ferber, l’agent est une entit ´e physique ou vir-tuelle :

1. qui est capable d’agir dans un environnement ;

2. qui peut communiquer directement avec d’autres agents ;

3. qui est mue par un ensemble de tendances (sous la forme d’objectifs in-dividuels ou de fonctions de satisfaction, voire de survie, qu’elle cherche `a optimiser) ;

4. qui poss `ede des ressources propres ;

5. qui est capable de percevoir son environnement (mais de mani `ere limit ´ee) ; 6. qui ne dispose que d’une repr ´esentation partielle de cet environnement (et

´eventuellement aucune) ;

7. qui poss `ede des comp ´etences et offre des services ; 8. qui peut ´eventuellement se reproduire ;

9. et dont le comportement tend `a satisfaire ses objectifs, en tenant compte des ressources et des comp ´etences dont elle dispose, et en fonction de sa perception, de ses repr ´esentations et des communications qu’elle rec¸oit. Ce sont les agents, qui en communiquant et collaborant forment un syst `eme multi-agents. Les objectifs de ces agents peuvent ˆetre de toutes sortes. Par exemple, deux agents d’un m ˆeme syst `eme peuvent avoir des objectifs oppos ´es.

Dans [Bus¸oniu et al., 2008a], les auteurs pr ´esentent une classification des syst `emes multi-agents gr ˆace aux interactions des agents. Cette classification est d ´ecompos ´ee en 2 dimensions. La premi `ere repr ´esente le type d’interactions des agents. La seconde repr ´esente le degr ´e de conscience des agents. Le tableau 2.2 pr ´esente cette classification.

Bien que les agents d’un syst `eme multi-agents peuvent ˆetre dot ´es de com-portements permettant de pr ´evoir les ´ev `enements futurs, il est souvent n ´ecessaire pour eux d’apprendre dynamiquement de nouveaux comporte-ments. [Bus¸oniu et al., 2010]. L’apprentissage est donc un point important dans l’ ´elaboration des comportements d’un agent ´evoluant dans un environnement dy-namique.

2.6. LES AGENTS APPRENANTS 19

2.6/

L

ES AGENTS APPRENANTS

Les syst `emes multi-agents sont principalement utilis ´es pour ˆetre d ´eploy ´es dans des environnements complexes, partiellement ou non pr ´evisibles [Weiss, 1999]. Dans de tels environnements, il est souvent difficile, voire impossible, de sp ´ecifier des comportements `a priori. L’apprentissage apparaˆıt donc, dans ce contexte, comme un outil pertinent pour am ´eliorer les performances des agents lorsqu’ils doivent r ´ealiser une t ˆache donn ´ee [Cornu ´ejols and Miclet, 2010].

Traditionnellement, les approches d’apprentissage artificiel peuvent ˆetre divis ´ees en trois cat ´egories :

– l’apprentissage supervis ´e : consiste `a d ´eterminer, `a partir d’un corpus C

d’exemples, une loi (ou fonction) h qui permet de donner une r ´eponse y face `a toute situation x. Plus formellement, soient X l’ensemble des situations pos-sibles et Y l’ensemble des r ´eponses pospos-sibles. L’apprentissage supervis ´e doit d ´eterminer la fonction h : X → Y qui minimise un crit`ere d’erreur d´efini sur le corpus C = {(x(i)_{, y}(i)

)}i=1,2,...,ncompos ´e de n exemples. Les machines `a vecteurs

de support et les r ´eseaux de neurones artificiels font partie des techniques commun ´ement employ ´ees pour r ´esoudre ce type de probl `emes.

– l’apprentissage non supervis ´e : consiste `a d ´eterminer la mani `ere de former

des classes pour cat ´egoriser un ensemble de faits ou de situations d ´ecrits par un ensemble de caract ´eristiques. Il s’agit ici de d ´eterminer une fronti `ere d ´efinie par une fonction h qui permet de s ´eparer au mieux n’importe quelles situations prises dans un ensemble X. Le corpus d’apprentissage utilis ´e pour d ´eterminer

cette fonction h est uniquement compos ´e d’un ensemble C = {x(i)

}i=1,2,...,n

d’exemples repr ´esentant des situations. L’algorithme des k-moyennes et l’Ana-lyse par Composantes Principales sont des techniques largement utilis ´ees pour ce type d’apprentissage.

– l’apprentissage par renforcement : consiste `a d ´eterminer le comportement

que devra exhiber un agent afin de r ´ealiser au mieux une t ˆache donn ´ee. Plus formellement, il s’agit ici de d ´eterminer une fonction h : X → U qui associe `a chaque ´etat x ∈ X de l’environnement perc¸u par l’agent, l’action u ∈ U `a r´ealiser afin de maximiser un crit `ere de performance repr ´esentant g ´en ´eralement un cumul (pond ´er ´e) des r ´ecompenses rec¸ues. Q-Learning est l’un des algorithmes les plus largement employ ´es pour r ´ealiser de l’apprentissage par renforcement. Dans toutes ces approches d’apprentissage, g ´en ´eralement la fonction h est d ´etermin ´ee `a partir d’exemples d’apprentissage et elle est ensuite utilis ´ee de mani `ere ad hoc.

L’apprentissage par renforcement semble ˆetre l’approche la plus ad ´equate pour contr ˆoler les flux d’ ´energie dans un smart grid. En effet, pour que ce probl `eme puisse ˆetre r ´esolu par une approche d’apprentissage supervis ´e, il faudrait dispo-ser d’un corpus d’apprentissage compos ´e de nombreux exemples de la forme <situation rencontr ´ee, r ´eponse d ´esir ´ee>, ce qui n’est pas du tout envisageable

ici ´etant donn ´e la complexit ´e du probl `eme. L’approche d’apprentissage non su-pervis ´ee est quant `a elle inadapt ´ee pour r ´esoudre un tel probl `eme. En utilisant

une approche d’apprentissage par renforcement, les agents repr ´esentant des p ´eriph ´eriques ´electriques peuvent apprendre comment se comporter en inter-agissant avec un environnement dynamique de type smart grid.

Nous allons aborder ci-dessous plus particuli `erement l’apprentissage par ren-forcement mono-agent et multi-agent, puisque c’est ce type d’approche qui est choisi dans cette th `ese et d ´etaill ´e dans le chapitre 5.

2.6.1/

A

-

Le cadre de travail classique de l’apprentissage par renforcement implique un seul agent dont la t ˆache peut g ´en ´eralement ˆetre mod ´elis ´ee par un processus

de d ´ecision de Markov `a temps discret (MDP4_{) M = (X, U, f, ρ, T, γ). X est}

l’en-semble des ´etats que l’agent peut percevoir, U est l’enl’en-semble des actions pos-sibles qu’il peut r ´ealiser, f est la fonction de transition entre ´etats, ρ est la fonction de r ´ecompense qui ´evalue l’effet imm ´ediat d’une action, T ⊆ N est l’espace de temps discret et γ est un facteur de pond ´eration [Sutton and Barto, 1998].

Dans le cas de l’horizon infini, c’est- `a-dire lorsque T est infini et γ ∈ [0; 1[, le comportement optimal d’un agent peut ˆetre d ´ecrit compl `etement par une politique

h∗ _{: S → A, c’est-`a-dire une fonction associant `a chaque ´etat l’action optimale `a}

r ´ealiser. Cette fonction maximise l’esp ´erance des r ´ecompenses cumul ´ees Rh_(x

0)

dans chaque ´etat initial x0∈ X0 ⊆ X, telle que :

Rh(x0) = *X t∈T γtr_t+1 + x0,h (2.1)

rt est la r ´ecompense rec¸ue `a l’instant t ∈ T , h ix0,h est l’esp ´erance des

r ´ecompenses cumul ´ees sur toutes les transitions d’ ´etats possibles `a partir de

l’ ´etat x0 en suivant la politique h, et γ ∈ [0, 1[ est le facteur de pond´eration

garan-tissant que la somme des r ´ecompenses est born ´ee.

Un MDP encode un probl `eme de d ´ecision s ´equentiel qui peut ˆetre r ´esolu en uti-lisant une technique de programmation dynamique lorsque la fonction de transi-tion f est connue, ou une technique d’apprentissage par renforcement (comme Q-Learning par exemple) lorsque f est inconnue (ce qui est le cas ici). Pour des t ˆaches complexes, lorsque l’espace d’ ´etats et/ou d’actions est tr `es grand, il est pr ´ef ´erable d’utiliser ´egalement des algorithmes d’apprentissage par renforcement qui ne n ´ecessite pas la mise `a jour compl `ete de valeurs associ ´ees `a tous les ´etats `a chaque it ´eration. Les mises `a jour repr ´esentent l’apprentissage qui

ap-paraˆıt `a chaque fois qu’une transition d’un ´etat x `a un ´etat x′ _{est observ ´ee avec}

une r ´ecompense imm ´ediate r lorsque l’action u est r ´ealis ´ee dans x.

Dans la technique de Q-learning, une mise `a jour de la fonction Q (une fonction de valeur qui estime l’esp ´erance des r ´ecompenses cumul ´ees pour chaque couple

2.6. LES AGENTS APPRENANTS 21

´etat-action) est d ´efinie par :

Q(x, u) _{←− r + γ max}α

u′_∈U Q(x

′_{, u}′_{) (2.2)}

o `u : A _←α_{− B signifie A ← (1 − α)A + αB. Le facteur d’apprentissage 0 ≤ α ≤ 1}

influence la vitesse d’apprentissage.

Une fois que Q a converg ´e vers la fonction Q optimale Q∗_{, l’action optimale dans}

chaque ´etat x peut ˆetre obtenue selon :

h∗(x) = argmaxu∈UQ∗(x, u) (2.3)

L’ ´equation (2.2) suppose implicitement qu’une valeur Q peut ˆetre estim ´ee et stock ´ee pour chaque couple ´etat-action. Lorsque l’espace d’ ´etats et d’actions est trop grand, des approximateurs de fonction doivent ˆetre uti-lis ´es [Bus¸oniu et al., 2010], puisque toutes ces valeurs Q ne peuvent plus ˆetre ni stock ´ees ni estim ´ees pr ´ecis ´ement.

2.6.2/

A

-

Dans le cas des syst `emes multi-agents, la t ˆache du syst `eme peut ˆetre mod ´elis ´ee par un MDP M = (X, U, f, ρ, T, γ)[Panait and Luke, 2005] tel que X est l’ensemble

des ´etats que les agents peuvent percevoir. U = (U1,· · · , Un) est, avec n le nombre

d’agents, l’ensemble des actions possibles que peuvent r ´ealiser les agents. f

est la fonction de transition entre les ´etats. ρ = (ρ1,· · · , ρn) est l’ensemble des

fonctions de r ´ecompenses des agents. T ⊆ N est l’espace de temps discret et γ est le facteur de pond ´eration.

Dans le cas des syst `emes multi-agents, la fonction de transition est le r ´esultat

de l’ensemble des actions effectu ´ees par les agents [Bus¸oniu et al., 2008a], uk =

[uT

1,k,· · · , u T n,k]

T_{, u}

k ∈ U. La politique de d´ecision du syst`eme h = (h1,· · · , hn) est

maintenant l’ensemble des d ´ecisions de chaque agent. Enfin, la r ´ecompense Ri

et la fonction Qi de chaque agent d ´ependent, dans le cas des syst `emes

multi-agents, de l’ensemble des actions et de la politique de d ´ecision de chaque agent. En reprenant la classification par type d’interactions donn ´ee dans le tableau 2.2, il est possible de d ´etailler les fonctions de r ´ecompense. Dans le cas d’un syst `eme multi-agents enti `erement coop ´eratif, c’est- `a-dire quand tous les agents ont le m ˆeme but, tous les agents poss `edent la m ˆeme fonction de r ´ecompense,

ρ1 = ρ2 = · · · = ρn. Ils ont donc la m ˆeme r ´ecompense, R1 = R2 = · · · = Rn. Si

n = 2 et ρ1 = −ρ2, les 2 agents ont des buts oppos ´es. Dans ce cas le syst `eme

est comp ´etitif. Il est ´egalement possible d’avoir un syst `eme enti `erement comp ´etitif avec plus de deux agents, mais les fonctions de r ´ecompenses sont plus difficiles `a d ´efinir. Enfin, les syst `emes mixtes sont ceux n’ ´etant ni enti `erement coop ´eratifs ni enti `erement comp ´etitifs.

Nous pr ´esenterons plus en d ´etail dans le chapitre 5 (page 73) la technique d’ap-prentissage par renforcement multi-agent que nous avons utilis ´ee pour r ´esoudre un probl `eme de stabilit ´e dans un smart grid.

2.7/

D

ISCUSSIONS

Dans ce chapitre, nous avons pr ´esent ´e les caract ´eristiques principales des r ´eseaux ´electriques actuels. Ces explications ont mis en exergue la structure statique des r ´eseaux ´electriques. Actuellement, les r ´eseaux sont compos ´es de gros producteurs d’ ´energie devant r ´epondre aux variations des demandes des consommateurs. Avec l’augmentation du nombre de consommateurs et l’aug-mentation de leurs consommations, il ne sera plus possible pour ces gros produc-teurs de satisfaire la consommation. Ces gros producproduc-teurs d’ ´energie sont aussi de gros producteurs de d ´echets (gaz `a effet de serre, d ´echets nucl ´eaires, etc.). Il est donc n ´ecessaire de modifier le r ´eseau en int ´egrant de nouveaux producteurs d’ ´energie afin de cr ´eer un ´equilibre ´energ ´etique. Ces producteurs se doivent de produire une ´energie propre. Enfin, les consommateurs doivent devenir de nou-veaux acteurs du r ´eseau en modifiant leurs consommations en fonction de la production d’ ´energie.

L’introduction de nouveaux r ´eseaux, les smart grids, qui sont maintenant claire-ment d ´efinis offre une r ´eponse `a ces ´evolutions futures. La diversit ´e des produc-teurs dans les nouveaux r ´eseaux, les nouveaux comportements des consomma-teurs ainsi que leurs diversit ´es g ´eographiques posent un probl `eme de contr ˆole de l’ensemble de ces utilisateurs du r ´eseau. Une intelligence localis ´ee pour satisfaire la demande de chaque usager apparaˆıt d `es lors comme une solution int ´eressante pour conserver une stabilit ´e sur le r ´eseau.

Cette d ´ecentralisation permet maintenant de d ´ecomposer un r ´eseau en sous-r ´eseau, les micsous-rogsous-rids, qui peuvent se suffisous-re `a eux-m ˆeme.

Les syst `emes multi-agents sont une solution ad ´equate pour le contr ˆole des utili-sateurs des smart grids, mais aussi des microgrids. Finalement, pour am ´eliorer les interactions entre les diff ´erents utilisateurs et offrir un contr ˆole personnalis ´e, il est int ´eressant d’int ´egrer une partie apprenante dans le syst `eme.

3

U

N CADRE POUR LA D

EFINITION ET

´

L

’ ´

EVALUATION DES APPROCHES POUR

SMARTGRIDS

3.1/

I

NTRODUCTION

De nombreux investissements ont ´et ´e faits, particuli `erement par l’Union

Eu-rop ´eenne et aux ´Etats-Unis, pour tester, d ´evelopper et d ´eployer les nouvelles

technologies permettant une gestion intelligente des r ´eseaux. De nouveaux tra-vaux sont en train d’ ´evaluer les co ˆuts, les performances et le b ´en ´efice que va en-gendrer cette nouvelle technologie. Actuellement, aucun standard n’a ´et ´e ´etabli, mais de r ´ecents travaux sont en cours. Nous pouvons citer :

– le second s ´eminaire EU-US sur les ”Smart Grid Assessment Methodologies ” conjointement organis ´e par le Joint Research Centre et le Department of

Energy (DoE), avec l’aide du US-EU Energy Council-Technology Working Group, le 7 novembre 2011 `a Washington, le premier s ´eminaire ayant eu lieu le

6 d ´ecembre 2010 `a Albuquerque. Ces deux s ´eminaires ont amen ´e `a la cr ´eation d’un rapport pour ´evaluer les avantages et les impacts des r ´eseaux intelligents [Giordano and Bossart, 2012].

– un cadre d’ ´evaluation des projets de d ´eploiement de r ´eseaux intelligents [Herter et al., 2011]

– un smart grid scorecard1 _{qui fournit une liste de pr ´erequis qu’un produit doit}

contenir pour pouvoir s’int ´egrer `a un r ´eseau intelligent.

– des initiatives pour d ´eterminer comment mesurer de mani `ere fiable, comment calculer les co ˆuts r ´eels et comment d ´efinir les avantages des projets li ´es aux r ´eseaux intelligents [Bossart and Bean, 2011, Wakefield, 2010].

Ce chapitre s’inscrit dans la m ˆeme ligne que ces travaux en pr ´esentant un cadre d’ ´evaluation pour les approches `a base d’agents pour les smart grids. Il est inspir ´e de l’article [Basso et al., 2013]. Dans les sections suivantes, nous pr ´esentons le cadre d’ ´evaluation. Celui-ci se d ´ecompose en deux ´etapes, la premi `ere a pour but de positionner et d’ ´evaluer l’approche ´etudi ´ee. Cette ´etape se d ´ecompose en

1. http://www.smartgridnews.com/pdf/Smart Grid Scorecard.pdf

deux dimensions :

– la dimension structurelle : qui repr ´esente l’infrastructure du r ´eseau ´etudi ´e ;

– la dimension du probl `eme : qui d ´efinit les diff ´erentes classes de probl `eme

que doit r ´esoudre un smart grid.

La seconde ´etape permet d’ ´evaluer qualitativement et quantitativement les diff ´erentes approches par l’ ´evaluation des impacts soci ´etaux des smart grids. Ces impacts sont d ´efinis par rapport aux principaux objectifs des smart grids : – la r ´eduction des gaz `a effet de serre : qui permet d’ ´evaluer la r ´eduction de

l’empreinte carbone `a travers la chaˆıne de production du r ´eseau. Elle est trait ´ee par la dimension environnementale du cadre d’ ´evaluation ;

– la s ´ecurit ´e ´energ ´etique : qui ´evalue la possibilit ´e d’extension du r ´eseau et les

interruptions qui peuvent apparaˆıtre sur celui-ci. Elle est trait ´ee par la dimen-sion structurelle et la dimendimen-sion de la qualit ´e de service du cadre d’ ´evaluation ; – la comp ´etitivit ´e ´economique : qui permet d’ ´evaluer l’investissement n ´ecessaire au d ´eploiement de l’intelligence sur le r ´eseau, mais aussi l’int ´egration de cette intelligence sur le march ´e de l’ ´energie. Elle est trait ´ee par la dimension ´economique du cadre d’ ´evaluation ;

– l’int ´egration de l’humain : qui ´evalue l’int ´egration des consommateurs et

leurs participations sur ce nouveau r ´eseau. Elle est trait ´ee par la dimension humaine du cadre d’ ´evaluation.

Pour l’ensemble de ces objectifs, un ensemble d’indicateurs est propos ´e. Tou-tefois, il n’est pas toujours possible de tester l’ensemble des approches avec chaque indicateur, certaines approches ne prenant pas du tout en compte cer-tains objectifs.

La section 3.2 pr ´esente l’aspect structurel et les familles des probl `emes permet-tant le positionnement de l’approche ´etudi ´ee. La section 3.3 pr ´esente l’impact de l’approche `a travers les dimensions soci ´etales et humaines.

3.2/

L

A D

EFINITION POUR L

´

’ ´

EVALUATION ET LE POSI

-TIONNEMENT

3.2.1/

L

La dimension structurelle d ´efinit l’infrastructure d’un r ´eseau intelligent. Elle est constitu ´ee de deux syst `emes complexes interconnect ´es : le r ´eseau d’ ´energie physique dans lequel s’ ´echange l’ ´energie fournie au r ´eseau et le march ´e de l’ ´energie o `u s’ ´echangent les valeurs financi `eres de l’ ´energie [Kok et al., 2010]. Ces deux syst `emes et leurs relations sont pr ´ecis ´ement d ´ecrits par une ontolo-gie dans [van Dam, 2009]. Pour cerner l’approche `a ´etudier, certaines questions doivent ˆetre pos ´ees. Ces questions permettent de d ´efinir la complexit ´e du r ´eseau physique, par son nombre d’utilisateurs, leurs vari ´et ´es, leurs interactions. Elles doivent permettre de d ´efinir la topologie du r ´eseau physique ainsi que les liens