Rapport de synthèse. Revue critique logiciel DEFI version 2010(Outil de Diagnostic Environnemental des Filières appliqué à la gestion des déchets ménagers)

HAL Id: hal-02594240

https://hal.inrae.fr/hal-02594240

Submitted on 15 May 2020

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

Rapport de synthèse. Revue critique logiciel DEFI

version 2010(Outil de Diagnostic Environnemental des

Filières appliqué à la gestion des déchets ménagers)

Lynda Aissani, André Dubois

To cite this version:

Lynda Aissani, André Dubois. Rapport de synthèse. Revue critique logiciel DEFI version 2010(Outil

de Diagnostic Environnemental des Filières appliqué à la gestion des déchets ménagers). [Rapport

Technique] irstea. 2010, pp.30. �hal-02594240�

Date

Février 2010

Diffusion

Document public

Commanditaire

Cabinet Merlin, propriétaire de l’outil DEFI

Auteurs

Rédaction

Amandine Dubois (EME)

Lynda Aissani (Cemagref)

R

R

A

A

P

P

P

P

O

O

R

R

T

T

D

D

E

E

S

S

Y

Y

N

N

T

T

H

H

E

E

S

S

E

E

R

R

E

E

V

V

U

U

E

E

C

C

R

R

IT

I

T

I

I

Q

Q

U

U

E

E

L

LO

O

G

G

IC

I

C

I

I

E

E

L

L

D

D

E

E

F

F

I

I

v

v

er

e

rs

si

io

on

n

20

2

01

1

0

0

(

(

O

O

u

u

t

t

i

i

l

l

d

d

e

e

D

D

i

i

a

a

g

g

n

n

o

o

s

s

t

t

i

i

c

c

E

E

n

n

v

v

i

i

r

r

o

o

n

n

n

n

e

e

m

m

e

e

n

n

t

t

a

a

l

l

d

de

es

s

F

Fi

il

li

iè

èr

re

es

s

a

ap

pp

pl

li

iq

qu

ué

é

à

à

la

l

a

g

ge

es

st

t

io

i

on

n

d

d

e

e

s

s

d

d

é

é

c

c

h

h

e

e

t

t

s

s

m

m

é

é

n

n

a

a

g

g

e

e

r

r

s

s

)

)

S

S

om

o

m

m

m

ai

a

ir

re

e

C

C

o

o

n

n

t

t

e

e

x

x

t

t

e

e

e

e

t

t

o

o

b

b

j

j

e

e

t

t

d

d

e

e

l

l

a

a

r

r

e

e

v

v

u

u

e

e

c

c

r

r

i

i

t

t

i

i

q

q

u

u

e _____________________________________ 2

e

O

O

r

r

g

g

a

a

n

n

i

i

s

s

a

a

t

t

i

i

o

o

n

n

d

d

e

e

l

l

a

a

m

m

i

i

s

s

s

s

i

i

o

o

n

n

d

d

e

e

r

r

e

e

v

v

u

u

e

e

c

c

r

r

i

i

t

t

i

i

q

q

u

u

e______________________________ 3

e

C

C

o

o

n

n

c

c

l

l

u

u

s

s

i

i

o

o

n

n

s

s

/

/

R

R

e

e

c

c

o

o

m

m

m

m

a

a

n

n

d

d

a

a

t

t

i

i

o

o

n

n

s

s

d

d

e

e

l

l

a

a

r

r

e

e

v

v

u

u

e

e

c

c

r

r

i

i

t

t

i

i

q

q

u

u

e

e

d

d

e

e

l

l

a

a

1

1

v

v

e

e

r

r

s

s

i

i

o

o

n

n

d

d

e

e

D

D

E

E

F

F

I ___________________________________________________________________ 6

I

A

A

m

m

é

é

l

l

i

i

o

o

r

r

a

a

t

t

i

i

o

o

n

n

s

s

d

d

e

e

D

D

E

E

F

F

I

I

s

s

u

u

i

i

t

t

e

e

a

a

u

u

x

x

r

r

e

e

c

c

o

o

m

m

m

m

a

a

n

n

d

d

a

a

t

t

i

i

o

o

n

n

s

s

d

d

u

u

c

c

o

o

m

m

i

i

t

t

é

é

d

d

e

e

r

r

e

e

v

v

u

u

e

e

c

c

r

r

i

i

t

t

i

i

q

q

u

u

e ________________________________________________________________ 8

e

Champ d’étude _____________________________________________________ 8

Qualité des données ________________________________________________ 9

Evaluation des impacts _____________________________________________ 9

Interprétation des résultats _________________________________________ 10

Communication des résultats _______________________________________ 11

Dépendance de l’outil au degré d’expertise de l’utilisateur ____________ 11

Conclusion ____________________________________________________________ 12

S

S

y

y

n

n

t

t

h

h

è

è

s

s

e

e

d

d

e

e

l

l

a

a

r

r

e

e

v

v

u

u

e

e

c

c

r

r

i

i

t

t

i

i

q

q

u

u

e

e

d

d

e

e

D

D

E

E

F

F

I

I

1

1

v

v

e

e

r

r

s

s

i

i

o

o

n________________________ 13

n

1

1

é

é

t

t

a

a

p

p

e

e

D

D

é

é

f

f

i

i

n

n

i

i

t

t

i

i

o

o

n

n

d

d

e

e

s

s

o

o

b

b

j

j

e

e

c

c

t

t

i

i

f

f

s

s

e

e

t

t

d

d

u

u

c

c

h

h

a

a

m

m

p

p

d

d

e

e

l

l

’

’

é

é

t

t

u

u

d

d

e ______________ 13

e

o

o

L

L

e

e

s

s

o

o

b

b

j

j

e

e

c

c

t

t

i

i

f

f

s

s

d

d

e

e

l

l

’

’

é

é

t

t

u

u

d

d

e __________________________________________ 13

e

o

o

L

L

e

e

c

c

h

h

a

a

m

m

p

p

d

d

’

’

é

é

t

t

u

u

d

d

e _______________________________________________ 13

e

2

2

é

é

t

t

a

a

p

p

e

e

A

A

n

n

a

a

l

l

y

y

s

s

e

e

d

d

e

e

l

l

’

’

i

i

n

n

v

v

e

e

n

n

t

t

a

a

i

i

r

r

e ____________________________________ 17

e

o

o

L

L

e

e

s

s

h

h

y

y

p

p

o

o

t

t

h

h

è

è

s

s

e

e

s

s_________________________________________________ 17

o

o

L

L

e

e

c

c

h

h

a

a

m

m

p

p

d

d

’

’

a

a

n

n

a

a

l

l

y

y

s

s

e _____________________________________________ 17

e

o

o

L

L

e

e

s

s

e

e

x

x

i

i

g

g

e

e

n

n

c

c

e

e

s

s

p

p

o

o

r

r

t

t

a

a

n

n

t

t

s

s

u

u

r

r

l

l

e

e

s

s

d

d

o

o

n

n

n

n

é

é

e

e

s

s ____________________________ 18

o

o

L

L

e

e

s

s

r

r

è

è

g

g

l

l

e

e

s

s

d

d

’

’

a

a

l

l

l

l

o

o

c

c

a

a

t

t

i

i

o

o

n

n

(

(

o

o

u

u

d

d

’

’

a

a

f

f

f

f

e

e

c

c

t

t

a

a

t

t

i

i

o

o

n

n

)

) ___________________________ 19

3

3

é

é

t

t

a

a

p

p

e

e

É

É

v

v

a

a

l

l

u

u

a

a

t

t

i

i

o

o

n

n

d

d

e

e

s

s

i

i

m

m

p

p

a

a

c

c

t

t

s ____________________________________ 21

s

o

o

L

L

e

e

s

s

h

h

y

y

p

p

o

o

t

t

h

h

è

è

s

s

e

e

s

s

d

d

e

e

c

c

a

a

l

l

c

c

u

u

l ________________________________________ 21

l

o

o

L

L

e

e

s

s

t

t

y

y

p

p

e

e

s

s

d

d

’

’

i

i

m

m

p

p

a

a

c

c

t

t

s _____________________________________________ 21

s

o

o

L

L

a

a

c

c

l

l

a

a

s

s

s

s

i

i

f

f

i

i

c

c

a

a

t

t

i

i

o

o

n_________________________________________________ 22

n

o

o

L

L

a

a

c

c

a

a

r

r

a

a

c

c

t

t

é

é

r

r

i

i

s

s

a

a

t

t

i

i

o

o

n

n

d

d

e

e

s

s

c

c

a

a

t

t

é

é

g

g

o

o

r

r

i

i

e

e

s

s

d

d

’

’

i

i

m

m

p

p

a

a

c

c

t

t

s

s ________________________ 23

o

o

L

L

’

’

a

a

n

n

a

a

l

l

y

y

s

s

e

e

d

d

e

e

s

s

c

c

a

a

l

l

c

c

u

u

l

l

s ____________________________________________ 24

s

4

4

é

é

t

t

a

a

p

p

e

e

I

I

n

n

t

t

e

e

r

r

p

p

r

r

é

é

t

t

a

a

t

t

i

i

o

o

n

n

-

-

C

C

o

o

m

m

m

m

u

u

n

n

i

i

c

c

a

a

t

t

i

i

o

o

n

n

d

d

e

e

s

s

r

r

é

é

s

s

u

u

l

l

t

t

a

a

t

t

s _______________ 25

s

o

o

L

L

’

’

i

i

n

n

t

t

e

e

r

r

p

p

r

r

é

é

t

t

a

a

t

t

i

i

o

o

n

n

d

d

e

e

s

s

r

r

é

é

s

s

u

u

l

l

t

t

a

a

t

t

s______________________________________ 25

s

o

o

L

L

a

a

c

c

o

o

m

m

m

m

u

u

n

n

i

i

c

c

a

a

t

t

i

i

o

o

n

n

d

d

e

e

s

s

r

r

é

é

s

s

u

u

l

l

t

t

a

a

t

t

s

s___________________________________ 25

B

B

i

i

b

b

l

l

i

i

o

o

g

g

r

r

a

a

p

p

h

h

i

i

e __________________________________________________________ 29

e

2

C

C

on

o

nt

te

ex

x

te

t

e

e

et

t

o

ob

bj

je

et

t

d

de

e

l

la

a

r

re

e

vu

v

ue

e

c

cr

ri

it

ti

iq

qu

ue

e

La prise de conscience accrue de l'importance de la protection de l'environnement et des impacts possibles associés aux produits (et aux services) a augmenté l'intérêt pour le développement de méthodes destinées à mieux évaluer ces impacts.

L'une de ces techniques en cours de développement est l'Analyse du Cycle de Vie (ACV). L’ACV est un outil d’évaluation environnementale qui permet de quantifier les entrants et sortants d’un système et les impacts environnementaux potentiels associés. Apparue dans les années 1970 et fortement développée dans les années 1990 (en 1993, création des normes françaises en ACV, depuis 1998 : création des normes internationales ISO en ACV : normes ISO 14040 à 14049), cette méthode est aujourd’hui toujours en évolution et se développe au grès des travaux de recherche.

Le logiciel DEFI (Diagnostic Environnemental des Filières) développé en 2001 par le Cabinet Merlin, est un outil informatisé d’aide à la décision basé sur cette méthodologie ACV. Il permet l’évaluation environnementale de filières de collecte et de traitement des déchets ménagers et assimilés et complète ainsi les études techniques et économiques réalisées en amont.

L’utilisation de la démarche de l’ACV dans l’outil DEFI implique le respect des recommandations méthodologiques présentes dans les normes ISO 14 040 à 14 049. Il faut noter qu’une ACV à finalité comparative (comparaison de filières, de procédés ou de produits) nécessite une revue critique notamment lorsque les résultats feront l’objet d’une communication à un public extérieur. Il s’agira d’associer à cette revue critique des entités représentant les filières, procédés ou produits concernés (« concernés » signifie « susceptibles d’être touchés par les résultats de la dite étude ») et des experts de la méthodologie ACV.

L’Agence De l’Environnement et de la Maîtrise de l’Energie (ADEME) a donc demandé au Cabinet Merlin de procéder à une revue critique de l’outil afin de vérifier sa conformité normative.

Le Cabinet Merlin décide donc, en 2007, de procéder à cette revue critique. Les entités (comité de pilotage et comité de revue critique) sont désignées en 2008. De septembre 2008 à février 2009, la revue critique a été réalisée. Suite à cette revue, le Cabinet Merlin a entamé une procédure d’amélioration de mars 2009 à mars 2010 avec un comité d’amélioration composé de certains membres du comité de revue critique. En mars 2010, DEFI 2 a vu le jour.

Ce rapport de synthèse fait état des conclusions et recommandations de la revue critique de la première version de DEFI et des améliorations apportées à DEFI qui ont conduit à DEFI 2 au regard de ces conclusions. Dans une troisième partie de ce rapport, la synthèse de la revue critique de DEFI première version est disponible.

CemOA

: archive

ouverte

d'Irstea

O

Or

r

ga

g

a

ni

n

is

sa

a

ti

t

io

on

n

d

de

e

l

la

a

m

mi

is

ss

si

io

on

n

d

de

e

r

re

e

vu

v

ue

e

c

c

ri

r

it

ti

iq

qu

ue

e

C

C

o

o

m

m

i

i

t

t

é

é

d

d

e

e

p

p

i

i

l

l

o

o

t

t

a

a

g

g

e

e

Objectif et fonctions

Ce comité est chargé de mettre en place et d’organiser la revue critique. Présidée par l’Ecole des Métiers des Métiers de l’Environnement (EME), il inclut le commanditaire (Cabinet Merlin) ainsi que des experts externes et indépendants (EVEA Conseil et Cemagref) et le demandeur (ADEME).

Membres

Le comité de pilotage de ce projet est constitué de cinq parties : le Cabinet Merlin, l’ADEME, le Cabinet EVEA Conseil, le Cemagref et l’EME (Ecole des Métiers de l’Environnement).

Le Cabinet Merlin est intégralement intégrée dans le groupe Merlin, qui accomplit plusieurs missions notamment d’études, d’assistance à maîtrise d’ouvrage et de maîtrise d’œuvre dans les domaines de l’eau, des déchets/énergie/air, du transport et de l’aménagement urbain. La branche d’activités impliquée dans le comité de pilotage est le service Déchets/Energie/Air au siège du Cabinet Merlin à Lyon.

L'ADEME participe à la mise en oeuvre des politiques publiques dans les domaines de l'environnement, de l'énergie et du développement durable. Elle mène des missions d’expertise et de conseil aux entreprises, aux collectivités locales, aux pouvoirs publics et au grand public. Elle aide en outre au financement de projets, de la recherche à la mise en œuvre dans de nombreux domaines. Les compétences déployées par l’ADEME pour cette revue critique sont la connaissance du secteur des déchets et de l’évaluation environnementale.

Le Cabinet EVEA Conseil est un bureau d’études et de conseils spécialisé en éco-conception, en Analyse du Cycle de Vie, en éco-communication et en stratégie environnementale. C’est l’expérience en expertise ACV de l’agence de Nantes qui a été sollicitée pour cette revue critique.

Le Cemagref est « l’institut de recherche pour la gestion durable des eaux et des territoires ». Le traitement de l’eau et des déchets est l’une des principales thématiques de l’établissement. Au centre Cemagref de Rennes, l’unité Gestion environnementale et traitement biologique des déchets (GERE) conçoit et développe des procédés de traitement biologique des déchets municipaux, agricoles (effluents d’élevage) et agro-industriels (boues) dans le but d’optimiser leur gestion. Celle-ci est appréhendée via une évaluation environnementale, économique et sanitaire des filières de traitement. Pour cette revue critique, le Cemagref est sollicité pour ses compétences en gestion des déchets ménagers et en évaluation environnementale.

L’EME est une école d’Ingénieur en environnement basée à Rennes qui forme de futurs Ingénieurs et techniciens dans le domaine de l’eau, des déchets, de l’énergie et du management environnemental. Six élèves ingénieurs en dernière année encadrés par un enseignant-chercheur spécialisé en gestion des déchets ont participé à cette revue critique.

C

C

o

o

m

m

i

i

t

t

é

é

d

d

e

e

r

r

e

e

v

v

u

u

e

e

c

c

r

r

i

i

t

t

i

i

q

q

u

u

e

e

4

Objectifs et fonctions

Le comité de revue critique a pour responsabilité d’effectuer cette revue critique. Les membres sont donc des parties externes et compétentes dans les disciplines abordées par l’ACV (gestion des déchets ménagers). Il coordonne et décide de l’évolution du projet.

Membres

Le comité de revue critique est composé de l’EME, du Cemagref et du Cabinet EVEA. Le Cabinet Merlin (concepteur du logiciel) est exclu de ce comité, conformément à la norme ISO 14 040, ainsi que dans un but d’objectivité de l’étude.

P

P

é

é

r

r

i

i

m

m

è

è

t

t

r

r

e

e

d

d

e

e

r

r

e

e

v

v

u

u

e

e

c

c

r

r

i

i

t

t

i

i

q

q

u

u

e

e

d

d

e

e

D

D

E

E

F

F

I

I

1

1

v

v

e

e

r

r

s

s

i

i

o

o

n

n

La revue critique telle que décrite dans la norme porte plutôt sur des études réalisées selon la méthodologie ACV et non sur des outils. Or la revue critique décrite dans ce rapport porte uniquement sur l’outil DEFI et non sur une étude réalisée avec DEFI. L’objectif est d’évaluer dans quelle mesure l’outil peut servir de support à la réalisation d’une évaluation environnementale de scénarios de gestion de déchets fiable, pertinente et conforme aux principes méthodologiques de l’Analyse du Cycle de Vie. La transparence et la cohérence de l’outil DEFI seront vérifiées, cependant la revue critique ne garantira pas la fiabilité et la robustesse des résultats d’une étude réalisée grâce à DEFI

.

La revue critique a été réalisée sur la base des documents suivants, mis à disposition par le Cabinet Merlin :

- le fichier Excel « DEFI-new » : version de novembre 2008 du logiciel

- le fichier Excel « Résultats DEFI-new » : mettant en forme des résultats à partir des données collectées dans le fichier DEFI-New version de novembre 2008.

- le fichier Excel « DEFI.rapport.scénario 1 » : issu du rapport de stage qui a permis d’avoir un ficher ayant des données d’un scénario défini par le stagiaire Bejuy, version de juillet 2008. - le rapport de stage de Guillaume BEJUY, « Bilan environnemental et carbone de la gestion

des déchets ménagers, mise à jour du logiciel DEFI », Rapport de stage, PFE, version de juillet 2008, 93 p. Ce rapport a permis au comité de revue critique de se familiariser avec DEFI, une notice faisant défaut.

- Le mémoire de fin d’études de Lysiane SALLEE, « Bilan environnemental de la gestion des déchets. Validation et interprétation des résultats issus du logiciel DEFI ». Rapport de stage, PFE, version de mai 2003, 173 p.

- Le rapport d’évaluation environnementale du PDEDMA de la Vendée réalisée avec DEFI pour juger de la présentation des résultats, version de juin 2005.

T

T

r

r

a

a

v

v

a

a

i

i

l

l

d

d

e

e

c

c

h

h

a

a

q

q

u

u

e

e

p

p

a

a

r

r

t

t

e

e

n

n

a

a

i

i

r

r

e

e

La revue critique du logiciel DEFI a été réalisée parallèlement entre les différents partenaires du projet. Les trois parties du comité de revue critique (EME, EVEA Conseil et Cemagref) ont évalué la conformité générale de DEFI aux principes de l’ACV (normes ISO 14 040 à ISO 14 049). Elles ont ensuite analysées différents éléments en fonction de leurs compétences (cf. figure 1).

CemOA

: archive

ouverte

d'Irstea

Figure 1 : Synoptique d’organisation et de méthodologie

La revue critique est effectuée sur l’outil DEFI, en ces termes la transparence et la cohérence de la méthode sont évaluées. Ceci signifie que la présente revue ne garantit pas la fiabilité et la robustesse des résultats obtenus par l’utilisation de DEFI mais examine la pertinence de l’outil.

C

C

o

o

m

m

i

i

t

t

é

é

d

d

’

’

a

a

m

m

é

é

l

l

i

i

o

o

r

r

a

a

t

t

i

i

o

o

n

n

Objectifs et fonctions

Le comité d’amélioration a pour responsabilité de suivre l’amélioration de DEFI suite aux recommandations du comité de revue critique. Les membres sont les mêmes parties que ceux du comité de revue critique à l’exception du bureau EVEA Conseil. Le Cemagref a également eu une activité de support pour l’amélioration de DEFI.

Membres

Le comité d’amélioration est composé de l’EME, du Cemagref et du Cabinet Merlin, ce dernier étant concepteur du logiciel et acteur de son amélioration.

Conformité générale aux principes de l’ACV

•

•

Synthèse de la revue critique DEFI

Revue critique EVEA Revue critique EME Revue critique Cemagref

Vérification des hypothèses et données relatives aux procédés de

traitement biologiques Conformité générale aux

principes de l’ACV

Remarques particulières sur l’interprétation et la pondération des résultats Conformité générale aux

principes de l’ACV

Améliorations conduisant à DEFI 2 au regard de la revue critique

CemOA

: archive

ouverte

d'Irstea

6

C

C

on

o

nc

cl

lu

us

si

io

on

ns

s/

/R

Re

e

co

c

om

mm

m

a

a

nd

n

da

at

ti

io

on

ns

s

d

de

e

l

la

a

r

re

e

vu

v

ue

e

c

c

ri

r

it

ti

iq

qu

ue

e

d

de

e

l

la

a

1

1

v

ve

er

r

s

s

io

i

on

n

d

de

e

D

D

EF

E

FI

I

Dans son principe, l’outil DEFI paraît adapté à une évaluation environnementale de filières de gestion de déchets ménagers et assimilés en France métropolitaine ; cependant, il présente plusieurs points de non-conformité en ce qui concerne la méthodologie ACV choisie pour effectuer ses bilans environnementaux.

L’outil DEFI doit être considéré avant tout comme un support de discussion pour les décideurs des collectivités locales. Dans ce cadre, les applications de l’outil se déclinent :

- pour évaluer l’impact de systèmes de gestion locale existant actuellement par comparaison à l’impact d’un ou plusieurs autres systèmes de gestion locale,

- pour évaluer des scénarios d’une ampleur locale à régionale,

- pour effectuer des analyses comparatives de scénarios en France métropolitaine.

Le système, l’unité fonctionnelle et le champ d’étude sont définis de manière satisfaisante mais il reste à préciser les limites des entrants et des sortants des étapes du cycle de vie prises en compte. La détermination des frontières des systèmes et des hypothèses doit être la plus homogène et cohérente possible. C’est un point important à améliorer au logiciel DEFI dans sa version actuelle.

Les hypothèses et les exigences relatives à la qualité des données sont quant à elles insuffisantes. Afin que DEFI soit pertinent et robuste, un travail de recueil et de documentation des données est indispensable. Un logiciel de calcul est utilisé afin d’effectuer les bilans matière en incinération, cette utilisation doit être explicitée au même titre que l’utilisation du logiciel DEFI. Ce logiciel de calcul des émissions d’incinération n’a pas fait l’objet de cette revue critique et la robustesse des résultats issus de ce logiciel ne peut être assurée.

DEFI permet de quantifier et de qualifier un certain nombre de catégories d’impacts. Cependant, toutes les catégories d'impacts classiquement intégrées à l'ACV ne sont pas représentées. Ce manque induit un caractère partiel à l’analyse, ce caractère partiel doit être clairement exprimé. Il serait souhaitable qu’à terme DEFI intègre un plus grand nombre de catégories d’impact afin de diminuer le caractère partiel de l’analyse.

Les résultats à l’issue de l’utilisation de DEFI permettent de répondre partiellement à l’objectif de choix d’un scénario pour une collectivité au regard du manque de mise en perspective des résultats par rapport aux limites de l’étude. Pour ne pas biaiser la décision, il est donc important de bien préciser le caractère partiel de l’analyse environnementale et les limites de l’étude tant au regard de la qualité des données qu’au regard de la pertinence des hypothèses de modélisation du système et de calcul.

En ACV, la norme fait état d’une étape facultative qui consiste à normaliser (normalisation : calcul de l'importance des résultats d'indicateurs de catégorie par rapport à une information de référence), regrouper (groupement : tri et éventuellement classement des catégories d'impact), ou pondérer (pondération : conversion et éventuellement agrégation des résultats d'indicateurs dans des catégories d'impacts en utilisant des facteurs numériques fondés sur des choix de valeurs) les résultats. Dans DEFI, aucune de ces options facultatives n’est utilisée. Le comité de revue critique a approuvé le fait de ne pas utiliser ces éléments. Ceci paraît approprié étant donné les risques de perte d’information et de subjectivité engendrés par ces processus.

CemOA

: archive

ouverte

d'Irstea

Finalement, des efforts doivent être faits afin de limiter la dépendance des résultats à l’utilisateur du logiciel DEFI. La réalisation d’une notice d’utilisation, la précision des hypothèses et des frontières du système devraient permettre de remédier à cet inconvénient.

CemOA

: archive

ouverte

d'Irstea

8

A

Am

m

él

é

li

io

or

r

at

a

ti

io

on

ns

s

d

de

e

D

DE

EF

FI

I

s

su

ui

it

te

e

a

au

ux

x

r

re

e

c

c

om

o

m

ma

m

a

nd

n

da

at

ti

io

on

ns

s

d

du

u

c

c

om

o

m

it

i

té

é

d

de

e

r

re

e

vu

v

ue

e

c

cr

r

it

i

ti

iq

qu

ue

e

La partie Conclusions/Recommandations ci-dessus fait état des principaux points de non-conformité de DEFI au regard des normes ACV. Ces non-conformités détectées ont été reprises point par point et comparées aux améliorations de DEFI réalisées par le Cabinet Merlin. Un balayage plus détaillé de la revue critique a été également effectué afin de vérifier que toutes les recommandations ont été prises en compte.

Champ d’étude

Description précise des frontières

Dans la première version de DEFI, la définition des frontières n’était pas suffisamment explicitée, ce qui entraînait une interprétation restreinte des résultats.

Dans DEFI 2, les frontières sont plus transparentes : les activités inclues sont identifiées et les limites de chaque module en termes de flux entrants et sortants du module sont décrites.

Le degré de description apparaît suffisant même s’il aurait été souhaitable de faire apparaître également les activités ou flux exclus.

Cohérence et homogénéité des frontières

Dans la première version de DEFI, à l’échelle de l’ensemble du système, il a été noté un manque d’homogénéité dans la définition des frontières notamment en ce qui concerne la prise en compte du devenir des coproduits et/ou des déchets résultant des modules.

Dans DEFI 2, il a été porté une attention particulière à l’homogénéité de la définition des frontières pour l’ensemble des modules notamment pour la modélisation du devenir des coproduits et des déchets. Quelque soit le module, la production et le devenir des coproduits ou des déchets sont pris en compte de manière équivalente dans un souci d’homogénéisation à l’échelle du système1.

La modélisation des frontières de chaque module présente une homogénéité certaine, ce qui permet une cohérence plus forte à l’échelle globale du système.

Transparence des hypothèses

Dans la première version de DEFI, les hypothèses prises sur les données et sur les calculs ne sont peu voire pas décrites. Dès lors, il était difficile de juger de la pertinence des hypothèses et de leur incidence sur les résultats.

Dans DEFI 2, les hypothèses prises sur les données, sur les calculs et éventuellement sur les techniques sont décrites et justifiées dans un document externe au logiciel mais accessible à tout utilisateur. Elles sont également disponibles en Annexe du rapport descriptif de l’outil DEFI 2 (remis à l’ADEME).

1

: Système : un scénario de gestion des déchets ménagers et assimilés.

CemOA

: archive

ouverte

d'Irstea

Le principe de transparence préconisée par la norme 14040 pour la description des hypothèses est respecté et permet de mettre les résultats d’impact obtenus en perspective par rapport aux frontières afin d’interpréter les résultats de manière pertinente.

Qualité des données

Documentation

Dans la première version de DEFI, les données utilisées étaient très peu documentées en termes de source, de représentativité et fiabilité. Cette faible documentation ne permettait pas d’apprécier ensuite la fiabilité des résultats au regard de la qualité de ces données.

Dans DEFI 2, les données utilisées dans l’outil sont systématiquement documentées dans le logiciel lui-même par une source comportant le titre, l’auteur, et l’âge du rapport dont elles sont issues. Toute nouvelle donnée doit être documentée de la même façon.

La documentation des données permet plus facilement d’interpréter les résultats au regard de la représentativité et de la fiabilité de la source et de la valeur utilisée.

Analyses de sensibilité

Dans la première version de DEFI, les données sensibles (données non fiables et impactantes sur les résultats à l’échelle du système et voire à l’échelle du module) n’étaient pas identifiées et ne faisaient pas l’objet d’analyse de sensibilité (variation de la valeur dans une fourchette réaliste et analyse de l’impact sur les résultats).

Dans DEFI 2, un travail de vérification et d’analyse de ces données est prévu au terme de la phase de programmation du logiciel. Cette étape apparaît primordiale au regard de l’importance de certaines données sur les résultats.

L’analyse de sensibilité des données n’est pas encore effective sur la version de février 2010 de DEFI 2. Néanmoins, le comité de revue critique précise que cette analyse de sensibilité doit être effectuée avant une utilisation commerciale de DEFI 2. Cette phase est a priori planifiée par le Cabinet Merlin. La fiabilité des résultats sera accrue si des analyses de sensibilité sont réalisées et si les résultats de ces analyses sont utilisés de manière transparente pour l’interprétation des résultats d’impact.

Evaluation des impacts

Choix des catégories d’impacts

Dans la première version de DEFI, un nombre insuffisant d’impacts était évalué au regard du principe d’exhaustivité de la norme ISO 14 040. Le caractère partiel de cette analyse entraînait des biais dans l’interprétation des résultats et surtout dans la hiérarchisation des scénarios. Par ailleurs, l’outil permettait d’évaluer des caractéristiques telles que les consommations d’énergie et de matières premières qui ne sont pas des impacts à proprement parlé mais elles y étaient assimilées.

Dans DEFI 2, un choix d’exhaustivité des impacts à évaluer a été fait. Toutes les catégories d’impact quantifiables en l’état actuel des connaissances dans le domaine de la gestion des déchets et de l’ACV sont considérées. Parmi ces catégories, certaines présentent un enjeu important en matière de gestion des déchets telles que l’augmentation de l’effet de serre, l’épuisement des ressources et la toxicité. La distinction entre caractéristiques du système et impacts environnementaux a été réalisée et le nombre de caractéristiques prises en compte augmenté avec notamment l’intégration de la notion d’odeurs, de bruit, d’occupation environnementale de l’espace et de bilans énergétiques et hydriques.

CemOA

: archive

ouverte

d'Irstea

10

L’évaluation des impacts dans DEFI 2 tend vers l’exhaustivité avec un plus grand nombre de catégories d’impact (une dizaine) et de caractéristiques évalués qui apparaissent comme particulièrement pertinents pour l’évaluation environnementale de la gestion des déchets ménagers et assimilés.

Méthode d’évaluation

Dans la première version de DEFI, aucune méthode d’évaluation des impacts n’était explicitée. Pour l’évaluation de l’impact toxicité et des notions des nuisances telles que bruit, odeurs et impact paysager, aucune méthode formalisée n’était utilisée et les critères de cotation étaient absents rendant l’évaluation subjective.

Dans DEFI 2, pour une raison d’homogénéité et de transparence, une méthode de caractérisation des impacts environnementaux a été choisie. Il s’agit de CML 2001 version 2008, qui est la méthode la plus utilisée par les praticiens de l’ACV. Pour l’évaluation des caractéristiques, une méthode formalisée a été développée s’appuyant sur des critères présentés de manière transparente. Cette méthode n’a pas encore été testée à l’échelle d’un scénario par différents utilisateurs pour évaluer son degré d’objectivité. En ce qui concerne l’impact de la gestion des déchets sur le changement climatique, une prise de conscience du phénomène de séquestration du carbone biogénique dans les installations de stockage des déchets ménagers est au centre des débats notamment au sein de l’Ademe et du GIEC (Groupe d’experts Intergouvernementaux sur l’Evolution du Climat). Cependant, DEFI 2 ne prend, pour l’instant, pas en compte ce phénomène et calcule l’augmentation de l’effet pour un horizon temporel de 100 ans (l’échelle temporelle de 100 ans étant issue d’un consensus international).

L’évaluation des impacts environnementaux et des caractéristiques dans DEFI 2 est plus transparente et formalisée conformément au principe de la norme ISO 14040. Cette formalisation diminue la part de subjectivité de l’évaluation qui existait dans la première version de DEFI. CML 2001 version 2008, méthode utilisée pour évaluer les impacts environnementaux est une des plus reconnues au niveau européen. Il s’agit donc d’une méthode pertinente pour DEFI 2 dont les résultats sont à destination des collectivités. Cela assure ainsi une plus grande fiabilité de l’étape de caractérisation des impacts.

Une remarque peut cependant être faite sur l’évaluation de l’augmentation de l’effet et la non prise en compte du phénomène de séquestration du carbone biogénique. L’état des connaissances sur ce phénomène étant en évolution permanente, il serait souhaitable que DEFI 2 intègre prochainement la prise en compte de ce phénomène dans le calcul de l’impact « augmentation de l’effet de serre » et que cette thématique fasse l’objet d’une veille particulière.

Interprétation des résultats

Dans la première version de DEFI, la phase d’interprétation des résultats était insuffisante et incomplète notamment du fait du manque de mise en perspective des résultats par rapport aux hypothèses et aux données utilisées.

Dans DEFI 2, la phase d’interprétation des résultats, moyennant l’effort du praticien, pourra s’appuyer sur l’analyse de la pertinence des hypothèses qui ont été formalisées de manière transparente au préalable et sur les analyses de sensibilité qui n’ont pas encore été menées à ce jour.

La construction plus transparente et complète de DEFI 2 permet, a priori, à l’utilisateur une meilleure interprétation des résultats même si ceux-ci sont plus nombreux du fait d’un grand

CemOA

: archive

ouverte

d'Irstea

nombre de catégories d’impact évaluées. Cependant, cette phase est du seul ressort de l’utilisateur, le logiciel ne fournissant que les résultats sous forme numérique ou graphique. Il est donc impossible de confirmer, a priori, qu’une procédure satisfaisante d’interprétation des résultats sera menée par l’utilisateur. Il est seulement possible d’attester la complétude de l’outil pour une bonne réalisation de cette phase d’interprétation.

Communication des résultats

Dans la première version de DEFI, les résultats étaient exprimés sous forme de radar et de flèches avec une cotation de mauvais à très bon. Cette présentation des résultats n’était pas satisfaisante au regard de la subjectivité du classement et de son découpage trop ambitieux.

Dans DEFI 2, cette phase de présentation des résultats n’est pas encore terminée mais une réflexion est déjà entamée avec une préférence pour une présentation sous forme d’histogramme par catégorie d’impact pour l’ensemble du scénario et dans un deuxième temps une présentation sous forme d’histogramme différenciant l’origine des émissions et les modules les plus contributeurs.

La présentation des résultats sous DEFI 2 semble, a priori, plus satisfaisante en différenciant les résultats par catégorie d’impact pour l’ensemble du scénario et en spécifiant ensuite l’origine des émissions (amont, internes ou évitées) et les modules les plus contributeurs. Il serait intéressant d’identifier également pour chaque module contributeur le flux le plus impactant et l’activité à l’origine de ce flux.

Dépendance de l’outil au degré d’expertise de l’utilisateur

Dans la première version de DEFI, la modélisation des systèmes et le calcul des impacts étaient fortement soumis au degré d’expertise et à la sensibilité de l’utilisateur du fait de la non transparence des hypothèses de renseignement des données et de calcul des impacts (absence de notice d’utilisation).

Dans DEFI 2, les hypothèses sont décrites explicitement et la conception du logiciel permet un renseignement plus aisé des données notamment grâce à la présence de données par défaut et de liste déroulante. Une notice d’utilisation de l’outil a été rédigée dans l’objectif d’une utilisation la plus optimisée et la moins subjective possible par un praticien non expert.

La transparence des hypothèses de renseignement des données et de calcul des impacts et l’ergonomie améliorée de DEFI 2 diminue le niveau de dépendance de l’outil au degré d’expertise de l’utilisateur et diminue ainsi la subjectivité de la modélisation du système et de l’évaluation des impacts.

CemOA

: archive

ouverte

d'Irstea

12

Conclusion

La procédure de revue critique de la première version de DEFI a conduit le comité de revue critique à émettre des limites quant à l’utilisation de DEFI et des recommandations quant à son amélioration pour l’évaluation de scénarios de gestion des déchets ménagers dans un contexte d’aide à la décision pour les collectivités. Au terme de cette première revue critique, un processus d’amélioration de l’outil a été engagé par le Cabinet Merlin pour répondre aux recommandations proposées par le comité de revue critique. Ce processus a été suivi par les membres du comité de revue critique. Ce processus d’amélioration arrivant à son terme, une nouvelle version de DEFI a été développée et donne lieu donc à DEFI 2. Afin de finaliser l’amélioration de DEFI 2, le comité de revue critique a mis en perspective les améliorations face aux limites et recommandations résultant de la revue.

Le logiciel DEFI 2 a intégré les principales recommandations du comité de revue critique :

- élargissement des frontières du système avec une prise en compte des émissions en amont,

- description des hypothèses sur lesquelles le logiciel est fondé,

- documentation plus précise des données utilisées,

- évaluation environnementale exhaustive grâce à l’intégration d’un plus grand nombre d’impacts et de caractéristiques,

- diminution de la dépendance au degré d’expertise de l’utilisateur.

Néanmoins, certains points restent à réaliser :

- l’analyse de sensibilité sur les données clés du logiciel,

- un guide d’interprétation/communication des résultats vu l’exhaustivité des impacts évalués,

- la méthodologie ACV étant toujours en évolution, il conviendrait notamment d’améliorer la méthode d’évaluation de l’impact « augmentation de l’effet de serre » en tenant compte de la séquestration du carbone biogénique dans les installations de stockage des déchets ménagers et assimilés.

DEFI 2 est une version plus satisfaisante au regard des principes de la norme ISO 14040 mais également au regard des enjeux de l’évaluation environnementale des scénarios de gestion de déchets ménagers dans un contexte d’aide à la décision pour les collectivités. La méthodologie déployée apparaît pertinente et les principes de modélisation des systèmes sont cohérents. Cependant, il semble important de rappeler que le processus de revue critique de DEFI première version et l’examen de son amélioration ne permettent pas d’assurer la robustesse des résultats obtenus par DEFI 2 et la pertinence de leur interprétation.

CemOA

: archive

ouverte

d'Irstea

S

Sy

yn

nt

th

hè

è

s

s

e

e

d

de

e

l

la

a

r

r

ev

e

vu

ue

e

c

cr

r

it

i

ti

iq

qu

ue

e

d

de

e

D

DE

EF

FI

I

1

1

v

ve

e

rs

r

si

io

on

n

La présente synthèse de revue critique reprend chaque étape de la méthodologie normalisée. Dans ce rapport, pour une meilleure lisibilité, nous avons réalisé une distinction en termes de forme pour la rédaction du contenu des principes de la méthodologie, de la situation dans DEFI et des remarques et recommandations associées. Dès lors, un encadré mettra en évidence les principes à suivre en ACV, la situation rencontrée dans l’outil DEFI sera ensuite décrite et les remarques et recommandations qui en découleront seront en gras et les exemples en italique.

1

1

é

é

t

t

a

a

p

p

e

e

D

D

é

é

f

f

i

i

n

n

i

i

t

t

i

i

o

o

n

n

d

d

e

e

s

s

o

o

b

b

j

j

e

e

c

c

t

t

i

i

f

f

s

s

e

e

t

t

d

d

u

u

c

c

h

h

a

a

m

m

p

p

d

d

e

e

l

l

’

’

é

é

t

t

u

u

d

d

e

e

o

o

L

L

e

e

s

s

o

o

b

b

j

j

e

e

c

c

t

t

i

i

f

f

s

s

d

d

e

e

l

l

’

’

é

é

t

t

u

u

d

d

e

e

Selon la norme ISO 14040 [1] et ISO 14 044 [2], « la définition des objectifs d’une ACV doit indiquer sans ambiguïté les éléments suivants : l’application envisagée, les raisons conduisant à l’étude, le public concerné c’est-à-dire les personnes auxquelles il est envisagé de communiquer les résultats de l’étude et s’il est prévu que les résultats soient utilisés dans des affirmations comparatives destinées à être divulguées au public. Il faut décrire clairement pour quel type d’application l’ACV est effectuée ».

Selon le Cabinet Merlin :

L’objectif de l’étude ACV avec DEFI est d’évaluer la performance environnementale des systèmes de gestion des déchets ménagers, dans le but de pouvoir comparer plusieurs scénarios entre eux. DEFI doit être un outil d’évaluation environnementale de type ACV suffisamment flexible pour être appliqué à n’importe quel système de gestion des déchets ménagers.

L’objectif et les raisons de l’étude sont définis mais rien ne permet de connaître la portée de l’application de l’outil : le public concerné, la portée géographique. Par ailleurs, la portée décisionnelle de l’outil n’est pas décrite non plus. Le type d’application pour lequel l’étude est réalisée n’est ni clair ni explicite.

L’outil DEFI doit être considéré avant tout comme un support de discussion pour les décideurs des collectivités locales. Dans ce cadre, les applications de l’outil se déclinent de la façon suivante :

- l’évaluation de l’impact du système de gestion locale existant actuellement par comparaison à l’impact d’un ou plusieurs autres systèmes de gestion locale,

- l’évaluation des scénarios d’une ampleur locale à régionale,

-

o

o

L

L

e

e

c

c

h

h

a

a

m

m

p

p

d

d

’

’

é

é

t

t

u

u

d

d

e

e

Selon la norme ISO 14044 [2], « la définition du champ d'une ACV doit tenir compte des éléments suivants et les décrire clairement : le système de produits à étudier ; les fonctions du système de produits ou des systèmes, dans le cas d'études comparatives ; l'unité fonctionnelle ; la frontière du système ; les règles d'affectation ; la méthodologie d'évaluation de l'impact du cycle de vie et les types d'impact ; l'interprétation à utiliser ; les exigences portant sur les données ; les hypothèses ; les choix de valeurs et les éléments facultatifs ; les limitations ; les exigences de qualité des données ; le type de revue critique, le cas échéant, le type et le format du rapport spécifié pour l'étude ».

CemOA

: archive

ouverte

d'Irstea