Méthodologie d’évaluation du modèle pluie-débit

4.2.3.1 Stratégie d’évaluation

Pour évaluer les modélisations pluie-débit, nous suivons une procédure de calage-contrôle (Klemeš 1986) sur un grand nombre de bassins versants :

(i) Les dix années de données (1997-2006) sont scindées en deux périodes indépendantes de cinq ans (1997-2001 et 2002-2006) ;

(ii) un jeu de paramètres est calé sur chaque période de cinq ans et pour chaque bassin ; (iii) les performances du modèle sont ensuite calculées sur la période qui n’a pas été utilisée

106

Les performances du modèle sont évaluées en validation, sur deux périodes indépendantes de 5 ans, en termes de précision et robustesse. La précision est la mesure de la qualité des simulations par rapport au débit observé à l’exutoire des bassins versants. La robustesse est la mesure de la stabilité des performances et des jeux de paramètres entre les deux périodes d’évaluation (1997- 2001 et 2002-2006). Par ailleurs, puisque nous nous intéressons à l’impact de la variabilité spatiale des précipitations sur les crues, les simulations seront aussi évaluées sur les événements de crue sélectionnés.

4.2.3.2 Critères d’évaluation

Le Tableau 5 présente les critères d’évaluation utilisés dans notre travail de recherche pour évaluer la précision les simulations de débit. Les critères KGE (Gupta et al. 2009), NSE (Nash and Sutcliffe 1970) et C2M (Mathevet et al. 2006) mesurent la qualité générale des simulations de débits sur l'en-

semble de la chronique simulée. L’erreur d’amplitude du pic de crue ΔQp, le décalage du pic de crue

Δtp et l’erreur de volume de crue ΔV sont des critères événementiels calculés sur les événements de

crue uniquement : ils mesurent la qualité des simulations de débit sur le pic de crue, la phase du pic de crue et le volume de crue. Nous rappelons que le pic de crue a été défini comme le débit maxi- mum sur l’événement de crue : il y a un seul pic de crue par événement et si plusieurs pics de crue sont observés pour un même événement, seul le pic de crue le plus fort (observé et simulé) est considéré pour l’évaluation.

Le critère NSE est le critère d’évaluation le plus utilisé dans la littérature : il correspond au critère d’erreur quadratique normalisé par l’erreur d'un modèle de référence défini par la moyenne des débits et il varie entre –∞ et 1. Le critère C2M est une version bornée du critère NSE qui permet de

compenser certains des problèmes du critère NSE (Mathevet et al. 2006). En effet, les bassins diffi- ciles à modéliser peuvent engendrer des valeurs fortement négatives du critère NSE ou KGE : la moyenne des performances sur un échantillon de bassins n’est alors plus significative, ce qui com- plique l’évaluation du modèle pluie-débit. C’est pourquoi, nous utiliserons aussi le critère C2M qui

est mieux adapté pour comparer les performances sur un grand nombre de bassins versants puisqu’il a l’avantage d’être borné entre -1 et 1. Notons que les critères NSE et C2M ont la même

signification, la valeur nulle correspondant à la même erreur que celle du modèle de référence, et ils sont reliés par les formules suivantes (Mathevet 2005) :

€_@ = _{1 +}2 . •

•

Chapitre 4 : Modélisation hydrologique globale

107

Critère d’évaluation Formulation Limites Valeur optimale

Nash-Sutcliffe €_@ = 1 − ‚PE2, S− E2S2yQ IE₂, S_{− E}, S_R [ -∞ ; 1 ] NSE = 1 C2M • = 1 − ∑Iƒ9 „>…_†ƒ 9…9‡Rˆ ]„>…ˆ 1 +∑Pƒ₉„>…_†ƒ 9…9‡Qˆ ]„>…ˆ [ -1 ; 1 ] C2M = 1 Erreur d’amplitude

du pic de crue ‰E- =

ŠE-S2y− E-, SŠ

E_-, S

[ 0 ; +∞ ] ΔQp = 0

Décalage du pic de

crue ‰Z- =

ŠZPE-, SQ − ZPE-S2yQŠ

Z_‹2T− Z_Œ• [ 0 ; +∞ ] Δtp = 0 Erreur de volume de crue ‰Ž = ∑ ŠE₂S2y_{− E} 2, SŠ 2ˆ 2X2• ∑2ˆ E₂, S 2X2• [ 0 ; +∞ ] ΔV = 0

Tableau 5: Critères d’évaluation des simulations de débit avec : •_‘’“” et •_‘”‘• les débits observé et simulé au pas de temps i, µobs et –’“”— respectivement la moyenne et la variance des débits observés, •˜”‘• et •™’“” les pics de crue

simulés et observés respectivement, šP•_˜”‘•Q et šP•_˜’“”Q les ordonnées temporelles du pic de crue observé et simulé, avec tdeb et tfin le début et la fin de l’événement de crue et i1 et i2 les pas de temps correspondants.

L’indice de performance relative introduit par Lerat et al. (2012) sera utilisé pour comparer les per- formances une option de modélisation b par rapport à une option a. Cet indice permet de compa- rer deux simulations par rapport à une référence indépendante (le débit observé dans notre cas) :

y~›| • =•~E

, S_{, E}$_{• − •~E}, S_{, E •}

•~E, S_{, E}$_{• + •~E}, S_{, E •} Eq. 22

avec Rm[a|b] l’indice de performance relative entre le modèle a et b, Qobs le débit observé, Qa et Qb

les débit calculés respectivement par le modèle a et b, et m un critère de performance pour évaluer la qualité des débits simulés par rapport au débit observé. L’indice de performance Rm[.|.] varie

entre -1 et 1 (m=0 quand l’erreur est nulle), ce qui limite les problèmes de comparaison sur un échantillon de bassins versants par rapport à un critère non-borné (Mathevet et al. 2006; Schaefli and Gupta 2007; Seibert 2001). Dans notre cas le critère m peut être le critère 1-NSE, 1-KGE, 1-ΔTp, 1-ΔQp ou 1-ΔV. Le Tableau 6 donne plus de détails sur son interprétation.

108

Rm[b|a] m[Q

obs

,Qb]/ m[Qobs,Qa] Interprétation

1 0 b est parfait avec m[Qobs,Qb] = 0

1/2 1/3 m[Qobs,Qb] est 3 fois plus petit (meilleur) que m[Qobs,Qa]

0 1 a et b sont équivalents m[Qobs,Qa] = m[Qobs,Qb]

-1/2 3 m[Qobs,Qb] est 3 fois plus grand (moins bon) que m[Qobs,Qa]

-1 + Inf a est parfait avec m[Qobs,Qa] = 0

Tableau 6 : Interprétation de l’indice de performance relative Rm[.|.] entre le modèle b et le modèle de référence a.

4.2.3.3 Evaluation de la robustesse

En termes de précision, la robustesse est définie comme la chute de performance, sur une période donnée, entre le calage et la validation. On considère aussi que le modèle est robuste si les para- mètres optimisés entre les deux périodes indépendantes (1997-2001 et 2002-2006) sont proches. Afin d’évaluer la robustesse des jeux de paramètre, nous définissons un critère de robustesse RSSE comme la distance euclidienne entre les valeurs optimisées des paramètres, normalisée par la va- leur moyenne. Δ€_@ = W8•žŸ Ÿ¡¢†W8•?Ÿ 9£Ÿ¤9„¥ W8•žŸ Ÿ¡¢ Eq. 23 __@ = ¦& ' _'§• − '§• " §• + '§• " ¦ Eq. 24

avec ΔNSE et RSSE le critère de robustesse des performances et des paramètres du modèle respec- tivement, NSEcalage et NSEvalidation le critère de performance obtenu en calage et validation respecti-

vement, XPer1 et XPer2 le paramètre obtenu sur chaque période indépendante de simulation.

Notons qu’il est difficile d’évaluer un modèle par sa robustesse seule, dans la mesure où le modèle simulant une valeur constante quelle que soit le pas de temps serait parfaitement robuste mais très peu représentatif de la réalité. La robustesse des modèles est affectée à la fois par les erreurs struc- turelles induites par le modèle lui-même et par des données d’observation erronées, indépendam- ment du modèle utilisé. Ce critère ne peut donc être utilisé qu’en complément de critère évaluant la performance du modèle en validation de manière stricte. Toutefois, nous présenterons les distri- butions du critère de robustesse à titre indicatif. De plus, ce critère sera utile pour comparer diffé- rentes structures de modèle afin d’identifier et discriminer celles qui sont les mieux adaptées à notre recherche (cf. Chapitre 5).

Chapitre 4 : Modélisation hydrologique globale

109