Chapitre 1. Crues rapides
1.5 Critères d’évaluations des modèles
Les modèles de prévision des crues rapides développés dans nos travaux sont évalués par la comparaison des hydrogrammes mesurés et estimés. Une analyse visuelle de ces hydrogrammes permet, dans un premier temps, une bonne évaluation des performances des modèles. Cependant, l’utilisation de critères objectifs est requise pour comparer différents modèles. Ces critères d’évaluation sont des fonctions mathématiques des erreurs des modèles, permettant de mesurer la distance entre les valeurs de sortie mesurées et estimées. Ces critères peuvent être utilisés aussi bien pour la sélection ou la calibration du modèle que pour son évaluation. Il est cependant important de ne pas s’attacher uniquement aux critères d’évaluation, qui ne rendent pas toujours compte de manière satisfaisante des performances des modèles. En effet, chacun de ces critères a des spécificités, qui seront présentées dans cette section. C’est pourquoi l’évaluation objective des performances d’un modèle ne peut se passer, d’une part, de l’analyse visuelle des hydrogrammes estimés, et d’autre part, de l’utilisation de plusieurs critères complémentaires. Dans cette étude, nous avons sélectionné des critères d’évaluation en regard des besoins spécifiques de la prévision des crues.
1.5.1 Critère de Nash-Sutcliffe
Le critère de Nash-Sutcliffe, communément appelé critère de Nash, est largement utilisé en modélisation hydrologique (Nash and Sutcliffe, 1970). Il exprime la proportion de la variance des sorties expliquée par le modèle hydrologique. Il représente ainsi la différence relative entre l’erreur du modèle testé et l’erreur d’un modèle de référence. Ce modèle de référence est défini par la moyenne des sorties observées. Le critère de Nash est calculé à l’aide de la formule donnée à l’équation (1). Notons que ce critère est équivalent au coefficient de détermination R2, utilisé en statistiques.
Ce critère varie entre un et moins l’infini. Il prend la valeur de un lorsque les sorties estimées s’accordent parfaitement aux sorties observées ; lorsque le modèle possède la même performance moyenne que le modèle de référence, il prend une valeur nulle et lorsqu’il est moins performant il prend une valeur négative.
( )
( )
2 2 1 2 1 1 n k k p s k n k p p k y y R y y = = =-å
å
(1) avec, k py la sortie mesurée sur le processus à l’instant discret k,
k s
y la sortie estimée à l’instant discret k,
p
y la sortie moyenne mesurée sur l’ensemble de n couples sur lesquels portent le critère.
Pour la modélisation des crues rapides, le critère de Nash peut être considéré comme satisfaisant au-delà de 0,8 (Moussa et al., 2007). Cependant, selon l’horizon de prévision et l’évènement considéré, le critère de Nash doit être plus élevé, pour que le modèle évalué soit
plus performant que le modèle dit naïf. Le modèle naïf est celui pour lequel la sortie estimée à l’instant de l’horizon de prévision est égale à la sortie mesurée à l’instant de prévision. Le Tableau 3 présente les performances du modèle naïf pour la prévision de l’évènement survenu sur le Gardon d’Anduze les 8 et 9 septembre 2002 avec des horizons de 30 min à 5 h. Les variations du critère de Nash du modèle naïf sont très importantes en fonction de l’horizon de prévision ; le critère de Nash seul ne peut donc suffire pour déterminer la qualité d'un modèle de prévision.
Notons également que le critère de Nash présente l’avantage d’être normalisé et peut ainsi être utilisé pour comparer les performances de modèles pour différentes intensités d’évènements et différents bassins versants. En revanche, il peut lui être reproché de calculer l’erreur sur l’ensemble d’une chronique. En effet, pour une application à la modélisation des crues rapides, où l’attention est portée sur la qualité de l’estimation du pic de crue, le critère de Nash peut fournir de bonnes valeurs pour un hydrogramme estimé, restituant bien la montée de crue et la décrue, mais mal le pic de crue. De plus, un modèle dont les sorties sont retardées par rapport aux sorties mesurées peut fournir de bonnes performances en regard du critère de Nash, comme le montrent les performances du modèle naïf présentées au Tableau 3. C’est pourquoi ce critère est parfois considéré comme peu adapté aux modèles de prévision des crues (Moussa, 2010).
Tableau 3. Critères de Nash des prévisions naïves de l’évènement du 8 et 9 septembre 2002 sur le Gardon d’Anduze (Toukourou, 2009)
Horizon de prévision (h) 0,5 1 2 3 4 5
Critère de Nash 0,95 0,84 0,57 0,34 0,07 -0,33
1.5.2 Critère de persistance
L’utilisation du critère de persistance est réservée à l’évaluation des modèles de prévision. Il rend mieux compte de la synchronisation des chroniques estimées et mesurées que le critère de Nash. Le critère de persistance représente l’erreur du modèle testé rapportée à la variabilité du signal (Kitanidis and Bras, 1980). Le critère de persistance est calculé à l’aide de la formule donnée à l’équation (2).
Ce critère varie entre un et moins l’infini. Il prend la valeur de 1 lorsque les sorties calculées s’accordent parfaitement aux sorties observées ; lorsque le modèle a la même performance moyenne que le modèle naïf, il prend une valeur nulle et lorsqu’il est moins performant, il prend une valeur négative. Notons que le critère de persistance est souvent amélioré avec l’augmentation de l’horizon de prévision alors même que les performances réelles du modèle sont dégradées. Ceci est dû au fait que les performances du modèle naïf se dégradent plus vite que celles du modèle évalué avec l’augmentation de l’horizon de prévision.
( )
( )
2 1 2 1 1 k l k l p s k p n k l k p p k y y C y y + + = + = =-å
å
(2) avec, k l py + la sortie mesurée sur le processus à l’instant de l’horizon de prévision l,
k l s
y + la sortie prévue à l’instant de l’horizon de prévision l,
k p
y la sortie observée à l’instant de prévision k.
1.5.3 Synchronous Percentage of the Peak Discharge
Le Synchronous Percentage of the Peak Discharge (SPPD), en français pourcentage du pic de crue synchrone, rend compte de la qualité de la restitution du pic de crue estimé à l’instant du pic de crue mesuré (Artigue et al., 2012). Il est exprimé en pourcentage et représente le rapport entre la hauteur simulée et la hauteur observée à l’instant du pic de crue observé kmax. (Figure 10). La formule utilisée pour calculer le SPPD est présentée à l’équation (3).
max max PPD 100 k s k p y S y = (3) avec, kmax s
y la sortie estimée à l’instant kmax du pic de crue mesuré sur le processus, max
k p
y la sortie mesurée sur le processus à l’instant kmax du pic
Ce critère est spécifique à l’évaluation de la modélisation des crues pour laquelle la restitution quantitative et temporelle du pic est un critère de qualité majeur.
Figure 10. Représentation graphique des variables intervenant dans le calcul du Synchronous Percentage of the Peak Discharge.
1.5.4 Peak Delay
Le Peak Delay (Pd), en français retard du pic de crue, rend compte de la synchronisation des pics de crues estimé et mesuré. Bien qu’il puisse paraître simpliste, il est pourtant indispensable pour estimer les performances des modèles de prévision des crues rapides. La formule utilisée pour calculer le Pd est présentée à l’équation (4). Ce critère est positif pour un pic de crue estimé retardé et négatif pour un pic de crue anticipé.
Pd =ksmax-kpmax (4)
avec, max
s
k l’instant d’occurrence du pic de crue estimé, max
p
k l’instant d’occurrence du pic de crue mesuré.
La présentation de ces critères d’évaluation des performances des modèles de prévision des crues rapides souligne leurs qualités et leurs limites mais aussi leur complémentarité. Cette complémentarité justifie une évaluation multicritère des performances de nos modèles.