Chapitre 4. Étude de la qualité des cartographies produites
4.1. Données de référence et outils pour la validation
été comparés sont présentées. Il s’agit des valeurs ponctuelles des capteurs SR50 et GMON (voir section 1.2.1.2) ainsi que des cartes de neige/non-neige produites avec l’algorithme de segmentation hiérarchique des données SSM/I (voir section 1.2.2.1). Pour simplifier l’appellation, ces cartes de neige/non-neige seront référées comme étant les cartes SSM/I.
Pour vérifier la similarité entre les cartographies qui sont produites par les modèles développés, trois outils sont utilisés : le score de Brier, le pourcentage de concordance et le critère d’erreurs d’omission et de commission.
4.1.1. SR50 et GMON
Les avantages d’utiliser les valeurs ponctuelles des capteurs SR50 et GMON sont qu’elles sont disponibles en temps réel et qu’elles représentent bien la réalité
à la station. Un bon modèle devra donc au moins reproduire la réalité des capteurs à l’intérieur de leur point de grille respectif. Puisque la réalité qui nous intéresse est la présence/absence de neige, les valeurs supérieures à 0 cm représentent théo- riquement la présence de neige et les autres le sol sans neige. Toutefois, la réalité d’un capteur à son point de grille respectif n’est pas exactement la même qu’à la station (voir section 1.2.1). Pour résoudre le problème, un seuillage à 1 ou 2 cm pour les SR50 et 1 cm pour les GMON a été suggéré par les chercheurs de l’Ins- titut de recherche d’Hydro-Québec. Afin de vérifier la sensibilité des algorithmes aux choix des seuils, des valeurs de 1 à 5 cm ont été systématiquement analysées. Afin de pouvoir comparer les sorties des modèles aux données de terrain, les cartes de probabilités de neige ont été croisées avec ces données. Dans l’ensemble, l’information d’une station correspond à un seul point de grille de la carte de probabilités, mais ce n’est pas toujours le cas pour les capteurs GMON pour les- quels il arrive qu’un point de grille contienne plus d’un capteur et que leur mesure respective se contredise (un capteur au sud du point de grille peut indiquer que la neige est fondue alors qu’un capteur au nord de ce même point de grille peut indiquer que la neige est encore présente). Afin de tenir compte de cette informa- tion multiple, une validation différente a été effectuée pour chaque combinaison permettant de prendre un seul capteur par point de grille. Par exemple, si un même point de grille contient les capteurs A et B et qu’un autre point de grille contient les capteurs C et D, quatre validations sont réalisées (AC, BC, AD et BD).
4.1.2. Cartes SSM/I
L’utilité des cartes SSM/I est qu’elles offrent la possibilité de comparer un à un tous les points de grille et non seulement ceux contenant un capteur SR50 ou GMON. De plus, elles ont la même résolution que les données de GTV utilisées. Puisqu’une carte SSM/I donne directement l’information sur la présence ou l’absence de neige, il n’y a pas de manipulation à effectuer. Par contre, il ne faut pas négliger le fait que les cartes SSM/I sont le résultat d’un autre modèle, donc qu’elles ne sont pas une représentation exacte de la réalité. Les modèles développés dans ce projet sont considérés satisfaisants si les cartographies obtenues sont semblables aux cartes SSM/I, sans nécessairement être identiques.
4.1.3. Score de Brier
Le score de Brier permet d’évaluer la qualité d’une prévision probabiliste d’une variable ne pouvant prendre qu’un nombre limité de valeurs (voir Brier, 1950 et Wilks, 2011). Dans le cadre de ce projet, l’utilisation de cet outil est
70 donc appropriée, car nous souhaitons évaluer la qualité des probabilités de neige produites par les différents modèles en les comparant avec les réalités neige/non- neige correspondantes.
Dans le contexte de la présente étude, le score de Brier (SB) est défini comme suit : SB = 1 n n X i=1 (pi− ri)2, (4.1.1)
où n est le nombre de points de grille ayant un capteur, pi est la probabilité de
neige estimée au point de grille i et
ri = 1 si neige; 0 si non-neige.
Le score de Brier prend ses valeurs dans l’intervalle [0, 1]. Plus le score de Brier est faible, meilleure est la prévision. Dans le contexte du projet, un score de Brier est bon si les probabilités de neige sont faibles lorsque la réalité est l’absence de neige et qu’elles sont fortes si la réalité est la présence de neige.
4.1.4. Proportion de concordance
Le calcul de la proportion de concordance (PC) entre deux cartographies est un indicateur intuitif de la qualité d’un modèle. En effet, il calcule la proportion de cas pour lesquels les diagnostics de neige ou non-neige sont identiques. Cet indicateur est défini comme suit :
PC = OO + NN
n , (4.1.2)
où OO (respectivement NN) est le nombre de cas où les valeurs au point de grille de notre modèle et de la carte de référence indiquent simultanément une présence (respectivement absence) de neige et n est le nombre total de points de grille qui ont été comparés. Un modèle est considéré satisfaisant si la proportion de concordance est élevée, car cela signifie que les probabilités estimées aux points de grille sont très souvent en accord avec la réalité proposée par le produit de référence. Notons ici que l’interprétation des résultats est différente par rapport au score de Brier, car 0 est la meilleure valeur pour le score de Brier tandis que 1 est la meilleure valeur pour la proportion de concordance.
Dans le cadre de ce projet, le modèle développé n’indique pas directement la présence/absence de neige, mais plutôt des probabilités de neige. Afin de pouvoir calculer une proportion de concordance, il faut donc transformer les probabilités en réalisations neige/non-neige en utilisant neuf points de césure variant de 0,1 à
0,9 par bonds de 0,1. Si la probabilité de neige est inférieure au point de césure, alors il ne s’agit pas de neige, sinon il s’agit de neige.
4.1.5. Erreurs d’omission et de commission
Le critère d’erreurs d’omission/commission (OC) est un outil utilisé par l’Insti- tut de recherche d’Hydro-Québec pour évaluer le comportement des cartographies par rapport à des données de référence. Il indique si les réalisations neige/non- neige produites par un modèle sont bonnes ou non pour chaque journée pour un point de grille : OC = 1 erreur de commission; 0 pas d’erreur ; −1 erreur d’omission. (4.1.3) Une erreur de commission est commise lorsque le modèle indique de la neige alors que la référence n’en indique pas. Au contraire, il y a une erreur d’omission si le modèle n’indique pas de neige, mais que la référence indique qu’il y en a.