EVALUATION PAR COMPARAISON A DES DONNEES D’IMPACTS

Certaines méthodes d’évaluation par comparaison à des données d’impacts se focalisent généralement sur des épisodes précis. Bien que de lourds travaux soient entrepris pour constituer ces bases de données d’impacts, les méthodes d’évaluation restent assez sommaires, les comparaisons étant souvent visuelles. Par exemple, le modèle RuiCells a fait l’objet d’évaluation par comparaison avec des données d’impacts (sur des personnes, des habitations, des voitures, etc.) et de traces (incisions sur les routes, estimations de niveaux d’eau, etc.) pour cinq épisodes d’inondation par ruissellement sur 5 bassins versant (Douvinet et al., 2013) (Figure I-79). La limite de ce type de comparaison est qu’il n’y a pas de mesure de performance du modèle. De plus, il n’y a pas de données là où il n’y a pas d’enjeu, puisque pas de témoins. Ce type de comparaison est faisable pour un nombre réduit de zones d’étude, mais avec plus de données, il faudrait l’automatiser.

Chapitre 3 : La cartographie du ruissellement

FIGURE I-79: EVALUATION DES CARTES ISSUES DU MODELE RUICELLS PAR COMPARAISON VISUELLE DE LA LOCALISATION D'IMPACTS POST-EVENEMENT ET AUX ZONES FORTEMENT EXPOSEES D’APRES LE RUICELLS (SOURCE: ADAPTE DE DOUVINET ET

AL., 2013)

D’autres travaux utilisent les statistiques de contingence pour évaluer l’efficacité de modèles de crues rapides par rapport à des données d’impacts, tels que les travaux de Calianno et al. (2013). Pour cette étude, la base de données d’impacts a été construite via des observations terrain remontées par des témoins et des enquêtes téléphoniques à destination de particuliers, effectuées durant des épisodes de crues (Gourley et al., 2010; Ortega et al., 2009). Pour quantifier la performance du modèle, des probabilités de détection et des taux de fausses alarmes ont été calculées. Cette évaluation a bénéficié de nombreuses données de ‘non-évènement’, issues des enquêtes téléphoniques, permettant des calculs plus robustes des tables de contingence. Ces travaux mettent également en lumière le lien indirect entre les prévisions du modèle et les impacts effectifs, et donc le besoin de prendre en compte la vulnérabilité des enjeux. L’utilisation des statistiques de contingence est complétée de comparaisons visuelles par superposition des prévisions et des impacts (Figure I-80).

Partie 1 : Contexte de la thèse et enjeux scientifiques et opérationnels

FIGURE I-80: L'EVALUATION D’UN MODELE DE PREVISIONS DE CRUES RAPIDES PAR COMPARAISON AVEC DES DONNEES D’IMPACTS VIA DES STATISTIQUES DE CONTINGENCE ET DES COMPARAISONS VISUELLES (SOURCE: CALIANNO ET AL., 2013) L’évaluation par statistiques de contingence est également utilisée dans les travaux de Defrance (2014) et de Defrance et al. (2014). Les résultats de la méthode AIGA de prévision de crues rapides sont comparés à des données historiques de dégâts issues des bases de données des services RTM (Restauration de Terrains de Montagne, services de l’Office Nationale des Forêts). L’objectif ici est d’évaluer la performance du système d’alerte mais également d’identifier des seuils d’alerte à partir desquels les probabilités de détection sont maximisées et les taux de fausses alarmes sont minimisés. Pour cela, les critères probabilité de détection et de taux de succès, calculés à partir des tables de contingence, sont affichés dans un graphique des probabilités de détections en fonction des taux de succès, pour différents seuils. Defrance (2014) propose d’utiliser cette méthode pour comparer différents modèles entre eux. Les données de la Caisse Centrale de Réassurance sur les sinistres recensés lors d’évènement déclarés « catastrophe naturelle » ont été utilisées en tant que données de validation dans les travaux de Le Bihan (2016) pour évaluer un modèle d’impact d’inondation par débordement. Une évaluation détaillée a été effectuée sur le Territoire à Risque Important d’Inondation (TRI) d’Alès pour laquelle un long travail de prétraitement des données de comparaison a dû être effectué. Pour évaluer les résultats du modèle de prévision d’impact, les nombres de sinistres simulés sont comparés aux nombres de bâtiments situés en zone inondable pour plusieurs tronçons le long du cours d’eau. Les résultats de l’évaluation sont affichés sous forme de diagramme de dispersion accompagnés d’une « probabilité de réussite » qui est égale au ratio du nombre de sinistres simulés sur le nombre de bâtiments inondables. Les diagrammes sont réitérés pour différents prétraitement des données de comparaison. En plus de ces diagrammes, une comparaison visuelle est effectuée via la réalisation d’une carte des différences relatives entre le nombre de sinistres recensés et simulés (Figure I-81).

Chapitre 3 : La cartographie du ruissellement

FIGURE I-81: EVALUATION DES RESULTATS D'UN MODELE DE PREVISION D'IMPACT PAR CALCUL DE PROBABILITES DE REUSSITE ET PAR REALISATION DE CARTES DES DIFFERENCES RELATIVES (SOURCE: LE BIHAN, 2016)

Les interventions des pompiers sont une source de données conséquentes qui peuvent informer sur le lieu d’un incident mais aussi sur la chronologie des impacts durant un même épisode. Bien que ces information soient encore difficilement accessibles, Le Bihan (2016) fait une rapide évaluation de la qualité et des possibilités d’exploitation de ce type de données pour évaluer un modèle d’impact et conclut sur les difficultés de prétraitement de l’information et du fort biais qu’elles contiennent. Il est préconisé d’utiliser ce type de données en complément d’autres données. Des études utilisent également des données issues des réseaux sociaux en tant que données de comparaison pour évaluer des modèles (Saint-Martin et al., 2016). Néanmoins, un tri approfondi doit être effectué avant de pouvoir traiter ce type de donnée.

3.3.6. SYNTHESE

Ces exemples d’évaluation ont illustré les problématiques liées au manque de données sur le ruissellement. Plusieurs études ont donc utilisé des données approchées pour l’évaluation de modèles. Une des principales difficultés évoquées se trouve dans la constitution des bases de données approchées. La constitution de base de données nécessite un long travail de collecte mais également un travail de prétraitement, afin de comparer au modèle des informations raisonnablement similaires. Une autre difficulté évoquée se trouve dans la comparaison de données de fonds et de formes différents. Beaucoup d’évaluations sont effectuées par comparaison visuelle entre la localisation d’impacts et les cartes d’aléa, mais les résultats restent assez qualitatifs. D’autres méthodes font appel aux statistiques de contingence. Le calcul de tables de contingence et d’indicateurs associés permet en effet de fournir une mesure de la performance d’un modèle. Néanmoins, ces différentes études attestent de la difficulté de gérer ce lien indirect entre aléa et impact. Les impacts ne se produisent que sur les enjeux et plus encore sur les enjeux vulnérables. Pour une évaluation fiable, la vulnérabilité des objets d’étude doit être caractérisée. Peu de méthodes sont encore développées pour aider à caractériser la vulnérabilité, puisqu’elle dépend pour beaucoup de l’objet considéré et du contexte local. Par ailleurs, ici sont présentées des évaluations de système de prévision ou de système d’alerte. Il est donc pertinent de calculer des probabilités de détection et des taux de fausses alarmes. Pour l’évaluation de cartes de susceptibilité, ces indicateurs ne semblent pas aussi pertinents. Il d’abord pouvoir déterminer un seuil à partir duquel on peut considérer qu’une alerte est annoncée afin d’être en mesure de la comparée aux données d’impacts. Or, aucun niveau de susceptibilité de la méthode IRIP n’a été fixé pour considérer une zone en phase d’alerte.

Partie 1 : Contexte de la thèse et enjeux scientifiques et opérationnels

D’ailleurs, le terme d’alerte comporte une notion de temps, une alerte est déclenchée pour une période de temps précise, or, les cartes IRIP sont des cartes statiques.

Concernant l’évaluation de la méthode IRIP, la difficulté réside également dans la quantité d’information à évaluer. Il est possible d’évaluer chacune des trois cartes IRIP séparément, ou bien leur apport mutuel pour l’analyse d’une dynamique spatiale. Il est également possible d’évaluer les cartes en considérant seulement les pixels supérieurs ou égaux à 3, 4 ou 5, ou encore d’évaluer s’il ne se produit jamais de ruissellement au niveau des pixels très faible (0, 1 ou 2). Ces tests de comparaison peuvent être répétés pour tenter de calibrer la méthode IRIP, en faisant varier certains indicateurs ou seuils par exemple. Néanmoins, les données approchées peuvent difficilement être exploitées à des fins de calibration, puisque par définition elles ne représentent pas directement le phénomène. Finalement, l’évaluation de la méthode IRIP requiert de choisir des éléments à évaluer en priorité, de définir une stratégie d’évaluation par rapport à ce que l’on souhaite évaluer, tout en palliant aux biais et aux incertitudes contenues dans les données approchées.