filtrage de l’information
2. Choix des filtres et méthodologie d’optimisation et de comparaison des filtres
2.2. Sélection de méthodes de filtrage
Nous avons testé une série de filtres simples afin de vérifier s’ils pouvaient suffire à éliminer le bruit du signal dans un contexte particulier d’acquisition rapide toutes les secondes. Dans notre cas, l’acquisition rapide nous permet de disposer de 60 valeurs représentatives de la même mesure qui servent à construire le signal filtré final au pas de temps de la minute. Dans ces circonstances, les filtres « simples » peuvent peut-être se révéler plus efficaces que lorsque le pas temps d’acquisition est le même que le pas de temps d’enregistrement. Les filtres testés sont basés sur des moyennes et des médianes, mobiles ou non. Les données y étant plus nombreuses, nous avons par ailleurs choisi de travailler exclusivement sur le site de Duchesse Anne. L’évaluation de chaque filtre testé est effectuée en le comparant au signal de référence construit à partir de la redondance de signaux.
Tableau 13 : Exemples de quelques techniques de filtrages utilisées pour filtrer et détecter des valeurs aberrantes pour des données de débit, de hauteur d'eau ou de vitesse
Type de filtre Principe Applications Limites
Filtres moyenneurs (Berrada et al., 1996)
Suivi de la tendance centrale (moyenne)
Lissage des bruits de faible amplitude
Très sensible aux valeurs aberrantes de
grande amplitude
Filtre à régression linéaire sur fenêtre mobile (Berrada et al.,
1996)
Approximation par une droite de la tendance de
(2m+1) points représentant la largeur
de la fenêtre mobile
Lissage des bruits de faible amplitude
Très sensible aux valeurs aberrantes de
grande amplitude
Filtre à régression quadratique sur fenêtre mobile (Berrada et al.,
1996) Approximation par polynôme de degré 2 de la tendance de (2m+1) points représentant la largeur de la fenêtre mobile
Lissage des bruits de faible amplitude Très sensible aux valeurs aberrantes de grande amplitude - Beaucoup de paramètres à ajuster Filtre médian (Berrada
et al., 1996)
Suivi de la valeur centrale de la population à travers la
médiane
Traitement des valeurs aberrantes de très grande amplitude Sous-estimation des pointes Filtre ébarbeur « winsorseur » (Berrada et al., 1996)
Compromis entre filtre médian et filtre
moyenneur
Traitement des valeurs aberrantes de très grande amplitude et lissage autour de la moyenne Sous-estimation des pointes Filtre fréquentiel (passe-bas, passe-haut, passe-bande) (Berrada et al., 1996) Elimination de composantes fréquentielles indésirables
Cas où la fréquence des fluctuations est connue
Très sensible aux valeurs aberrantes de grande amplitude Lisseur de Fraser (Berrada et al., 1996) Modèle autorégressif et filtre de Kalman : filtrage à partir d’estimation des mesures
Lissage des bruits de faible et forte amplitude mais peu
fréquents
Sensibilité à la fréquence des bruits - Divergence en cas de variabilité journalière
importante Filtre de Tuckey
(Otnes & Enochson, 1978)
Filtre de médiane successive
Traitement des valeurs aberrantes de très grande amplitude
Sensibilité à la fréquence des bruits
Filtre Phase-Space (Goring & Nikora,
2002)
Projection des données et de ses dérivées dans
un ellipsoïde
Traitement des valeurs aberrantes de très grande amplitude
Mise en œuvre complexe en temps réel
2.2.1.
Méthode de moyenne
Deux filtres reposant sur la moyenne ont été choisis :
- Le premier fait la moyenne simple des 60 valeurs acquises à la seconde pour chaque minute.
- Un second filtre utilise une moyenne mobile sur une fenêtre de 1 minute et un paramètre de seuil de rejet.
Chapitre 3 : stratégies d’acquisition - Le filtre est construit à l’avancement (pas de centrage car on travaille en temps réel) et
la valeur à la seconde t est estimée par
∑
∑
= − − = − = = 59 0 1 0 60 1 1 ~ i i t n i i t t n y y y ,- Chaque valeur à la seconde yt est comparée à la valeur du filtrey~ par rapport à un t seuil s
o Si yt − ~yt <s, alors yt est conservée,
o Si yt − ~yt ≥s, alors yt est remplacée par y~ pour le calcul de la moyenne t glissante suivante.
- Pour chaque minute, la moyenne des valeurs retenues sur des populations de 60 valeurs est effectuée.
- Si aucun point n’est conservé, la valeur de la minute précédente est reprise.
Plusieurs seuils de rejet ont été testés et après des tests préliminaires, les valeurs de seuil retenues pour les tests sont 15, 30, 45, 60 et 150 FAU. La valeur 15 FAU correspond à un critère très sévère, de l’ordre du critère de définition des bruits (cf. chapitre 3, paragraphe 1.2.3) et le filtre risque donc de rejeter beaucoup de valeurs. Au contraire, la valeur 150 FAU est très grande devant le seuil de définition des bruits et le filtre va alors être moins sévère et rejeter peu de valeurs.
2.2.2.
Méthode de médiane
L’avantage des filtres utilisant la médiane est que la médiane est moins sensible aux valeurs extrêmes (paragraphe 2.1.2). Comme dans le cas de la moyenne, deux filtres ont été testés :
- Le premier calcule la médiane des 60 valeurs acquises à la seconde pour chaque minute,
- Le second utilise une médiane glissante sur une fenêtre de 1 minute et un paramètre de seuil de rejet.
Initialement il avait été envisagé de programmer un filtre de type Tuckey (paragraphe 2.1.3). Ce filtre n’utilise qu’une fenêtre de données très réduite par rapport à l’importance des bruits car la construction du filtre ne nécessite que 7 valeurs successives (Otnes & Enochson, 1978). Cette formulation n’est donc pas satisfaisante et il a au final été décidé de travailler par analogie avec la moyenne mobile sur un filtre de médiane glissante très simple sur une fenêtre de 1 minute mais combinant également une moyenne pour revenir au pas de temps de la minute (Gather & Fried, 2004).
- Le filtre est construit à l’avancement (pas de centrage) et la valeur à la seconde t est estimée par la médiane des 60 valeurs précédentes,
- Contrairement au filtre sur moyenne mobile, la série des médianes glissantes est construite sans remplacement de valeurs,
- Chaque valeur à la seconde yt est comparée à la valeur du filtrey~ par rapport à un t
seuil s
o Si yt − ~yt <s, alors yt est conservée,
o Si yt − ~yt ≥s, alors yt est rejetée.
- Pour chaque minute, la moyenne des valeurs retenues sur des populations de 60 valeurs est effectuée.
Les seuils de rejet testés sont les mêmes que pour la moyenne mobile c’est-à-dire 15, 30, 45, 60 et 150 FAU.
2.2.3.
Moyenne pondérée
Un dernier type de filtre a été testé afin d’éliminer des bruits de grande amplitude tout en conservant des pics réels de turbidité. Ce filtre utilise une moyenne pondérée des 60 valeurs à la seconde par un coefficient paramétré en exp(-α.Ti) où Ti est la valeur de turbidité à la
seconde i. Plus α est petit, plus la pondération équivaut à une moyenne simple. En revanche,
plus α est grand et plus le coefficient accorde de poids aux petites valeurs. Il n’y a donc pas
d’élimination des valeurs à la seconde mais simplement un poids plus ou moins grand accordé à certaines valeurs.
Au final, la valeur à la minute est donnée par
∑
∑
= ⋅ − = − = 60 1 60 1 . i T i i T m i i e T e T α α .Après des tests préliminaires, les valeurs retenues pour tester l’impact du paramètre α sont
0,005 ; 0,0075 ; 0,01 ; 0,025 et 0,05.