Validation des données hydrométriques par des techniques univariées de filtrage

(1)

Validation des donnees hydrometriques par des techniques univariees de filtrage

Faouzi Berrada, Saad Bennis et Luc Gagnon

Resume : Ce travail a pour objet de valider les donnCes hydrologiques historiques. Pour le prksenter de facon claire, nous I'avons dkcompost en deux parties. La premibre partie, thCorique, prCsente un Cventail trbs large de techniques d e filtrage qui s'ttend du filtre simple utilisant la mCdiane ou la moyenne mobile, jusqu'au lisseur de Fraser coup16 B celui de Kalman. Une sCrie chronologique simulCe puis bruitte artificiellement B la fois par un bruit blanc et par un certain nombre de perturbations de grandes amplitudes a Ctt imaginte. Son utilisation permettra de tirer des conclusions sur la validit6 et la performance des difftrents filtres. La seconde partie, pratique, utilise plusieurs sCries historiques rCelles relatives aux mesures des niveaux d'eau dans un rCsemoir, des apports naturels et des dCbits dlentrCe et de sortie. Son objectif essentiel est de valider les donnCes des apports naturels (calculCs par bilan hydrique). On prksente alors un organigramme gCnCral de la proctdure employCe pour mener

B

bien cette validation. Les rCsultats obtenus par cette dernikre sont ensuite comparts. Toutes les techniques sont utilisees de facon B rendre cette validation automatique. Ceci a conduit

B

mettre au point un logiciel trbs gCdral d'application, baptisC Valideb. Celui-ci permet ?Il'utilisateur d'analyser et de juger les rCsultats d'une mCthode de filtrage et de son effet sur chacune des composantes du bilan hydrique.

Mots clis : validation, filtrage, lissage, apport naturel, niveau d'eau, debit, covariance, bruit, Kalman, Fraser.

Abstract: This study aims at validating the historical hydrological data. For the purpose of clarity, the paper has been divided into two parts. The first part, a theoretical one, presents a very broad range of filtering techniques that goes from the simple filter, using the median or the moving average, to the Fraser smoother coupled with the Kalman one.

A chronological series simulated and then artificially affected by noise effects, simultaneously with white noise and a certain number of high-amplitude perturbations, was conceived. Its use should allow to reach conclusions regarding the validity and performance of the different filters. The second part, a practical one, uses several actual historical series relative to measures of the water level in a reservoir, the natural inflow, and inlet and outlet flows. Its essential objective is to validate the natural inflow data (calculated by hydric balance). A general chart of the procedure employed to carry out this validation is thus presented. The results obtained are then compared. All the techniques are used so as to make the validation automatic. This resulted in creating a very general application software called Valideb. It allows the user to analyze and judge the results of a filtering method and its effect on each component of the hydric balance.

Key words: validation, filtering, smoothing, natural inflow, water level, flow, covariance, noise, Kalman, Fraser.

[Journal translation]

Introduction generale sophistiqut, mais si les donnees d'entrte s o n t mauvaises, la sortie rendra caduque toute application. Ainsi, une erreur s u r La recherche d'un modble hydrologique ou son application

les donntes hydromttriques qu'on utilise, s e reflttera p a r e n vue d e faire d e la prtvision, d e la simulation ou d e la p r t -

une erreur tquivalente sur l a conception, la planification ou determination ntcessite a u prtalable une etude minutieuse

l.optimisation de la gestion des systbmes hydriques.

qui analyse, vtrifie e t critique les donntes. Cette t t u d e est

En pratique, la qualitt d e s donntes hydromttriques n'est souvent nhgligte. Pourtant, d e cette verification d t p e n d toute

jamais parfaite. Les apports naturels calcults par bilan hydri- la suite d e l'ttude. On peut affirmer, sans exagtration,

que sont d'une qualitt mtdiocre. Concrktement, ceci se tra- que 30 B 4 0 % d u travail devrait 2tre allout B la validation

duit par des donnees imprtcises, bruittes, parfois fausses ou des dOnnees. O n peut Ctablir un h~drolOgique trbs rnanquantes. Les bilans hydriques ne sent pas toujours nuls

e t leiapports naturels sont parfois ntgatifs, c e qui est impos- Recu le 22 novembre 1994. sible pour d e s rtgions B climat trbs froid (en hiver) et trbs Revision acceptCe le 9 avril 1996. humide (en CtC) tel que celui d u Qutbec. L a validation de c e s F. Berrada, S. Bennisl ef L. Gagnon. DCpartement de donntes est d o n c ntcessaire. Malheureusement, la littkrature gCnie de la construction, Ecole de technologie supCrieure, technique est peu documenthe dans c e domaine. L e s algorith- 4750, avenue Henri-Julien, Montrtal, QC H2T 2C8, Canada, mes classiques d e recherche automatique d'anomalie permettent d e dttecter les mesures trop aberrantes (dtpassant un 1. Auteur correspondant. seuil par exemple : Perreault e t al. 1991) m a i s sont souvent Les commentaires sur le contenu de cet article doivent &re mis e n t c h e c p a r des anomalies moins tvidentes, soit lorsque envoyCs au directeur scientifique de la revue avant le les mesures sont entachtes d'erreurs de faibles amplitudes.

31 dCcembre 1996 (voir l'adresse au verso du plat supCrieur). Barnett e t Lewis (1984) prtsentent d e fagon exhaustive Can. J. Civ. Eng. 23: 872-892 (1996). Printed in Canada I ImprimC au Canada

Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(2)

Berrada et al.

l'ensemble des statistiques disponibles (telles que celles de Dixon et d'Irwin : Ragot et al. 1990) pour dttecter les valeurs aberrantes dans un tchantillon. Cependant, le choix entre les difftrentes statistiques et leurs difftrents modes d'utilisation n'est pas aist. I1 depend fortement d'hypothkses prtalables faites sur les donntes : les tchantillons sont suppo- s t s Ctre distributs selon une loi normale; leurs paramktres ainsi que l'ordre de grandeur du nombre de valeurs aberrantes sont connus. De plus, la dtcision de rejeter des valeurs aberrantes n'est pas automatique et s'effectue par comparaison

B

des seuils tabults exclusivement en fonction de la taille de l'tchantillon et du risque de fausse dttection. En outre, les techniques utilistes ne tiennent pas compte de l'autocorrtlation temporelle qui caracttrise les variables hydromttriques journalikres.

Rtcemment, Roy et al. (1992) ont propost la mtthode des niveaux virtuels obtenus par pondtration des niveaux fournis par difftrents limnimktres placts sur le mCme rbervoir.

Cette pondtration est inversement proportionnelle

B

l'tcart entre la pente du niveau

B

valider (actuel) et celle du niveau virtue1 (prtctdent). Cependant, on observe beaucoup d'apports naturels ntgatifs (impossibles pour un climat comme celui du Quebec) aprks l'exercice de validation. De plus, cette technique permet d'amtliorer la qualitt des apports naturels calcults 21 partir des niveaux virtuels sans permettre de valider les stries de niveaux des rbervoirs. Elle prtsuppose aussi (ce qui n'est pas toujours le cas en pratique) que le reservoir est tquipt de plusieurs limnimktres.

Plusieurs techniques de filtrage sont examinees dans ce travail. En premikre partie, elles seront appliqutes sur une strie de donntes synthttiques, mais dont on connait toutes les caracttristiques. En seconde partie, ces techniques permet- tront de valider les apports naturels d'un rtservoir. On dtcrira alors la proctdure gtntrale de cette validation.

I. Validation sur une serie de donnees synthetiques

Introduction

L'objectif de cette premikre partie est de prtsenter et de valider un certain nombre de mtthodes de filtrage utilistes dans le domaine de la validation d'une strie chronologique.

On trouve, dans la litttrature, plusieurs de ces techniques.

Elles sont toutes plus ou moins performantes selon la nature et I'ampleur des erreurs de mesure. Ces mtthodes permettent la dttection des valeurs aberrantes, leur analyse puis leur validation.

Pour mettre au point un logiciel de validation des donntes (baptist ValiDeb), nous nous sommes inttressts aux techniques de filtrage multivarites (Bennis et al. 1996) et univarites. Les techniques multivarites sont utilistes lorsque plusieurs capteurs effectuent en m&me temps une mCme mesure. On parle alors d'un systkme multiplex. C'est le cas, par exemple, d'un reservoir tquipt de plusieurs limnimktres pour mesurer son niveau d'eau. Les techniques univarites, auxquelles nous nous inttressons ici, sont utilistes lorsqu'on dispose d'une strie de mesures en provenance d'un seul cap- teur. I1 s'agit des techniques utilisant plus particulikrement les filtres lintaire, quadratique, mtdian, winsoriseur

B

priori et,

B

posttriori (Ragot et al. 1990), frtquentiel (Van Den Enden et Verhoeckx 1992) et de Fraser (Radix 1984). Ce dernier est plut6t un lisseur qui utilise deux fois le filtre de

Kalman (Kalman 1960; Kalman et Bucy 1961) qui, ?i son tour, est applique selon la technique MISP (mutually interactive state-parameters estimation) (Todini 1978).

Dans la dernikre section de cette partie, nous proctdons

B

la validation de ces mtthodes. Pour cela, nous appliquons tous les filtres sur une strie de donntes perturbtes artificiellement. Nous montrons alors que tous les filtres donnent de bons rtsultats, mais certains sont plus performants que d'autres selon les caracttristiques du signal et du bruit.

M6thodes de filtrage

Dans le domaine de la validation des donntes, il est essentiel de discerner les difftrents types d'erreurs qui entachent les mesures. En effet, comme nous allons le voir, certaines mtthodes de filtrage sont inttressantes

B

appliquer lorsque le signal ne comporte que des erreurs de faible amplitude ou altatoires (gtntralement suppostes indtpendantes, gaussiennes et de moyenne nulle). D'autres, par contre, permettent de dttecter, d'tliminer puis d'estimer des valeurs trop aberrantes, au cours de l'optration de filtrage. Ces erreurs, systtma- tiques, sont souvent dues

B

des tvknements non alCatoires tels que les biais d'instruments ou le mauvais fonctionnement d'un limnimktre. Elles peuvent aussi Ctre accidentelles, pro- voqutes par la dCfaillance d'un optrateur ou d'un appareil de mesure.

Filtres moyenneurs

Ce sont des filtres qui suivent la tendance centrale (moyenne) d'une strie chronologique. 11s sont donc bien adaptts au lissage des bruits de mesure de faible amplitude relative, mais ils sont tous sensibles aux valeurs aberrantes de grande amplitude qui contaminent le signal (Swartz 1989).

Filrres a rkgression linkaire sur fenCtre mobile : Comme son nom l'indique, le filtre permet d'approximer par une droite, la tendance de (2m

+

1) points (mesures successives) reprtsentant la largeur de la fen&tre; m est un entier positif choisi

B

priori. Ainsi, pour une estimation de la mesure

B

l'instant t, la tendance sur cette fenCtre est un segment de droite d'tquation

LY et /3 sont dttermints par la mtthode des moindres carrts.

La valeur centrale (k = 0) de la tendyce ttant

p.

On peut facilement montrer que l'estimation X, de la donnte X, par ce filtre est

Filtres 2 rkgression quadratique : I1 s'agit ici d'approximer la tendance sur les (2m

+

1) points reprtsentant la largeur de la fenCtre mobile (m, un entier positif choisi aussi ?i priori) par un polyn6me du second degrC :

a,

p

et ^ysont dttermints par la mtthode des moindres carrts, la valeur centrale (k = 0) de la tendance Ctant Cgale ?i Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(3)

Can. J . Civ. Eng. Vol. 23, 1996 a . On peut facilement montrer que l'estimation XI de la don-

nCe XI par ce filtre est

Filtre mkdian

Ce filtre remtdie au problbme causC par l'existence de valeurs aberrantes trop bruitCes. I1 utilise la mCdiane et non la moyenne pour estimer le paramktre central d'une popula- tion. Sur une fen&tre de largeur (2m

+

1) (m Ctant un entier positif choisi

a

priori), le filtre est dtfini comme suit :

Filtre kbarbeur winsoriseur

Ce filtre est trait6 dans l'ouvrage de Ragot et al. (1990).

C'est un compromis entre le filtre median et le filtre moyen- neur. Le premier filtre tlimine les valeurs aberrantes appar- tenant aux premiers et derniers dtciles de 1'Cchantillon traitt.

Le deuxikme filtre calcule la moyenne de 1'Cchantillon en rempla~ant les valeurs exclues par celles qui leur sont proches. La mCthodologie employte pour ce filtre est la suivante :

Supposons qu'on ait

a

estimer la mesure Xi du jour i. On prend, dans ce cas, une fenetre de largeur (2m

+

1) (m est un entier positif choisi

a

priori) centrte en Xi :

puis on suit les ttapes suivantes :

(i) Classer 1'Cchantillon X par ordre croissant. L'Cchantil- lon obtenu est donc :

(ii) himiner des valeurs trop aberrantes. I1 s'agit ici d'une optration d'tbarbage qui exclut un certain nombre de valeurs extremes de l'ichantillon Y. Ce rejet peut se faire suivant deux choix ^:

(1) Rejet a priori : Le nombre de points rejetts est fix6

a

l'avance. Si, par exemple, on dtcide d'tcarter systtmatiquement de l'tchantillon un certain pourcentage a (du nombre total 2m

+

1) de premikres valeurs et un autre pourcentage b (du nombre total 2m

+

1) de dernikres valeurs, les nombres exacts des valeurs exclues seront :

pour les plus faibles valeurs de 1'Cchantillon et

pour les plus fortes valeurs de l'tchantillon. Ent(x) reprB sente ici la partie entibre du rtel x. Pour une fenetre mobile, les proportions a et b sont prises Cgales (filtre symttrique) s'il n'y a pas de direction priviltgiCe dans la contamination.

Ce filtre tbarbeur est celui qui estime l'observation Xi

partir de l'tchantillon restant (Y,-m+r, . .

. ,

Y,, Y,+l,

. ..,

Yi+rn-s) comme suit :

avec f l e t f 2 E [ 0 ; 1 [

(2) Rejet 2 postCriori : Le nombre de points rejetCs est choisi a postiriori. Les valeurs des paramktres a et b peuvent etre calcultes de f a ~ o n adaptative. On peut, par exemple, rejeter les points qui slCcartent de la moyenne de plus de k fois l'tcart type, calculC sur l'khantillon. D'aprks Ragot et al. (1990), cette technique possMe l'avantage d'Ccarter les valeurs aberrantes et de ne pas en tenir compte dans les relations de pondkration.

(iii) RCaliser l'optration du Winsorising qui consiste sub- stituer des valeurs aberrantes par celles qui leur sont proches.

Le filtre winsoriseur est donc celui qui estime l'observation Xi par la moyenne arithmttique du nouvel tchantillon :

Yi-,n+r, ^(r

⁺

^1)jermes... ⁹x-rn+r, Yi, Yi+l,

...,

K+,n-s,

-

^(s

⁺

^{1) termes}

...

, Yi+m-s

comme suit :

Filtre frkquentiel

Une approche pour tliminer le bruit non dksirable des stries chronologiques est le filtrage en frCquence. I1 consiste

a

appliquer

a

la strie chronologique un filtre qui enlkve les composantes frtquentielles indksirables. Les filtres les plus utilisCs sont :

(i) le filtre passe-bas : il laisse passer toutes les basses frC- quences situtes en dessous d'une frCquence de coupure f,, fixCe a priori;

(ii) le filtre passe-haut : il laisse passer toutes les hautes frCquences situtes en dessous d'une frtquence de coupure;

(iii) le filtre passe bande : il laisse passer toutes les frt- quences comprises entre deux fr6quences de coupure.

En hydrologie, le filtre le plus approprit pour Climiner les grandes fluctuations est le filtre passe-bas. Cela s'explique par la longue ptriodicitt (faible frtquence) des phtnombnes hydrologiques tels que la crue printanikre, dont la ptriode est de 365 jours.

Le filtre utilist est celui

a

rCponse impulsionnelle finie. Ce filtre non recursif se prCsente comme suit :

Les coefficients ak de pondtration constituent la ^<<mtmoire ^>>

(4)

Berrada et al.

Fig. 1. Rtponse frtquentielle du filtre obtenue aprks troncature.

(a) (b) (c)

du filtre. 11s sont tgaux aux valeurs donntes par la rtponse impulsionnelle h(n) du systkme. Cette rtponse se calcule par la technique impulsionnelle dont les principales phases sont :

(i) L'tcriture de la transformation de Fourier de la frtquence dtsirte (reprtsentte ici par le filtre passe-bas de frtquence de coupure

f,,

de la fig. la) :

(ii) La dttermination des coefficients de Fourier (desirts) de cette transformation :

En outre, pour obtenir un filtre rtalisable (n # m), on pro- ckde B la troncature de la rtponse impulsionnelle hd(n).

Cette optration consiste i utiliser une fen&tre approprite pour atttnuer au maximum les ondulations (phknomkne de Gibbs : Van Den Enden et Verhoeckx 1992) qui apparaissent dans la reprtsentation frtquentielle de la rtponse impulsionnelle.

I1 existe plusieurs types de fengtres. Celle retenue est la fen&tre de Hamming qui est, d'aprks Solimann et Srinath (1990) t r b couramment utiliste :

(0 ailleurs

La rtponse impulsionnelle devient donc (Van Den Enden et Verhoeckx 1992) :

La figure 1 (Solimann et Srinath 1990) est d'ailleurs une reprtsentation frtquentielle de l'tquation 12 Ccrite en produit de convolution. Les ondulations (phtnomkne de Gibbs) sont atttnutes dans la representation frtquentielle (fig. lc) de la rtponse irnpulsionnelle. Cela est dO B la troncature effectute ii un filtre passe-bas (fig. la), produite par la fen&tre de type Hamming dont W(du) est la transformte de Fourier (fig. lb).

Lisseur de Fraser

Dans un environnement univarit ou l'on dispose d'une seule strie chronologique de mesure, un modkle de type ARMA ou ARIMA (Box et Jenkins 1976) est appropri6. L'ordre auto-

rtgressif de ce modkle doit ntanmoins &tre fix6 B l'avance si on veut mettre au point une technique automatique de validation des donntes. En fait, nous nous sommes limitts arbi- trairement B l'ordre deux. Ceci est justifit en raison de l'inttrzt d'opter pour un modkle parcimonieux (Abraham et Ledolter 1983). De plus, nous avons prtftr.6 prendre un modkle autortgressif suptrieur a un car il subsiste toujours, dans le cas des donntes hydrologiques journalikres (dtbits, niveaux, apports naturels, etc.) des corrtlations entre les mesures effectukes B un jour j et celles effectutes au jour j

-

2. Par ailleurs, tous les cas de validation traitts ont montrt, en faisant varier l'ordre du modkle autoregressif, que ce dernier n'avait, pour toute fin pratique, aucune influence sur les rtsultats du traitement. La mesure au jour t, peut par consequent s'exprimer comme suit :

oU e(t,,) est un bruit considtrt blanc.

Pour identifier les paramktres de ce modkle et filtrer les bruits, le choix s'est arr&tt sur le filtre de Kalman dtfini dans beaucoup d'ouvrages tels que ceux de Kalman et Bucy (1961), Radix (1984) et Bennis (1987).

L'application de ce filtre est trks inttressante (Bennis et Bruneau 1993a, 19936) a cause de son caractkre rtcursif et adaptatif. Habituellement, il est utilist en hydrologie pour la prtvision. Dans notre cas, nous l'appliquerons pour le lissage des donntes. C'est ainsi qu'on utilisera pour la premikre fois, B notre connaissance, le lisseur de Fraser (Radix 1984).

Ce dernier, qui est une constquence du filtre de Kalman, est trks inttressant vu qu'il utilise la totalitt des informations sur les mesures pour estimer les paramktres d'ttat de la strie des donntes. En effet, le lisseur de Fraser (Radix 1984) effectue une estimation optimale de la mesure X(t,,) au jour t,, B partir de toutes les mesures, au nombre N

+

1, effectutes aux instants to, tl,

.

. . , r,, t,,,,,

. .

. , tN. I1 suit ainsi les trois ttapes suivantes (Radix 1984) :

(i) Un filtrage de Kalman

.

^aller

^,,

en partant de to jusqu'i t,, h partir des conditions initiales PA(to) et XA(to), ou PA(tO) est la matrice de covariance aller de l'erreur d'estimation du vecteur d'ttat X(to).

(ii) Un filtrage de Kalrnan ^<< retour ^>>en partant de t~

jusqu'i t,, B partir des conditions initiales PR(tN) et XR(tN), ou PR(tN) est la matrice de covariance retour de l'erreur d'estimation du vecteur d'ttat X(tN),

(iii) Une combinaison optimale des estimations aller

~ ~ ( t , , ) et retour xR(t,,) h partir des relations suivantes : Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(5)

876 Can. J. Civ. Eng. Vol. 23, 1996 Fig. 2. Signaux synthttiques idtal (*) et bruit6 (+).

1980/01/01 Temps (lours)

L'estimation optimale ou la plus probable est donc une combinaison liniaire des deux estimations aller et retour qui favo- rise toujours celle dont la ^xvariance ^Dest la plus faible. Les

<< coefficients ^>>de pondtration sont reprtsentts par les matrices de prtcision (PA)-] et (PR)-I.

I1 faut cependant souligner un dttail important dans l'application du systkme d'iquations 14. Le filtre de Kalman, appli- quC selon la technique MISP (Todini 1978), fournit chaque pas de temps, dans le sens aller et retour, deux estimations t u vecteur d'ttat : XA(tn/t,,-,) et XA(t,llt,,)

a

l'aller,

~ ~ ( t , , / t , , - ~ ) et RR(t,,lt,,) au retour. RA(~,,I~,,-~) est la valeur de X prtdite, dans le sens aller,

a

partir des valeurs mesuries de to a tn-,. XA(tnltn) est la valeur de X estimCe

a

l'aller aprks la rtception de la mesure

a

l'instant tn. La notation est similaire pour XR. Afin de ne pas utiliser la mesure l'instant tn deux fois, il faut utiliser la valeur prtvue dans un sens, par exemple XA(ttlltn-,) et la valeur filtrte dans l'autre sens, RR(tnltn). Les matrices de covariance aller et retour doivent &tre modifites en consiquence.

Application des mkthodes de filtrage

Les mCthodes de filtrage prCsenttes prictdemment peuvent

&tre appliqutes

a

toutes les stries chronologiques. Leurs performances, par contre, sont lites 2 la nature de la strie (niveau d'eau, dtbits ou apports naturels) mais aussi,

a

l'ampleur et au nombre de perturbations qu'elle renferme.

Description de la sgrie synthe'tique

Pour remtdier au problkme citC ci-dessus, on applique l'ensemble des filtres dtcrits prCcCdemment

a

une strie synthttique dont on connait toutes les caracttristiques. Nous

avons considtrC une sCrie de debits journaliers d'une annCe complkte. Elle est constituCe de :

(i) deux hydrogrammes synthktiques (crues printanikre et automnale) d'tquation :

[15] Q(t) =

[is)'

- exp - 2

il

^-- 1 ) I Q P ~ ~

oh tn est le temps de montCe et Q,,,, le dtbit de pointe;

(ii) trois courbes de rkcession caractiristes par 1'Cquation

Q,, Q,,,, t,, et k sont choisis de f a ~ o n

a

rCaliser une ^<<conti- nuitC ^Bde l'hydrogramme.

Pour rendre cette d r i e synthCtique bruitie, nous avons rajoutC volontairement un bruit de distribution normale, de moyenne nulle et d'tcart type constant (fig. 2). Sur les 365 valeurs ainsi bruittes *, 30 sont ensuite largement bruities. Ces perturbations sont rtparties sur la pCriode totale pour simuler plusieurs situations : une, deux, trois .

. .

erreurs isoltes. On envisage aussi, pour ces dernikres, plusieurs formes en Z, U et W (fig. 2).

Pour comparer et apprtcier les performances de toutes les techniques de filtrage, nous leur avons appliqui la strie synthttique bruitCe la fois par un bruit blanc et un bruit de grande amplitude.

Crit2res de peformance des filtres

Indice et coeflcient de per$orrnance : Pour connaitre l'effica- citt des difftrentes mtthodes de filtrage, n o u s avons utilist Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(6)

Berrada et al

un indice 17 de performance calculC par rapport aux Ccarts (connus) entre la serie synthktique de base et la skrie bmitke artificiellement :

E~ 9-1 est la moyenne des Ccarts quadratiques entre les don- . . . nees initiales non bruitCes et les donnCes estimkes par une des techniques de filtrage. ^E~ est la moyenne des Ccarts qua-

,& .

dratiques entre les donnees initiales non bruitCes et initiales bruitkes. Elles s'expriment comme suit :

Par conskquent, si 17 est nkgatif ou nul, la technique du filtrage est h rejeter. Sinon, cette technique est efficace. Elle devient trbs performante si cet indice avoisine un. Pour mieux apprkcier l'kcart de performance entre deux techniques, on introduit le parambtre P de performance :

oh qmin est lYefficacitC minimale, correspondant

B

la technique la moins performante, et 17, l'efficacitk de la technique utiliske. Le parambtre P exprime donc en pourcentage de l'kcart quadratique non expliquC par la technique de base, l'amklioration apportCe par la technique considkrie.

Coeflcient d 'autocorr&lation des rksidus : Le deuxibme critbre de comparaison porte sur les coefficients d'autocorrklation des rCsidus. Les mtthodes et solutions proposCes sont basCes sur l'hypothbse que les rCsidus prennent des valeurs alCatoires de moyenne nulle et de variance constante. I1 faut par conskquent vCrifier que leur coefficient d'autocorrClation s'approche de zkro. D'une f a ~ o n gCnCrale, le coefficient d'autocorrklation pk mesure la corrklation entre la variable stochastique X(t)

B

l'instant t et la mCme variable X(t

+

^k),

h llinstant t

+

k. Le coefficient pk est dkfini par Cov [X(t) ,X(t

+

k)

]

[201 Pk =

{ ~ a r [ ~ ( t ) ] ~ a r ( ~ ( t

+

k)]

)

^'/2

ou Cov[X(t),X(t

+

k)] est la covariance entre X(t) et X(t

+

k), et Var[X(t)], la variance de X(t). Dans notre cas, le coefficient d'autocorrClation des rCsidus peut Ctre estimC (Pankratz 1983) comme suit :

oh Res(t) = Qb(t) - Q,,,(t) et

Res

est la moyenne des rksidus, et Qb, le signal bruit6 qu'on veut filtrer. Afin d'apprB cier rationnellement l'ampleur des valeurs prises par les coefficients dlautocorrClation des rtsidus, on calcule la

877

Tableau 1. EfficacitC et performance des techniques de filtrage.

Filtre

Coefficient de EfficacitC performance (%)

Fraser

FrCquentiel (f, = 0 , l ) Lintaire ( L = 9 ) Mtdian ( L = 9 ) Winsoriseur i priori

( L = 7 , r = 2 ) Winsoriseur i postiriori

( L = 7, e = 1,5) Quadratique ( L = 9) Fraser puis frkquentiel MCdian puis frCquentie1

variance de leur estimation grlce

B

l'approximation de Bart- lett (Box et Jenkins 1976) suivante :

oh N est le nombre total de donnees (ou d'un Cchantillon de ces dondes). L e test t utilisC pour ne pas rejeter l'hypothbse nulle Ho relative

B

la nullit6 thCorique du coefficient d'auto- corrClation des rksidus (Ho : pk = 0; k = 1, 2, 3,

..

.) est (Pankratz 1983) :

En pratique, si la valeur absolue d e tk est infkrieure

B

1,25 pour les retards 1, 2 et 3 et infkrieure

B

1,6 pour les retards supkrieurs, l'hypothbe Ho est vraie. Par consCquent, les rCsidus seront indkpendants.

Resultats

Signalons tout d'abord que l'interprktation qui suit permet surtout d'apprkcier la performance de chacun des filtres appliquCs sur l'hydrogramme synthitique particulier. Ce travail prCliminaire est utilisC pour renforcer notre validation des donnCes hydrologiques rCelles : dCbits, niveaux d'eau dans les rtservoirs, apports nature1 etc.

Les rtsultats de la validation d e l'hydrogramme synth6 tique bruit6 artificiellement figurent sous forme de courbes et de tableaux. Pour des raisons pratiques (analyse et comparaison des techniques de filtrage), les courbes (sauf celle de la fig. 2) reprtsentent un m&me Cchantillon d e 30 donnkes journalibres successives. En outre, les valeurs des tableaux

sont CvaluCes par rapport h l'ensemble des 365 donnees.

Tous les filtres donnent en gCnCral de bons rksultats. Leur efficacitk (tableau 1) qui reprksente en un sens l'amklioration de l'hydrogramme de dkpart, dCpasse 60% pour tous les filtres, mais varie d'une technique

B

l'autre.

Le tableau 1 montre que 1'Ccart d'efficacite entre le plus mauvais ^Dfiltre (le filtre quadratique) et le ⁽⁽meilleur ⁿfiltre (le filtre mkdian) est de l'ordre d e 0,25. Cet indice de performance est d'environ 0,85 pour les cinq autres filtres, avec un Ccart relatif de 5 %. Seul le filtre quadratique prtsente des Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(7)

Can. J. Civ. Eng. Vol. 23, 1996

Tableau 2. Comparaison des coefficients d'autocorrklation des rksidus.

Retard

- - - ---

Filtre frkquentiel Lisseur de Fraser _(f,₌_CAI) r Statistique, t r Statistique, t

Filtre linkaire ( L = 9)

Filtre quadratique ( L ⁼9) r Statistique, t r Statistique, t

Filtre winsoriseur

B priori (L = 7, r = 2) Filtre mkdian ( L = 7) r Statistique, t r Statistique, t

Filtre winsoriseur

?Ipostkriori

( L = 7, e = 1,5 s) Signal synthktique r Statistique, t r Statistique, t

1 -0,0444 -2,5483 0,0890 0

2 -0,1383 -3,3656 0,0382 0

3 -0,1372 -2,6401 0,0039 0

4 0,0009 -0,3088 0,0177 0

5 0,0246 0,0549 0,0216 0

6 0,0372 -0,2602 0,0513 0

7 -0,0192 0,0432 -0,0215 0

8 -0,0764 -0,2779 -0,0612 0

rtsidus autocorrtlts (tableau 2), surtout pour les quatre premiers retards. Cela confirme l'hypothkse qu'il faut toujours choisir des modkles parcimonieux, comportant un nombre

minimal de paramktres. Le filtre lintaire amtliore d'ailleurs la performance du filtre quadratique d'environ 45 %.

Les statistiques t (tquation 23) obtenues par les autres techniques (tableau 2) s'tcartent, dans certains cas, du seuil de confiance impost (t

<

1,25 pour les premiers retards et t

<

6 pour les derniers retards). Ntanmoins, les coefficients d'autocorrtlation des rtsidus obtenus restent faibles. Notons que pour les filtres mtdian et de Fraser, ces coefficients avoisinent ceux de l'hydrogramme synthttique idtal (tableau 2).

L'analyse et la comparaison des difftrentes techniques d e filtrage, a partir des coefficients de performance et d'autocorrtlation des rtsidus seulement ne sont pas suffisantes. E n effet, ces paramktres sont estimts

B

partir de toutes les donntes dont seulement un faible pourcentage (environ 10 % dans notre cas) sont bruittes. Cette analyse permet de faire une apprtciation globale des techniques utiliskes sur l'ensemble des donntes. Elle ne permet pas, par contre, de faire une apprtciation locale du comportement du filtre pour un bruit particulier. I1 est par constquent ntcessaire de faire une interpretation visuelle des rtsidus obtenus par les filtres dans des zones bruittes, prtdtfinies.

Outre les filtres mtdian et de Fraser, tous les autres filtres sont sensibles aux grandes aberrations; on le voit notamment sur les trois valeurs successives (autour du 1 0 mars) bmitkes (fig. 3, 4 et 6-8). Le filtre mtdian (fig. 5) a pu valider ces trois mesures compte tenu de la largeur L = 7 de la fen&tre prise en compte. En effet, pour une fenetre dont L = 5, les estimations de ces trois donntes seront des valeurs mtdianes bruittes. Ce filtre apparait donc comme imprtvisible vu qu'en gtntral, dans le domaine de la validation des donnkes hydrologiques, on ne connait pas, a priori, le nombre d e mesures aberrantes. C'est d'ailleurs le cas

B

priori et a posteriori pour les filtres winsoriseurs (fig. 6 et 7). Ces trois filtres prtsentent, d'une part, l'inconvtnient de ne pas pou- voir reconstituer les donntes manquantes, car leur traitement prtsuppose la connaissance de toutes les mesures et, d'autre part, de sous-estimer systtmatiquement les pointes d'un hydrogramme.

Le filtre de Fraser (fig. 9) apparait comme le meilleur filtre pour estimer les donntes non frtquemment bruittes.

Son traitement peut trks bien s'appliquer (Bennis et al. 1996) dans la reconstitution des donntes. Son inconvenient est qu'il peut diverger lorsque les donntes prtsentent une variabilitt journalikre importante. C'est le cas, par exemple, des niveaux d'eau dans les petits rbemoirs. En effet, l'ouverture d'une vanne ou m&me un ruissellement significatif des eaux de pluie peut provoquer une grande variation des niveaux de ces rtservoirs de faibles dimensions. La ligne briste (fig. 9) du filtrage de Fraser serait

.

^cahoteuse⁾⁾si le signal synthB tique fluctuait beaucoup.

Le filtre frkquentiel (fig. 8) prtsente une courbe parfaite- ment lisse dans son traitement. I1 montre ainsi le sens global de l'tvolution du signal. Son application est en outre trks avantageuse lorsque les donntes sont trks faiblement bruittes.

Comme on le voit a la figure 8, ce filtre est trks influenct par les bruits de grande amplitude que nous avons affectts l'hydrogramme synthttique de base.

Pour faire un compromis entre les diffkrents filtres, il apparait opportun de ⁽⁽lisser ^)),par l'intermkdiaire du filtre frtquentiel, les estimations faites par les autres filtres. Les Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(8)

Berrada et al.

Fig. 3. Filtre lineaire ( 0 ) ( L = 9 ) . Signaux synthetiques ideal (*) et bruit6 (+).

1980/03/03 Temps (jours) 1980/07/01

Fig. 4. Filtre quadratique ( 0 ) ( L = 9). Signaux synthktiques idtal (*) et bruit6 (+).

105,09

m' m

-

E D C

.m n

1.44

1980/03/03 Temps (lours) 1980/07/01

(9)

880 Can. J. Civ. Eng. Vol. 23, 1996

1980/03/03 Temps (jours) 1980/07/01

Fig. 6 . Filtre winsoriseur ii priori ( x ) (L = 7; r = 2). Signaux synthetiques idCal (*) et bruit6 (+).

103.67

9 m

-

E

= III -a n

1,52

1980/03/03 Temps hours) 1980/07/01

(10)

Berrada et al.

Fig. 8. Filtre frkquentiel ⁽⁰⁾(f, = 0,l). Signaux synthetiques idkal (*) et bruit6 (+).

Temps (jours)

(11)

882 Can. J. Civ. Eng. Vol. 23, 1996

Fig. 9. Filtre de Fraser (0). Signaux synthktiques idkal (*) et bruit6 (+).

104,72

-

_'0

n'

- -

_.-E 0 'a,

n

1 3 2

1980/03/03 Temps (lours) 1980/07/01

Fig. 10. Filtrage de Fraser suivi du filtrage frkquentiel. Signaux synthetiques idkal (*) et bruit6 (+) et signal valid6 (0).

(12)

Berrada et al.

Fig. 11. Filtrage mtdian suivi du filtrage frtquentiel. Signaux synthttiques idtal (*) et bruit6 (+) et signal validt ^(0).

103.67

Temps (jours) 1980/07/01

rtsultats obtenus par cette technique, appliqute notamment aux donntes estimCes par les filtres d e ~ r a s e r (fig. 10) et mtdian (fig. 1 l), sont concluants. Les performances ont CtC ainsi amtliortes d'environ 22% pour le filtre de Fraser et 7%

pour le filtre mCdian (tableau 1).

En conclusion, on dira qu'un double filtrage appliquC sur les donnCes peut amtliorer la validation. La localisation prtalable d e s erreurs de mesure de grande amplitude est nCanmoins nCcessaire pour rtaliser une validation optimale.

Dans le cas de la validation des donntes rCelles, cette localisation pourrait se faire a partir d'informations supplB mentaires existantes. En hydrologie, par exemple, pour valider les donnCes des niveaux d'eau ou des apports naturels d'un rtsemoir, des informations sur les prtcipitations ou sur les dtbits en amont ou en aval sont des moyens pour localiser les donntes aberrantes. Cette localisation permettrait de choisir la technique de validation qui correspond au mieux la rtponse du bassin hydrologique et qui prCsente des rCsidus les moins autocorrC1Cs.

II. Validation sur des series reelles et procedure de validation des apports naturels

Introduction

L'objectif de cette deuxibme partie est de valider essentielle- ment les apports naturels des rtsemoirs Cquipts d'un seul limnimbtre. Cette contrainte ne nous permet pas d'appliquer des techniques de validation multivarites; seules les mCthodes de filtrage dtcrites en premibre partie sont utilisables. Nous

signalons cet effet que le logiciel ValiDeb a facilitt ce travail grdce a son mode de fonctionnement interactif bast principalement sur un mode graphique.

Dans cette partie, nous dCcrivons tout d'abord une proctdure gCnCrale de validation des donntes hydromttriques.

Nous dtfinissons ensuite quelques critbres quantitatifs et qualitatifs de comparaison des difftrentes techniques de filtrage. Les rtsultats portent par consequent sur ces com- paraisons, mais aussi sur l'amtlioration des d o n n k s des apports naturels, aprbs l'exercice de validation.

Position du problkme

L'apport naturel, dit mesurt, est en fait calculC par bilan hydrique (fig. 12) en rtsolvant le systbme d'Cquations sui- vants :

V(t)

-

f (h) = 0

QAV ( 4 ^-g(h) = 0

oh AN(t) est l'apport naturel au temps t (en m3/s), QAM(t), le dtbit (en m3/s) au temps t provenant d'un site en amont, QAv(t), le dCbit au temps t reldcht au site (en m3/s), V(t), le volume stock6 dans le rbervoir au temps t (en m3), h, la hauteur d'eau dans la retenue (en m), f et g, des fonctions non 1inCaires caracttrisant le rtservoir.

En pratique, le volume est estimC a partir du niveau mesurC et de 1'Cquation d'emmagasinement f (h) propre au rCservoir. Le calcul des apports naturels se rattache donc Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(13)

Can. J. Civ. Eng. Vol. 23, 1996 Fig. 12. Calcul de l'apport nature1 par bilan hydrique.

AN

directement B la mesure du niveau du rtservoir. L'estimation des dtbits turbine et dtverst se fait aussi B partir du niveau des rtservoirs g(h). Comme cette donnte est souvent non representative, d'une part, et bruitte, d'autre part, la qualitt des donntes hydromttriques est douteuse avec des apports naturels souvent ntgatifs et des bilans hydriques biaists. Les causes les plus probables du problkme sont (i) la localisation gtographique non reprtsentative des limnimktres, (ii) des courbes de dtbit mal calibrtes, (iii) des erreurs lites B la qualitt des instruments de mesure et B leurs conditions d'utilisation.

Btrubt et al (1987) ont dttermint les constquences d'une erreur de 1 cm dans la mesure du niveau des principaux rtservoirs du Qutbec sur l'estimation des apports naturels par le systkme d'tquations 24. Dans le cas du rtservoir de Baskatong, trait6 ici, cette erreur entraine une difference d'estimation des apports naturels d'environ 38 m3/s (Btrubt et al. 1987). I1 est donc tvident que la dttermination des apports naturels, en fonction des donntes sur les niveaux et i partir du systbme d'tquations 24 du bilan hydrique, entraine beaucoup d'imprtcision. Par constquent, la mesure de niveau des rtservoirs doit 2tre faite avec beaucoup de soins et faire l'objet de la validation.

Crititres de comparaison

La comparaison des difftrentes techniques de filtrage appliqutes sur les donntes hydrologiques rtelles est moins Cvi- dente que celle faite en premikre partie. La raison principale de cette difficult6 est qu'on ne connait pas B priori les donntes hydrologiques ⁽⁽vraies ^a.Ntanmoins, certains des critkres utiles pour cette comparaison sont dtfinis ici.

Coeficient d'autocorrklation

Pour une strie de donntes X(t), les coefficients d'autocorrtlation ^pkd'ordre k, dtjB dtfinis en premikre partie (tquation 20), peuvent 2tre estimts comme suit :

oh X(t) est la donnte au jour t, et

x,

la moyenne de la strie des donntes. La plupart des techniques de filtrage dtcrites en premikre partie (techniques de rtgression) sont bastes sur l'hypothbe qu'il existe des corrtlations entre les valeurs successives des donntes. I1 faut, par constquent, que les

premiers coefficients d'autocorrtlation des donntes validtes soient plus importants que ceux des rnesures brutes.

Conservation des volumes totaux d'apports naturels C'est une contrainte imposte par les gestionnaires des sys- tkmes hydriques. Une technique de filtrage est apprtciee lorsque les volumes totaux des apports naturels, historiques et validts, sont les m2mes sur une ptriode suffisamment longue (par exemple une annte).

Conservation de la pointe des crues

Ce critkre qualitatif est trks important car beaucoup d'ttudes hydrologiques relites au design de nouveaux ouvrages ou B la gestion stcuritaire (contr6le des inondations) d'ouvrages existants y reposent. Une bonne technique de filtrage des apports naturels ne doit pas systtmatiquement sous-estimer ou surestimer les pointes d e crue.

Contr6le du signe des apports naturels

C'est un critkre qu'on utilise surtout dans l e cas des rtservoirs situts dans des rtgions froides, tel le Qutbec. Sous ces conditions, il est trks peu probable que certains apports naturels soient ntgatifs aprks l'exercice de la validation.

Procedure de validation employee

La donnte du niveau d'eau des rtservoirs joue un r6le p r t - pondtrant cornpte tenu de son influence sur toutes les autres donntes hydromttriques et, plus particulikrement, sur les apports naturels. C'est tgalement une donnte entachCe de graves erreurs, caustes quelquefois par des facteurs externes comme le vent, la temperature, la glace, etc. I1 est donc prtftrable de commencer la validation des donntes hydromttriques par celle des niveaux des rtservoirs.

A l'tchelle d'une station i par exemple e t pour un dtbit d'entrte suppost B priori validt, nous suggkrons la procB dure schtmatiste B la figure 13. Cette dernikre propose d e commencer la validation par les niveaux. Les nouvelles valeurs sont alors utilistes dans le systkme d'kquations 24 du bilan hydrique en supposant, en premikre Ctape, que le dtbit de sortie ne contient pas d'aberration. Si les critkres qualitatifs et quantitatifs dtfinis au paragraphe prtctdent ne sont pas satisfaisants pour les apports naturels ainsi calcults, un second filtre peut 2tre appliqut sur ces donntes. Les dCbits de sortie sont alors estimts, en deuxikme ttape, en fonction des derniers apports naturels filtrts et des niveaux validts par bilan hydrique (systkme d'tquations 24). 11s deviennent, par condquent, les dtbits d'entrte du rtservoir situt juste e n aval, aprks application des fonctions de larninage approprites. Si les critbres qualitatifs et quantitatifs (appliquts aux apports naturels validts dans la premikre ttape) ttaient satisfaisants, le second filtrage serait inutile.

A l'tchelle d'une vallte, cette proctdure doit commencer par les rtservoirs de t2te qui ne possbdent pas de dtbit d'entrte proprement dit. Ceci permettra d'utiliser des dCbits d'entrte validts B chaque fois qu'on commence la validation d'une station.

Application

Le site d'ttude retenu pour le prtsent travail est le reservoir de Baskatong situt sur la rivikre Gatineau au Qutbec (fig. 14).

Le rtservoir d'une capacitt de 3050 hm3 esl situt en aval du Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(14)

Berrada et al.

Fig. 13. ProcCdure gCnCrale d e validation.

A ~ ~ o r t s naturels valid&

Niveaux Niveaux Apports naturels

valides calcules

Station i EQUATION DE BILAN FILTRE

Debits d'entree

Debits d'entree valides

(;i la station i+l en aval)

Debits de sortie

Fig. 14. Bassin d e la rivibre Gatineau

Riviere Gatineau

Localisation des limnimetres

Hydro-Quebec Service Previsions 1995

reservoir Cabonga et en amont des centrales hydroelec- Resultats triques Paugan, Chelsea et rapides-Farmers. La rivibre Gati-

neau est un tributaire important de la rivibre des Outaouais Avant de commencer notre interpretation des resultats, nous qui coule vers le fleuve Saint-Laurent. prevenons nos lecteurs que ce sont des raisons pratiques, Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(15)

886 Can. J. Civ. Eng. Vol. 23, 1996 Fig. 15. Composantes du bilan hydrique : donnCes hydromCtriques.

-232,28 0,OO

1961/10/01 Temps (jours) 1961/11/01 1961/10/01 Temps (jours) 1961/11/01

Fig. 16. Composantes du bilan hydrique : donnCes mCtCorologiques.

Temps (jours) 1961/10/01 Temps (jours) 196111 1/01

(16)

Berrada et al.

Fig. 17. Validation des apports B Baskatong : filtre frkquentiel sur les niveaux.

FILTRE FREQUENTIEL

+ HlSTORlQUE

O CALCULE

X HlSTORlQUE

196111 0101 Temps uours) 1961111101 1961110101 Temps (lours) 1961111101

Fig. 18. Validation des apports et du dkbit de sortie : filtre frkquentiel sur les apports naturels.

222.73

-

E

2

.- a,

z

+ HlSTORlQUE

220,84

1

^X HlSTORlQUE

I

⁰ HlSTORlQUE

1961110101 Temps (lours) 196111 1101 1961110101 Temps (lours) 1961111101

(17)

Can. J. Civ. Eng. Vol. 23, 1996 Tableau 3. Rapport des volumes des apports naturels historiques par rapport aux apports

filtrCs.

PCriode de 1 mois PCriode de 3 mois PCriode d'un an PCriode totale du 1/10/1961 du 1/09/1961 du 1/04/1965 du 01/5/1927 Filtre au 1/11/1961 au 1/12/1961 au 1/04/1966 au 12/9/1993

FrCquentiel 0,974 0,999 1,000 1,000

Fraser 0,996 1,001 0,989 1,022

LinCaire 0,966 0,998 0,998 1,000

Quadratique 0,967 1,001 1,003 1,000

Winsoriseur 0,915 0,992 0,995 0,994

MCdian 0,921 1,000 0,995 0,993

Tableau 4. Coefficient d'autocorrClation avant et aprbs filtrage variation brusque d'amplitude Cquivalente h l'erreur dans les pour diffkrents parambtres. apports naturels. La figure 18 montre les rCsultats d'application du filtre frCquentiel sur les apports naturels valid&

AutocorrClation r ( 1 ) r ( 2 ) r ( 3 ) r ( 4 ) r ( 5 ) ~rkckdemment ainsi aue les nouveaux dCbits d e sortie aui en Apports historiques

Filtre frCquentie1 f, = 0,3 f, = 0 , s Filtre linCaire

L = 5 L = 9

Filtre quadratique L = 5

L = 9

Filtre winsoriseur L = 5 L = 9 Filtre mCdian

L = 5 L = 9 Filtre de Fraser

d'analyse et de comparaison des courbes, qui nous ont con- duits h choisir volontairement une pCriode de 1 mois (octobre 1961, mai 1965 et juin 1980 dans nos exemples) pour prCsen- ter les rCsultats de notre validation. Sur la piriode de visuali- sation qu'il choisit, l'utilisateur de ValiDeb dispose d'un jeu de quatre graphiques simultanCs lui permettant de visualiser toutes les composantes du bilan hydrique qui interviennent dans le systbme d'Cquations 24. Ces graphiques montrent 1'Cvolution du niveau du rCservoir, des dCbits d'entrCe et de sortie et des apports naturels qui en dCcoulent (fig. 15).

L'utilisateur a la possibilitC de visualiser, sur un graphique similaire, les variables mCtCorologiques des pluies et de la temperature quand celles-ci sont disponibles (fig. 16). Cela lui permet d'expliquer ou de rejeter certaines fluctuations dans les apports naturels.

La figure 17 montre les apports naturels calculCs h partir du systeme d'Cquations 24 en fonction des niveaux d'eau estimis par un filtre friquentiel (de friquence de coupure normalisief, = 0,3) et des debits d'entrCe et de sortie. On constate qu'il subsiste une valeur negative dans les apports naturels en date du 25/1011961. L'examen du dCbit de sortie nous r k b l e qu'h cette m&me date, ce dernier manifeste une

dCcoulent par l'application du systbme d'kquations 24.

Cet exemple simple confirme I'ordre chronologique que nous avons suggCrC au paragraphe prCcident pour valider les donnies hydromCtriques h 1'Cchelle d'une vallCe.

La figure 15 montre une Cvolution lente et continue des niveaux mesurks. Par contre, les apports naturels prisentent une courbe cahoteuse, en dents de scie. Pendant cette piriode du mois d'octobre 1961, le coefficient d'autocorrilation d'ordre 1 est de 0,909 pour les niveaux mesurCs alors qu'il n'est que de 0,202 pour les apports naturels historiques. Pour le reservoir de Baskatong, cette forte autocorrilation des niveaux est observie durant la piriode totale, d'environ 66 ans, des mesures (du 1/5/ 1927 au 12/71 1993). I1 est par consequent Cvident qu'une technique de validation utilisant un modble autorkgressif, de type ARMA (Box et Jenkins 1976) fonctionnera mieux sur les niveaux q u e sur les apports naturels. Ceci confirme donc notre procedure de validation (fig. 13) qui suggbre de dCbuter la validation des donnCes hydromCtriques d'une station par celle du niveau du reservoir.

Le tableau 3 montre le rapport entre les volumes totaux d'apports naturels historiques et ceux filtrCs par les diffC- rentes techniques. Ces dernibres donnent un rapport de volume trbs proche de 1 (5e colonne du tableau 3) pour la pCriode totale. Ce risultat est aussi obtenu pour les piriodes de 1 an (4e colonne du tableau 3) et de 3 mois (3e colonne du tableau 3). On constate, par contre, que toutes les techniques utilisCes surestiment le volume des apports filtris du mois d'octobre 1961. Ceci est dc h la trbs courte durie de la piriode choisie, pour laquelle les hypothbses statistiques sur la nature du bruit ne sont pas virifiies. On devrait donc vCrifier le critbre de conservation des volumes sur des pCriodes assez longues, d'au moins 3 mois dans le cas de Baskatong

.

Toutes les techniques de filtrage utilisies ici font systCma- tiquement augmenter les coefficients d'autocorrClation des s&ies hydromitriques, calculCs ici sur une piriode de 1 an (tableau 4). Comme on pouvait s'y attendre, cette augmentation varie en sens inverse avec la frCquence d e coupure pour le filtre frCquentie1 (3e ligne du tableau 4). Elle varie par contre dans le mkme sens que la largeur de la fenktre mobile pour les filtres liniaire, quadratique et winsoriseur (4e, 5e et 6e ligne du tableau 4). Le filtre midian (dont l'estimation de Can. J. Civ. Eng. Downloaded from www.nrcresearchpress.com by Depository Services Program on 11/18/14 For personal use only.

(18)

Berrada et al.

Fig. 19. Comparaison des mCthodes de filtrage : valeur mesurCe (*), filtre midian (O), filtre winsoriseur ( 1 1 ) .

la donnte est la mtdiane des mesures de la fenCtre) conserve ces coefficients d'autocorrtlation malgrt l'augmentation de la largeur de la fenCtre (7e ligne du tableau 4).

La figure 19 montre que les filtres mtdian et winsoriseur sous-estiment la pointe des apports naturels. Cela n'a pas CtC remarqut pour le filtre mtdian appliqut 2 l'hydrogramme synthttique (fig. 5 ) , dCfini en premikre partie. En effet, la pointe de cet hydrogramme s'ttalait sur une dizaine de jours i l'oppod des apports naturels dont la pointe s'ttale sur seulement 3 jours (fig. 19). On voit par ailleurs que les filtres mtdian et winsoriseur se comportent trks bien en prtsence de perturbations de differentes amplitudes, en dehors de la pointe de crue.

La figure 20 montre que le filtre quadratique conserve mieux la pointe des apports naturels, mais il est plus sensible que le filtre lintaire aux dtcrochages de grande amplitude.

La figure 21 montre que le filtre de Fraser surestime trks ltgkrement la pointe, ce qui l'avantagerait par rapport au filtre frtquentiel qui la sous-estime. Ce dernier prtsente par contre, comme nous l'avons vu dans la premikre partie, un meilleur lissage.

Le filtre de Fraser est approprit pour des signaux faiblement bruitts, meme avec des valeurs aberrantes isoltes de grande amplitude. En effet, ce filtre est bast sur un modkle de type ARMA (Box et Jenluns 1976) coup16 au filtre de Kalman (Radix 1984). Quand le coefficient d'autocorrtlation est faible, le modkle autortgressif est non approprit et le filtre de Kalman ( i fortiori, le lisseur de Fraser) diverge. I1 est par constquent conseillt d'appliquer ce filtre pour valider les niveaux des grands rtsewoirs dont la variation est rela- tivement lente. Les figures 22 et 23 montrent respectivement

les rtsultats d'application du filtre de Fraser et du filtre frtquentiel sur les niveaux du reservoir de Baskatong. On y constate que le filtre de Fraser s'est mieux comport6 en prtsence du dtcrochage de grande amplitude. La valeur aberrante a contamint les valeurs avoisinantes dans le cas du filtre frtquentiel.

Conclusion generale

Plusieurs techniques de filtrage ont t t t utilistes pour valider les donntes hydromttriques. Toutes ont t t t appliqutes sur des stries chronologiques journalikres, synthttiques bruittes artificiellement (hydrogramme) et rtelles (niveaux d'eau dans les rtservoirs, debits, apports naturels). Les rtsultats ont ensuite t t t comparts i l'aide de critkres qualitatifs et quantitatifs. Les mtthodes exposees donnent d e bons rtsultats. Certaines sont toutefois plus approprites que d'autres, dtpendemment du type de donntes

A

traiter, d e l'amplitude et du nombre d'erreurs qui les affectent.

Pour valider les niveaux 2 variation lente des grands rtsewoirs, le filtre de Fraser est approprit pour dktecter les valeurs aberrantes isolCes. Dans le cas d e series trks bruittes de niveau ou d'apport, les filtres frtquentiel, mtdian, tbarbeur winsoriseur, lintaire et quadratique sont approprits.

Tous les filtres utilists conservent la moyenne et l'tcart type des stries originales. 11s font en outre, augmenter l'amplitude de la fonction d'autocorrtlation dans une proportion dtcrois- sante avec la frtquence de coupure, pour le filtre frtquentiel, et croissante avec la largeur de la fenCtre mobile, pour les filtres lintaire, quadratique et median.

(19)

890 Can. J. Civ. Eng. Vol. 23, 1996

Fig. 20. Comparaison des mCthodes de filtrage : valeur mesurCe (*), filtre quadratique (O), filtre linCaire ( x )

969.05

(20)

Berrada et al

+ HlSTORlQUE

Fig. 22. Validation i Baskatong : filtre de Fraser.

221.13 7,OO

.-.

_E 0

-

^V1'

-

2

-

E m

>

a,

.- 'a,

-

z ^C

i3 0

220,60 0,OO

"

HlSTORlQUE

+ HISTORIQUE

Fig. 23. Validation ^?Baskatong ⁱ : filtre frtquentiel.

"

HISTORIQUE

0 HlSTORlQUE

(21)

Can. J . Civ. Eng. Vol. 23, 1996 Remerciements

Les auteurs tiennent h remercier Hydro-QuCbec, l e Conseil d e recherches e n sciences naturelles et e n gCnie du Canada e t 1'Ecole d e technologie supirieure pour l'appui financier fourni h c e projet.

Bibliographie

Abraham, B., et Ledolter, J. 1983. Statistical methods for forecasting. John Wiley & Son, Inc, New York.

Barnett, V., et Lewis, T. 1984. Outliers in statistical data, 2" Cd.

John Wiley & Sons, Inc., New York.

Bennis, S. 1987. PrCvision des crues par l'analyse des sCries chronologiques. Thkse de Ph.D., UniversitC de Sherbrooke, Sherbrooke. pp. 5 -55.

Bennis, S., et Bruneau, P. 1 9 9 3 ~ . Comparaison de mCthodes d'estimation des dCbits journaliers. Revue canadienne de gCnie civil, 20 : 480-489.

Bennis, S., et Bruneau, P. 19936. Amelioration de mithodes d'estimation des dCbits journaliers. Revue canadienne de gCnie civil, 20 : 490-499.

Bennis, S., CotC, S., et Narut, K. 1996. Validation des donnCes hydromCtriques par des techniques multivariCes de filtrage.

Revue canadienne de gCnie civil, 23: 218-230.

BCrubC, R., Charbonneau, R., et Dolbec, M. 1987. Validation des donnCes hydromCtriques historiques de la rivibre des Outaouais.

Hydro-Quebec, rapport interne. pp. 13 - 16.

Box, G.E.P., et Jenkins, G.M. 1976. Time series analysis: forecasting and control. Edition rCvisCe. Holden-Day, Oakland.

pp. 46-82.

Kalman, R.E. 1960. A new approach to linear filtering and prediction problems. Journal of Basic Engineering (Transactions of the ASME, Series D), 82 : 34-45.

Kalman, R.E., et Bucy, R.S. 1961. New results in linear filtering and prediction theory. Journal of Basic Engineering ( ~ r a n s a c l tions of the ASME, Series D), 83 : 95-107.

Pankratz, A. 1983. Forecasting with univariate box-Jenkins models. Concepts and cases. John Wiley & Sons, New York, Chichester, Brisbane, Toronto et Singapore. pp. 224-230.

Perreault, L., Roy, R., BobCe, B., et Mathier, L. 1991. Validation et estimation des apports journaliers. Institut national de la recherche scientifique - Eau, UniversitC du Quebec, rapport scientifique no 27 1. pp. 1 -29.

Radix, C. 1984. Filtrage et lissage statistiques optimaux liniaires.

Cepadues Editions, TouIouse. pp. 46-73 et 163- 165.

Ragot, J., Darouach, M., Maqu-in, D., et Bloch, G. 1990. Validation des donnCes et diagnostic. Editions Herrnks, Paris. pp. 79-92.

Roy, R., Gauthier, R., et HCtu, M. 1992. Hydrometeorological data quality improvement by implementing an autonomous acqui- sition network in barren areas. Hydraulic engineering software IV. Computer Techniques and Applications, Southampton et Boston. pp. 351 -357.

Solimann, S.S., et Srinath, M.D. 1990. Continuous an discrete sig- nals and systems.Prentice Hall, Englewood Cliffs.

Swartz, C.L.E. 1989. Data reconciliation for generalized flowsheet applications. American Chemical Society, national meeting, Dallas, 10 au 14 avril.

Todini, E. 1978. Mutually interactive state-parameter (MISP) estimation in application of Kalman filter to hydrology, hydraulics and water resources. Editeur : C.L. Chiu. Proceedings of the American Geophysics Union (AGU) Chapman Conference, University of Pittsburgh, Pittsburgh. pp. 135 - 15 1.

Van Den Enden, A.W.M., et Verhoeckx, N.A.M. 1992. Traitement numCrique du signal. Une introduction. Paris, Milan, Barcelone et Bonn. pp. 222-231.