Contrôle de qualité sur les données brutes en Eddy Covariance

(1)

HAL Id: hal-02805506

https://hal.inrae.fr/hal-02805506

Submitted on 6 Jun 2020

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Contrôle de qualité sur les données brutes en Eddy Covariance

Bernard Longdoz

To cite this version:

Bernard Longdoz. Contrôle de qualité sur les données brutes en Eddy Covariance. 1. Ecole d’Hiver Eddy Covariance, Jan 2013, Gembloux, Belgique. pp.21 slides. �hal-02805506�

(2)

Données

brutes EC flux

Calculs des flux

Contrôle de qualité des

données brutes Contrôle de

qualité des flux

Objectifs : Remplacement, Selection

⇓

Contrôle de qualité sur les données brutes en Eddy Covariance

Bernard Longdoz

Context

(3)

(4)

Procédure Générale

2. Contrôle de qualité sur les données brutes (7 tests sur u, v, w, Ts, X à 20Hz)

3. Si les données n’ont pas la qualité requise (paramètre hors plage) ⇒ Flag

Hard flag :

Problèmes instrumentaux ou d’enregistrement

Soft flag :

Comportement inhabituel (conditions spéciales)

1. Déterminer une plage d’acceptation (valeurs seuils ), pour paramètre(s) testé(s) dans chaque tests

Valeur paramètre flagsoft

flagsoft hard

hard flag

flag Good

data

Seuil 1 Seuil 1 haut

Seuil 2 bas

bas Seuil 2

haut

(5)

4. Vérification aléatoires par inspection visuelle

Changement de statut

Changement des seuils

5. Rejets des données Hard Flag Seuils :

• Spécifiques aux sites

• Conservatif (pas de problèmes instrumentaux en soft flag)

Règle générale : pas de rejet de données « suspicieuses » Basé sur Vickers & Mahrt (1997)

Présent sur le soft EDDYPRO

(6)

Tests :

1. Pics

2. Résolution de l’amplitude

3. Sauts transitoires

4. Valeurs limites

5. Dissymétrie

6. Discontinuité de moyenne/variance

7. Angle d’attaque

(7)

Test 1: Pics

Causé par:

• Pics électronics aléatoires

• Eau sur openpath

• Eau sur capteurs de l’anémo...

Critères de sélection :

• Variation entre 2 pts successifs > plusieurs fois σ

• Largeur de seulement quelques points

(8)

Procédure

1. moyenne (m) & σ calculé sur un souséchantillon (L= 5min)

2. point > m+3.5.σ considéré comme pics

5. 4 points consécutifs (ou +) détectés > m+3.5.σ ⇨ pas un pic

6. Pics remplacés par interpolation linéaire

7. procédure 1 4 répétée → 3 fois avec seuil +10%

8. Passage au sous échantillon suivant (L/2)

9. Hard flag sur ½ heure si 1% (ou +) de pics

10. Soft flag si 0,2%

Rasex Micro Hesse Hard flag 0.7% 0.8% 0.7%

Percentage of halfhour flagged during the campaigns

(9)

Test 2: Résolution d’amplitude

Causé par :

• Plage de variation trop faible

• Problème durant la transformation analoguedigital

Step ladder σ Faible

Détecté par :

Nombre de valeurs mesurées <<

(10)

Procédure

1. MaxMin & σ calculé pour souséchantillon (L=1000 points)

2. Intervalle de valeur = minimum (MaxMin, 7σ)

5. Divise intervalle en 100 classes

6. Détermination du nombre de données dans chaque classe

7. Détermination du nombre de classes vides

8. Passage au sous échantillon suivant (translation de L/2)

9. Hard (soft) flag sur ½ h si 70% (40 %) des classes vides

Criteria Rasex Micro95 Hesse Hard flag 0.5% 1.6% 0%

Soft flag 0.8% 0% 0%

(11)

Test 3: Sauts

Causée by :

• Condensation sur fenêtre optique

• bites perdu pendant transfert vers PC (datalogger)

Impact faible si saut près de la moyenne

Détecté par :

Beaucoup de données consécutives dans la même classe de valeurs

(12)

Procédure

1. MaxMin & σ calculé pour souséchantillon (L=1000 points)

2. Intervalle = minimum (MaxMin, 7σ)

5. Divise intervalle en 100 classes

6. Détermination du nombre de valeurs tombant dans une classe identique à la celle de la valeur précédente (valeurs )

7. Passage au sous échantillon suivant (translation de L/2)

8. Hard (soft) flag sur ½ h si 10% (6%) de valeurs

Criteria Rasex Micro95 Hesse Hard flag 0.7% 4.7% 0.3%

Soft flag 1% 4.3% 0.6%

(13)

Test 4: Limites

Causé par :

• perturbations humaines (maintenance)

• panne (courant,…) sur un instrument, filtre Données hors de la plage de valeurs réalistes

Détecté par :

Comparaison de la donnée avec les valeurs max et min physiquement réalistes

Limites

1. Vent horizontal : 30 m.s1

2. Vent verticale : 10 m.s1

3. Température sonique: 20 to 60°C

4. Concentration CO2: 315 to 570 ppm

5. Concentration H2O: 1.75 to 33.25 mmol/mol

(14)

Criteria Rasex Micro95 Hesse Hard flag 0.5% 8.7% 4.9%

Hard flag si une donnée hors de la plage de valeurs réalistes

(15)

Test 5: Dissymétrie

Causé par by :

• Bruit électronique

• Pluies très importantes Moment d’ordre 1 = moyenne

Détecté par : Valeur du moment d’ordre 3 et 4 hors de la plage acceptable

Moment d’ordre 2 = variance Moment d’ordre 3 = skewness

Moment d’ordre 4 = kurtosis

n x m ⁱ

∑ i

=

( )

n x m

i

2

2 ∑ ⁻ i

= σ

n x m s ⁱ

3

∑^_^ _σ⁻ i^_^

=

n x m k ⁱ

4

∑^_^ _σ⁻ i^_^

=

(16)

Procédure

1. Calcul d’une régression linéaire sur l’ensemble des données

2. En soustrait cette tendance linéaire (linear detrending)

3. Calcul de s et k pour l’ensemble des données

4. Hard (soft) flag sur ½ h si s hors de [–2,2] ([–1,1]) ou k hors de [1,8] ([2,5])

Criteria Rasex Micro95 Hesse Skewness

Hard flag 2.1% 3.5% 1.4%

Soft flag 1% 0.4% 0.4%

Kurtosis

Hard flag 1.8% 5.5% 2.4%

Soft flag 1.5% 1.6% 0.6%

(17)

Test 6: Discontinuités (moyenne, variance) moyenne

Variance

(18)

Procédure

1. Souséchantillon (5min) divisé en 2

2. Calcul de la moyenne et de la variance pour les 2 parties du souséchantillon.

3. Calcul de :

(moyenne1moyenne2)/min(écart type; plage de variation) = Hm

(variance1 – variance2)/variance = Hv

8. Passage au sous échantillon suivant (translation d’un point)Pour ½ h Détecté par :

Différence importante entre les moyennes/variances des 1ère et 2ème parties d’un sous échantillons

Causé par :

• Problème dans la transmission d’un bite

• Transition de l’écoulement laminaire au turbulent

(19)

Criteria Rasex Micro95 Hesse Disc. moyenne

Hard flag 0.5% 1.2% 0.7%

Soft flag 1.3% 0.8% 1%

Disc. variance

Hard flag 1.6% 4.3% 3.8%

Soft flag 4.3% 3.1% 1.3%

6. Hard (soft) flag pour la ½ heure si au moins 1 Hm ou Hv > 3 (2)

(20)

Test 7: Angle d’attaque

Causé par :

• Configuration de l’anémo. + événement de « vent vertical » Angle α entre l’horizontale de l’anémo. et la vitesse du vent

Détecté par :

Comparaison entre l’angle d’attaque α et les valeurs limites permises

α

(21)

Procédure

1. Calcul de l’angle d’attaque à haute fréquence

2. Comptabilisé le nombre de α hors de la plage [30°,30°]

3. Hard flag si plus de 10% d’α hors de la plage

Criteria Rasex Micro95 Hesse

Hard flag - - 2.8%

 





 



 +

=

α ar cos u

²

w v

²

(22)

Résultats pour la saison de végétation 2005 à Hesse