Réseaux multi-capteurs

UPJV, Département EEA Master 2 3EA, EC53

UE optionnelle

Fabio MORBIDI, Mohammed CHADLI

Laboratoire MIS Équipes PR et COVE

{fabio.morbidi,mohammed.chadli}@u-picardie.fr

Vendredi 8h30-12h30, Salle CURI 305 ou TP204

2

Plan du cours

Chapitre 1: Modélisation de l’incertitude

1. Introduction

3. Incertitude d’un capteur 2. Représentation de l’erreur

4. Propagation d’incertitude

Chapitre 2: Traitement des mesures

1. Réseaux multi-capteurs 2. Fusion des mesures

Partie I : F. Morbidi

Chapitre 3: Estimation distribuée basée sur le consensus

1. Dynamic average consensus estimators

3. Filtre de Kalman distribué

2. Méthode des moindres carrés distribuée

Ch. 2: Traitement des mesures

  Réseaux multi-capteurs

  Fusion des mesures Partie 2

Partie 1

4

Systèmes multi-capteurs biologiques [Homme]

Fusion multi-capteurs : introduction

Homoncule sensitif: représentation déformée du corps humain basée sur une « carte » neurologique des zones et des proportions du cerveau dédiées aux fonctions sensorielles pour différentes parties du corps

Intégration de l'information sensorielle pour faire des inférences concernant l'environnement

Goût

Vue Ouïe

Toucher Odorat

Surface de cortex du cerveau

Chouette effraie

Expériences de R.S. Payne dans les années ‘50

Information sur la rétine

Azimuth

Elevation

Fusion dans le tectum optique Ouïe

« Why Are Barn Owls a Model System for Sound Localization? », L. Hausmann, M. Singheiser, H. Wagner, Journal of Experimental Biology, vol. 213, pp. 2355–

2356, 2010

Systèmes multi-capteurs biologiques [Monde animal]

Fusion multi-capteurs : introduction

Perception de la proie (souris)

Solar Cell Digital Infrared Ranging

Compass Touch Switch

Pressure Switch Limit Switch

Magnetic Reed Switch Magnetic Sensor

Miniature Polaroid Sensor

Polaroid Sensor Board Piezo Ultrasonic Transducers Pyroelectric Detector

Thyristor

Gas Sensor

Gieger-Muller Radiation Sensor Piezo Bend Sensor

Resistive Bend Sensors Mechanical Tilt Sensors Pendulum Resistive

Tilt Sensors

CDS Cell Resistive Light Sensor

Hall Effect Magnetic Field

Sensors

Compass IRDA Transceiver

IR Amplifier Sensor

IR Modulator Receiver Lite-On IR

Remote Receiver

Radio Shack Remote Receiver

Gyro Accelerometer

IR Reflection Sensor

IR Pin Diode

UV Detector Metal Detector

Différents capteurs ...

Fusion multi-capteurs

Références:

La fusion des informations provenant de différents capteurs permet:

•  D’augmenter la connaissance sur l’état du système en tirant profit de la complémentarité des capteurs

•  D’améliorer la précision des estimations en exploitant la

redondance des données. Cette redondance peut provenir de l’utilisation de plusieurs sources d’information et/ou de la connaissance de l’évolution du système dans le temps

•  De gérer l’incertitude lors de la combinaison d’informations qui seront utilisées dans un processus de décision

“Multi-sensor data fusion with MATLAB”, J.R. Raol, CRC press, 2009

“Handbook of Multisensor Data Fusion:

Theory and Practice”, M.E. Liggins II, D. Hall, J. Llinas (éd.), CRC press, 2017

Niveaux de représentation

La fusion se situe à différents niveaux :

•  Niveau signal

- Fusion d’images, nuages de points 3D, courants, etc.

•  Niveau primitive

- Extraction des features (ex. points, droites, cercles)

•  Niveau décision

- Suivi de cible (“target tracking”)

8

Fusion multi-capteurs : architecture générale

Pré- traitement

Choix du capteur

Y₁

Y₂

Yn

Z₁ Z₂

Zn

Décision

Donnée fusionnée

Intégration Fusion Intégration

X₁

X₂

Xn Signal Capteur 1

Capteur 2

Capteur

Règles de combinaison

(par ex. filtre de Kalman)

•  Les mesures de capteurs sont pré-traitées

•  Les données sont ensuite fusionnée (par ex. avec le filtre de Kalman, les grilles probabilistes ou la théorie des évidences)

•  Les résultats sont classés et sélectionnés avant que une décision sur les informations de fusion optimale soit prise

... ... ... ...

n

n

Alternatives aux méthodes probabilistes:

• 

•  Logique floue (“fuzzy logic”)

•  Théorie des evidences (“evidential reasoning” ou ER):

méthodes de Dempster–Shafer

Méthodes probabilistes pour la combinaison de données multi-capteurs:

•  Règle de Bayes

•  Grilles probabilistes

•  Filtre de Kalman ou filtre d’information (cf. le Ch. 3)

•  Méthodes de Monte Carlo séquentielles

Limitations :

1.  Complexité 2.  Incohérence

3. Précision des modèles

4. Incertitude sur l’incertitude

10

Fusion multi-capteurs : règles de combinaison

Classification des architectures pour la fusion multi-capteurs selon quatre axes indépendants:

1. Centralisée vs. décentralisée (ou distribuée) 2. Interaction locale vs. globale des composantes 3. Modulaire vs. monolithique

4. Hétérarchique vs. hiérarchique

•  Centralisée, interaction locale et hiérarchique

•  Decentralisée, interaction globale et hétérarchique

•  Decentralisée, interaction locale et hiérarchique

•  Decentralisée, interaction locale et hétérarchique Les combinaisons les plus répandues sont:

Fusion multi-capteurs : taxonomie

Architectures centralisées

• 

Les sorties d’un capteur peuvent guider les traitements d’un autre capteur

• 

Architecture adaptée pour les capteurs complémentaires (par exemple, système caméra visible et caméra infrarouge ou système camera et laser)

• 

Les mesures doivent être référencées dans le même repère (spatiale ou temporelle)

Centre

fusion de Decision

Mesures

Mesures

Mesures Capteur 1

Capteur 2

Capteur

n ...

12

Architectures des systèmes multi-capteurs

Fusion multi-capteurs centralisée : exemple

Fusion laser et caméra

(c)

(a) (b)

(a) Le laser détecte des objets en mouvement et calcule leur position et leur vitesse; (b) Au même temps, les objets sont classés par

système de vision comme véhicules; (c) Après la phase de fusion, le système sait que il est en train faire le tracking de deux véhicules

Architectures décentralisées

• 

Chaque capteur a ses propres modules de pré-traitement et décision sans échange avec les autres capteurs

• 

Un centre de fusion établit les décisions finales (« globales »)

Centre de fusion

Décision globale

Mesures

Mesures

Mesures Capteur 1

Capteur 2

Capteur

Extraction de

features

Décision Locale

Décision Locale Décision Locale

...

n ...

14

Architectures des systèmes multi-capteurs

Fusion multi-capteurs décentralisée : exemple

Reconn. de l'iris

Reconn. faciale

Empreinte digitale

Applications biométriques:

Fusion multi-capteurs en robotique mobile

La fusion multi-capteurs permet l’estimation d’un vecteur d’état qui est:

Les points 1) & 2) sont les objectifs des techniques SLAM (“Simultaneous Localization And Map building”)

1.  La position d’un robot dans des applications de localisation

2.  La position des amers de l’environnement dans le cas de la cartographie

3.  La position d’autres objets mobiles dans le cas du suivi de cibles (“target tracking”)

16

Fusion de capteurs en robotique mobile (localisation) : exemple

Soit un robot équipé de deux capteurs de distance (A et B) ayant des bruits de mesure avec variances et σ

σ

Robot

Capteurs

z _B z _A

x

Fusion de capteurs en robotique mobile (localisation) : exemple

•  On considère les deux mesures et z A z B

σ

σ

x

z _{A x 2 x 1} z _B

x ₃ x ₄

18

•  Quel est le meilleur estimé de la position du robot par rapport au mur, en tenant compte des incertitudes de mesure et ?

x

Fusion de capteurs en robotique mobile (localisation) : moyenne pondérée

Objectif: Combiner avec une moyenne pondérée les deux mesures (évidences) obtenues par les capteurs A et B

•  On voudrait donner plus d’importance à la mesure ayant une variance plus petite

Idée: utiliser une moyenne pondérée basée sur l’inverse

des variances

Fusion de capteurs en robotique mobile (localisation) : moyenne pondérée

Nos hypothèses:

x = 10 m

•  La vraie distance du mur est

•  Les deux capteurs sont identiques:

•  Modèle du capteur:

• 

•  Bruit sans biais

•  Les mesures et sont non corrélées

•  Portée du capteur illimitée

(μ

= 0)

σ

= σ

20

z

= x + r, r ∼ N (0, σ

), i ∈ {A, B}

Rappel:

Var[aX + bY ] = a

Var[X ] + b

Var[Y ] + 2ab Cov[X, Y ]

X Y

Si et sont deux variables aléatoires et a, b ∈ R :

z

z

Fusion de capteurs en robotique mobile (localisation) : moyenne pondérée

Capteur A Moyenne Capteur B

z = z

+ z

2

σ

= 1 σ

= 1

σz = 1/√ 2

= 0.7071

z _B = 10 + r z _A = 10 + r

Var[z] = σ

= Var

z

+ z

2

= 1

4 Var [z

] + 1

4 Var [z

] = 1

4 (σ

+ σ

) = 1 2

(les deux mesures sont non corrélées)

Fusion de capteurs en robotique mobile (localisation) : moyenne pondérée

z = z

+ z

2

Capteur A Capteur B

Capteurs différents: σ

> σ

Moyenne

σz = σB =

L’écart-type de augmente !

22

z B = 10 + r z A = 10 + r

σ

= 0.56 > σ

= 0.50

z

Fusion de capteurs en robotique mobile (localisation) : moyenne pondérée

Objectif: déterminer le poids optimal w ∈ [0, 1]

Si on calcule la variance de , on obtient:

Var[z] = Var[(1 − w) z

+ w z

]

= (1 − w)

Var[z

] + w

Var[z

] + 2w(1 − w)Cov[z

, z

]

= (1 − w)

σ

+ w

σ

= 0

Les deux mesures sont non corrélées

z

En général, on peut considérer une combinaison convexe des deux mesures:

z = (1 − w) z

+ w z

, w ∈ [0, 1]

Fusion de capteurs en robotique mobile (localisation) : moyenne pondérée

Nous avons:

d

dw Var[z] = d

dw [(1 − w)

σ

+ w

σ

]

= −2(1 − w) σ

+ 2 w σ

= 0

En conclusion, si on résout l’équation précédente par rapport à , on trouve que le poids optimal minimisant la variance de est: z

w = σ _A ² σ _A ² + σ _B ²

w

24

Pour minimiser , on cherche tel que Var[z ] d

dw Var[z ] = 0

w

Exemple:

Va r[ z ] ^w

⁼

σ

σ

+ σ

= 1

1 + 0.5

= 0.8

Poids

σ

= 0.45

σ

= 1 σ

= 0.5

z B = 10 + r z A = 10 + r

w = 0 w w = 1

w

= 0.8

z = (1 − w)z

+ w z

σ

< σ

!

Fusion de capteurs en robotique mobile (localisation) : moyenne pondérée

Dans les cas plus générale de mesures , soit:

Si les v.a. sont indépendantes avec variance , alors:

z =

i=1

w

z

où les poids satisfont les conditions suivantes (combin. convexe): w

w

≥ 0,

i=1

w

= 1

σ

z

Var[z ] =

i=1

w

σ

Pour déterminer les poids optimaux, on doit minimiser Var[z]

26

n z

, . . . , z

Fusion de capteurs en robotique mobile (localisation) : moyenne pondérée

... avec la contrainte sur les poids:

En introduisant un multiplicateur de Lagrange pour respecter cette contrainte, on trouve finalement que les poids optimaux sont:

i=1

w

= 1

w k = 1 σ _k ²

_n

i=1

1 σ _i ²

₋₁

, k ∈ {1, . . . , n}