Etude Expérimentale &
Résultats
44
Chapitre 03
:Etude Expérimentale & Résultats
3.1. Introduction :
Dans le chapitre précédent, nous avons parlé dans la première partie sur la multimodalité avec ses différentes formes et architectures; dans notre cas, nous sommes basés sur la fusion de la modalité du visage et la signature électronique. Ce qui concerne la deuxième partie, nous avons présenté le concept de la reconnaissance des formes avec son processus en détails. Dans ce dernier chapitre, nous allons implémenter le modèle étudié (fusion de la modalité du visage avec celle de la signature électronique) et la mise en évidence d’un système biométrique multimodal. Puis nous présenterons les résultats obtenus et les outils utilisés en montrant l’efficacité du descripteur de texture local (LBP) que nous avons décrit précédemment.
3.2. Système de reconnaissance biométrique implémenté (visage &
signature) :
Notre travail consiste à réaliser un système d’identification biométrique des personnes basé sur la fusion de deux données biométriques (signature électronique et le visage). L’extraction de caractéristiques de ces modalités est basée sur le calcul de la valeur LBP pour réduire la dimension de chaque modalité.
Chaque système de reconnaissance biométrique soit du visage ou de signature électronique doit avoir une étape d’apprentissage durant laquelle nous créons une base de données des personnes connues. Pour ce faire, un système automatique contient deux modes de fonctionnement. Le premier mode c’est l’enrôlement (apprentissage) qui consiste à extraire les éléments caractéristiques pour chaque personne puis les mettre sous forme d’un vecteur de caractéristiques. Ces derniers sont associés par une étiquette d’identité pour être stocker dans une base de données. Le deuxième mode est l’identification qui sert à reconnaitre un individu grâce à sa signature ou son visage, ceux qui veut dire retrouver l’identité associée à l’image.
45
Figure 3.1 : Diagramme conceptuel de reconnaissance de visage et de signature électronique fusionnés au niveau des caractéristiques, au niveau des scores et au niveau des décisions.
Prétraitement Prétraitement Extraction des caractéristiques Extraction des caractéristiques Base de données des vecteurs de caractéristiques Base de données des vecteurs de caractéristiques Base de données des vecteurs de caractéristiques fusionnées
Fusion des vecteurs de caractéristiques
Comparaison des caractéristiques
Comparaison des caractéristiques
Fusion des scores
Comparaison des caractéristiques Décision Score Score Identité de la personne
Rejet : personne n’existe pas dans le système
Décision Fusion des décisions Décision
Base de données des images de signature électronique Base de données des images du visage Décomposition de l’image Décomposition de l’image
46
Dans le schéma précédant, nous avons présenté les différentes architectures proposées; pour faire apparaitre l’efficacité de la fusion à chaque niveau, nous avons développé un système multimodal au niveau des caractéristiques. D’autres systèmes ont été proposés après la classification en une fusion au niveau des scores et au niveau des décisions, nous avons construit et proposé aussi d’autres architectures pour la fusion multimodale (comme la fusion au niveau des données ou au niveau des images).
Chaque phase du système de reconnaissance biométrique comporte quatre étapes essentielles : (1) Le prétraitement est l’étape qui sert à améliorer la qualité de l’image par le filtrage des bruits et l’amélioration de l’éclairage, (2) la décomposition de l’image consiste à décomposer l’image en sous-blocs (LBP multi-blocs ou LBP multi-échelle), (3) l’extraction des caractéristiques est l’étape qui permet d’extraire un vecteur de caractéristiques de l’image, et (4) l’étape de classification qui effectue une comparaison entre deux vecteurs de caractéristiques.
3.3. Bases d’images utilisées :
Pour faire la fusion multimodale des deux traits biométriques (visage et signature électronique), on a construit une base de données multimodale à partir des bases de données uni-modales existantes. Les personnes dans cas sont nommées : agents virtuels, puisque on a pris, par exemple, la première personne de la base du visage et la première personne de la base de signature et on a les considérées comme la même personne. Le choix de travailler avec des agents virtuels a été motivé par la non-disponibilité d’une base d’images multimodale pour visage et signature électronique.
3.3.1. Bases d’images pour la reconnaissance du visage :
Plusieurs bases de données contenant des informations qui permettent d’évaluer les systèmes de reconnaissance de visages sont disponibles pour la recherche et le développement des systèmes biométriques efficaces. Chaque base de visages comporte des conditions de prises de vues différentes.
Dans notre système, nous avons utilisé la base d’images ORL (Olivetti Research Laboratory) [47] pour l’évaluer.
47
3.3.1.1. La base d’images ORL :
La base ORL (Olivetti Research Laboratory) a été collectée entre avril 1992 et avril 1994 par le laboratoire « AG&T » de l’université de Cambridge en Angleterre. Cette base de données est considérée comme une base de données de référence pour les systèmes de reconnaissance automatique des visages. En effet tous les systèmes de reconnaissance de visages trouvés dans la littérature ont été testés par rapport à ORL [47].
Figure 3.2: Base de données d’image « ORL Database of Faces » [47].
3.3.1.2. Description de la base d’images ORL :
La base de données ORL contient des images de 40 personnes différentes, chacune étant enregistrée sous 10 vues différentes, donc il y en a 400 images. Les images sont de taille 112×92 pixels de niveaux de gris à 8 bits. Pour quelques sujets (personnes), les images ont été collectées à des dates différentes, avec des variations dans les conditions d’éclairage, les expressions faciales (expression neutre, sourire et yeux fermés) et des occultations partielles par des lunettes. Toutes les images ont été collectées sur un fond foncé. Les poses de la tête présentent quelques variations ne portent que certaines personnes et ne sont pas systématiques [47].
48
Nous présenterons dans ce qui suit quelques exemples des images de la base de données
ORL.
Figure 3.3 : Exemple de 10 vues d’images d’une personne extraites de la base ORL avec des changements de poses, d’expression et d’éclairage.
Figure 3.4 : Exemples de changements en expressions faciales.
49
3.3.2. Base d’images pour la signature électronique :
Il existe plusieurs bases de données pour la reconnaissance de la signature électronique. Dans notre étude nous avons utilisé la base d’images MCYT.
3.3.2.1. Description de la base MCYT
La base de données MCYT englobe des données de signatures en ligne de 330 contributeurs de quatre sites espagnoles différents [48].
Les informations de signatures ont été acquises dans le projet MCYT en utilisant un stylo à encre et modèles de papier sur une tablette (chaque signature est écrite dans un format de 1,75×3,75 cm2), les images de signatures étaient donc disponibles sur papier. Modèles de papier de 75 signatures ont été choisis au hasard et numérisés avec un scanner à 600 dpi (point par pouce) [48].
La base de données MCYT contient des images de 75 personnes différentes, chacune étant enregistrée sous 30 vues différentes et nous avons choisi des images de 40 personnes avec 10 vues différentes de chaque personne pour avoir un même nombre des images que la base de données du visage. Donc il y en a 400 images. Les images sont de taille 360×850 pixels de niveaux de couleur.
Figure 3.6 : Signature composée de simple épanouissement.
50
Figure 3.8 : Signature composée en un nom écrit et simple.
Figure 3.9 : Signature composée d’un nom écrit et complexe.
3.4. Protocole d’évaluation du système implémenté :
Afin de développer une application de reconnaissance multimodale basée sur le visage et signature et pour évaluer sa performances ; pour chaque base de données nous avons pris 40 personnes, chaque personne a 10 images. Nous avons divisé chaque base de données en deux groupes, un groupe pour effectuer l’apprentissage et l’autre pour tester la technique LBP et déterminer leurs performances.
Chaque base de données est subdivisée comme suit :
Images d’apprentissages : les cinq premières images de chaque personne servent pour l’apprentissage, donc on aura 200 images pour cette phase.
Images de tests : les cinq dernières images de chaque personne permettent de réaliser des différents tests, donc on aura aussi 200 images pour cette phase.
Le but est d’évaluer le taux de reconnaissance dont ce taux sera calculé de la façon
suivante :
51
3.5. Expérimentations & Résultats :
3.5.1. Environnement de travail :
Dans cette partie, nous allons présenter les environnements matériels et logiciels utilisés
dans notre travail :
a. Environnement matériel :
Afin de développer notre application, nous avons utilisé un ordinateur « Lenovo » dont
les caractéristiques sont les suivantes :
- Processeur : Intel ® core™ i3-3110M CPU@ 2.40 GHz. - RAM : 4.00 Go de RAM.
- Disque Dur : 500 Go.
- Système d’exploitation : Microsoft Windows 7 64bits.
b. Environnement logiciel :
Pour la réalisation de notre système, nous avons utilisé l’environnement de programmation Matlab R2016a qui permet de développer des solutions nécessitant une très grande puissance de calcul.
Matlab R2016a :
Matlab est un environnement de développement informatique particulièrement dédié aux applications scientifiques. C’est un logiciel qui contient un système interactif et convivial de calcul numérique et de visualisation graphique.
Matlab permet d’effectuer plusieurs tâches comme le traitement d’images, visualisation de données, manipulation des matrices d’une façon simple, et l’extraction de caractéristiques par différents algorithmes; il a un large choix de bibliothèques qui prennent en charge tous les outils mathématiques…etc.
3.5.2. Tests & Résultats :
3.5.2.1. Test avec les paramètres par défauts :
La première expérimentation de notre travail a été réalisée par l’utilisation des paramètres par défauts : aucun prétraitement, LBP (8,1), aucune décomposition de l’image, distance
52
euclidienne, et fusion au niveau des vecteurs de caractéristiques, celle-ci nécessite certaines compatibilités entre les caractéristiques extraites à partir de différentes modalités et parmi les méthodes que nous avons utilisées : la concaténation des vecteurs de caractéristiques. Les résultats obtenus sont mis dans le tableau suivant :
Tableau 3.1 : Taux de reconnaissance avec les paramètres par défauts (aucun prétraitement,
LBP(8,1), aucune décomposition de l’image, distance euclidienne, fusion au niveau des vecteurs de caractéristiques).
Nombre d’images fusionnées d’apprentissages Nombre d’images fusionnées de tests Taux de reconnaissance (%) 5 5 48.5
D’après le tableau 3.1, nous remarquons que le résultat obtenu pour l’identification est très faible (48.5 %). Maintenant, notre but est de chercher une meilleure méthode pour améliorer (maximiser) le taux de reconnaissance en jouant sur les paramètres de : prétraitement, extraction des caractéristiques, et classification.
3.5.2.2. Effet des prétraitements :
Afin d’augmenter le taux de reconnaissance, nous avons utilisé plusieurs prétraitements, à
savoir : le filtre médian, l’égalisation d’histogramme et l’ajustement de l’image.
Tout d’abord nous avons appliqué chaque traitement seul, et après nous avons essayé de les utiliser tous à la fois et ensuite deux à deux. Les résultats sont présentés dans le tableau suivant :
Tableau 3.2 : Effet des prétraitements sur le taux de reconnaissance.
Prétraitement Aucun prétraitement Filtre médian Egalisation d’histogramme Ajustement de l’image médian+ Egalisation + Ajustement de l’image Médian + Egalisation Médian + ajustement de l’image Egalisation + ajustement de l’image Taux de Reconnaissance (%) 48.5 50.5 50.5 48 52 53 52 50
53
Selon le Tableau 3.2, nous remarquons que l’application de plusieurs techniques de prétraitement sur l’image a un effet important sur l’amélioration du taux de reconnaissance, ce dernier a été amélioré de 48.5 % à 53 % dans le cas où nous avons appliqué une égalisation d’histogramme avec le filtre médian.
3.5.2.3. Effet des distances :
A partir de la meilleure configuration obtenue dans les expérimentations précédentes
(égalisation d’histogramme avec un filtre médian, LBP (8,1), aucune décomposition, la distance euclidienne, et la fusion au niveau des vecteurs de caractéristiques), nous avons essayé plusieurs types de distances. Les résultats obtenus sont présentés dans le tableau suivant :
Tableau 3.3 : Effet des distances sur le taux de reconnaissance.
Distance Euclidienne City-block Minkowski (P=0.3)
Taux de reconnaissance (%)
53 66.5 76
Parmi les trois mesures de distances que nous avons testées, la distance de Minkowski
donne une précision supérieure de 23 % d’après le Tableau 3.3. Donc, le choix de la distance est très important dans un système de reconnaissance biométrique multimodal. Le taux de reconnaissance a été amélioré de 53 % à 76 %.
3.5.2.4. Effet de la décomposition de l’image en plusieurs blocs :
Taux de reconnaissance avec multi-blocs :
Dans cette partie, nous avons divisé l’image en sous-blocs de la même taille et nous avons appliqué le descripteur LBP sur chaque sous-bloc, ensuite tous les vecteurs de caractéristiques extraits de chaque bloc, nous devons les concaténer pour avoir un nouveau vecteur de caractéristiques de l’image entière. Cette méthode est appelée LBP multi-blocs (MB-LBP). (Voir Figure 3.10).
54
Figure 3.10 : Exemple de décomposition de l’image en 16 blocs.
Pour diviser l’image en blocs, on utilise la commande « blkproc » sur Matlab, et dans cette expérimentation nous avons essayé plusieurs tests de division de l’image en blocs :
Le premier test consiste à prendre l’image telle qu’elle est, le deuxième consiste à diviser l’image en 4 blocs et le dernier test consiste à diviser l’image en 16 blocs. Les résultats sont rassemblés dans le Tableau 3.4.
Tableau 3.4 : Effet de la décomposition de l’image en plusieurs blocs (MB-LBP) sur le taux
de reconnaissance.
LBP multi-blocs
Nombre de blocs 1 bloc 4 blocs 16 blocs
Taux de reconnaissance (%) 76 92.5 95.5
D’après les résultats obtenus, nous avons remarqué que la décomposition de l’image en 16
blocs donne un meilleur résultat par rapport aux autres niveaux de décomposition. Ceci implique que le LBP multi-blocs influence sur le taux de reconnaissance. En effet, le taux de reconnaissance a été amélioré de 76 % à 95.5%.
Taux de reconnaissance avec multi-level :
Après avoir extraire les vecteurs de caractéristiques de l’image divisée en plusieurs
blocs, nous devons les concaténer pour former un histogramme final ML-LBP. Cette
Histogramme LBP de chaque bloc
Concaténation des histogrammes de caractéristiques
L’image du visage est divisée en blocs
55
approche est appelée LBP multi-level, son principe de fonctionnement est illustré dans la Figure 3.11.
Figure 3.11 : Exemple de la méthode LBP multi-level (ML-LBP).
A partir des meilleures expérimentations précédentes (la division de l’image en 16 blocs, la distance de Minkowski, l’égalisation d’histogramme avec filtre médian, et la fusion au niveau des vecteurs de caractéristiques), nous avons appliqué la méthode ML-LBP et les résultats obtenus sont affichés dans le tableau ci-dessous :
Tableau 3.5 : Effet de la décomposition de l’image en plusieurs blocs (ML-LBP) sur le taux
de reconnaissance.
ML-LBP 1&16 4&16
Taux de reconnaissance (%) 95.5 96
Nous remarquons que la combinaison des vecteurs de caractéristiques des blocs (4&16) donne le meilleur résultat obtenu où le taux de reconnaissance arrive jusqu’à 96%.
3.5.2.5. Effet du descripteur LBP :
Dans cette expérimentation, nous avons testé plusieurs types du descripteur LBP, le tableau suivant illustre les résultats obtenus :
Niveau 1 Niveau 2 Niveau 3
Histogramme de niveau 1 Histogramme de niveau 2 Histogramme de niveau 3
56
Tableau 3.6 : Effet du descripteur LBP utilisé sur le taux de reconnaissance.
LBP LBP (8,1) LBP (8,2) LBP (16.2) LBP (8,3)
Taux de reconnaissance (%)
96 96.5 97.5 99
Le Tableau 3.6 montre que le descripteur LBP (8,3) donne un meilleur taux de
reconnaissance qui arrive à 99 %.
3.5.2.6. Effet de fusion des images :
Pour la fusion au niveau des images, il faut que ces images soient homogènes (ayant la
même taille). Pour cette raison, on a utilisé la commande Matlab « imresize » pour changer la taille d’images de la base de données de signature et les rendre de la même taille avec les images de la base de données du visage. On a utilisé une simple addition des pixels pour la fusion d’images. Le Tableau 3.7 illustre les résultats obtenus.
Tableau 3.7 : Effet de fusion d’images sur le taux de reconnaissance.
LBP LBP (8,3)
Taux de reconnaissance (%) 86.5
D’après le tableau 3.7, on remarque que les résultats obtenus par la fusion au niveau d’images (capteur) ne sont pas assez parfaits (86.5 %) comme les résultats obtenus par la combinaison des caractéristiques.
3.5.2.7. Effet de la fusion post-classification sur le taux de reconnaissance: a. Effet de fusion au niveau des scores :
Après avoir subi les différents traitements (prétraitement et l’extraction des caractéristiques), les scores de chaque système uni-modal sont d’abord normalisés avant d’aborder l’étape de fusion. On a essayé la méthode de normalisation Min-Max des scores. Une fois les scores sont normalisés, ils sont prêts pour être fusionnés. On a utilisé la méthode Somme pour la fusion.
57
Le Tableau 3.8 récapitule nos résultats obtenus après avoir effectué la fusion au niveau des scores.
Tableau 3.8 : Effet de la fusion des scores sur le taux de reconnaissance.
Méthode de
Méthode de normalisation Combinaison
Taux de reconnaissance (%) Sans normalisation Normalisation
Min-Max
La Somme 94.5 98.5
D’après les résultats obtenus, nous constatons que la normalisation des scores a des effets sur l’augmentation du taux de reconnaissance.
b. Effet de la fusion au niveau des décisions :
Dans ce cas, chaque système uni-modal est traité séparément et fournit à la fin une décision. Le système de fusion des décisions consiste à prendre une décision finale à partir des méthodes de fusion « AND » et « OR » qu’on a utilisé dans cette expérimentation. Le tableau suivant illustre les résultats que nous avons obtenus à partir de cette fusion.
Tableau 3.9 : Effet de la fusion des décisions sur le taux de reconnaissance.
La méthode de fusion AND OR
Taux de reconnaissance (%) 88.5 99.5
Le taux d’identification qu’on a obtenu à partir de la méthode « AND » est le plus fiable / logique par rapport à la méthode « OR ».
Les résultats obtenus dans chaque niveau de fusion ont montré que la fusion dans le niveau avant la correspondance (au niveau des caractéristiques) a donné de bons résultats en les comparants avec les autres niveaux.
Les résultats trouvés au niveau des fusions des images, scores et décisions ont été satisfaisants par des méthodes de fusion simple, mais pas assez pour les résultats trouvés par la fusion au niveau des caractéristiques. Le tableau suivant résume tous les résultats obtenus dans chaque fusion.
58
Tableau 3.10 : Les résultats obtenus dans chaque fusion.
Système biométrique fusionnée
Taux de reconnaissance (%)
La fusion pré-classification
La fusion au niveau des
caractéristiques 99
La fusion au niveau des images 86.5
La fusion post-classification
La fusion au niveau des scores 98.5 La fusion au niveau des
décisions
88.5
3.5.2.8. Effet du nombre d’images d’apprentissage et de test sur le taux de reconnaissance :
Dans cette dernière expérimentation, nous avons changé le nombre d’images d’apprentissage et de test au même temps. Le Tableau 3.11 résume nos résultats.
Tableau 3.11 : Effet du nombre d’images d’apprentissage et de test sur le taux de
reconnaissance.
Images d’apprentissage Images de test
Taux de reconnaissance (%) LPB (8,3) 1 9 87.5 2 8 95.31 3 7 97.14 4 6 97.91 5 5 99 6 4 100 7 3 100 8 2 100 9 1 100
59
D’après les résultats obtenus dans le tableau ci-dessus, nous remarquons que le taux de reconnaissance est positivement proportionnel au nombre d’images d’apprentissage (c'est-à- dire que le taux de reconnaissance augmente avec l’augmentation de nombre d’images d’apprentissage) jusqu’à atteindre un maximum (le taux converge à partir de 6 images en apprentissage). Cette augmentation a été représentée par l’allure de la courbe de la Figure
3.12.
Figure 3.12 : Effet du nombre d’images d’apprentissage sur le taux de reconnaissance.
3.5.2.9. Effet de l’ordre d’images destinées à l’apprentissage et au test :
Les cinq premières images pour l’apprentissage et les cinq dernières pour le test :
Tableau 3.12 : Taux de reconnaissance avec les 05 premières d’images destinées pour
l’apprentissage et les 05 dernières d’images pour le test.
LBP LBP (8,3) Taux de reconnaissance (%) 99 87.5 95.31 97.14 97.91 99 100 100 100 100 80 82 84 86 88 90 92 94 96 98 100 102 1 2 3 4 5 6 7 8 9 Ta u x d e r e co n n ai ssanc e (%)
Nombres d'images d'apprentissages
60
Les cinq premières images pour le test et les cinq dernières pour l’apprentissage.
Tableau 3.13 : Taux de reconnaissance avec les 05 dernières d’images destinées pour
l’apprentissage et les 05 premières d’images pour le test.
LBP LBP (8,3)
Taux de reconnaissance (%) 100
Les images paires pour l’apprentissage et les images impaires pour le test.
Tableau 3.14 : Effet d’images paires pour l’apprentissage et les images impaires pour le test
sur le taux de reconnaissance.
LBP LBP (8,3)
Taux de reconnaissance (%) 100
Les images impaires pour l’apprentissage et les images paires pour le test.
Tableau 3.15 : Effet d’images impaires pour l’apprentissage et les images paires pour le test