Face aux diff´erentes applications bas´ees sur des syst`emes de reconnaissance biom´etrique propos´ees pour faciliter la vie quotidienne, l’utilisateur doit ˆetre capable de choisir la meilleure application qui r´epond `a ses besoins (facile `a utiliser, ´economique, de bon niveau de protec-tion des donn´ees, la plus performante, etc.). Pour aider l’utilisateur `a choisir l’application appropri´ee, les auteurs de (95) ont propos´e les ´evaluations suivantes :
• Evaluation de la technologie :´ vise `a tester l’efficacit´e des algorithmes sur des bases de donn´ees enregistr´ees.
• Evaluation du sc´´ enario : vise `a ´evaluer un syst`eme biom´etrique complet (capteurs + algorithmes).
• Evaluation op´´ erationnelle : vise `a mesurer les performances d’un syst`eme complet dans des conditions r´eelles.
Dans la suite de ce document, lorsque nous ´evoquerons l’´evaluation des syst`emes bio-m´etriques, nous ne ferons que de l’´evaluation technologique. Nous testerons les diff´erentes approches ´etudi´ees sur des bases de donn´ees pr´e-acquises dans des conditions non contrˆol´ees.
Nous avons cit´e pr´ec´edemment qu’il existe deux modes op´erationnels des syst`emes biom´ e-triques. Dans ce travail, nous nous int´eressons au mode de v´erification.
En mode v´erification, nous consid´erons `a la fois les comparaisons clients et les compa-raisons imposteurs. Les compacompa-raisons clients sont des compacompa-raisons entre les ´echantillons de la mˆeme personne. Les comparaisons imposteurs sont des comparaisons entre les ´ echan-tillons personnes diff´erentes. Pour ´evaluer les performances d’un syst`eme de reconnaissance biom´etrique, nous effectuons des comparaisons de typeun-`a-un c-`a-d toutes les comparaisons possibles entre les diff´erents ´echantillons de la base de donn´ees. Chaque comparaison est as-soci´ee `a un score de dissimilitude. L’ensemble des scores g´en`ere la distribution des clients et celle des imposteurs. Si ces deux distributions sont bien s´epar´ees (aucun chevauchement), le syst`eme biom´etrique est alors dit id´eal. Dans le cas r´eel, les deux distributions se recouvrent (Figure :1.5).
La d´ecision d’acceptation ou de rejet est li´ee `a un seuil. Quel que soit le seuil, des erreurs sont engendr´ees. Ces erreurs sont consid´er´ees comme une mesure d’´evaluation. Il existe deux types d’erreurs :
• Faux Rejet (FR) :dans le cas o`u le syst`eme consid`ere un client comme un imposteur.
• Fausse Acceptation (FA) :dans le cas o`u le syst`eme consid`ere un imposteur comme un client.
A partir de ces deux types d’erreurs (FR et FA), l’´` evaluation est bas´ee sur diff´erentes m´etriques.
1.2.1 Les mesures des taux d’erreurs
L’accumulation des erreurs lors de l’´evaluation d’un syst`eme biom´etrique permet de cal-culer les taux d’erreurs `a un seuil fix´e (95).
• Taux de fausses acceptations (FAR) :en anglais False Acceptance Rate, c’est le pourcentage de comparaisons d’imposteurs qui ont ´et´e accept´ees.
• Taux de Faux rejets (FRR) :en anglais False Rejection Rate, c’est le pourcentage de comparaisons clients qui ont ´et´e rejet´ees.
• Taux d’acceptation de clients (GAR) :en anglais Genuine Acceptance Rate, c’est d´efini comme :GAR= 1−F RR.
Ces mesures sont utilis´ees pour comparer les performances des diff´erents syst`emes de reconnaissance biom´etrique. Ces taux d’erreurs (FAR et FRR) d´ependent du choix de la valeur du seuil de d´ecision. Si le FAR est faible (les imposteurs auront des difficult´es `a p´en´etrer) et le FRR est ´elev´e (les clients pourront entrer mais avec difficult´e) alors le syst`eme biom´etrique est dehaute s´ecurit´e. Dans le cas inverse, le syst`eme estpermissif (faible s´ecurit´e).
Figure1.5 – Densit´es de scores de dissimilitude d’un syst`eme biom´etrique r´eel.
1.2.2 Les courbes de performances
La variation de la valeur du seuil de d´ecision permet de repr´esenter les changements des diff´erentes m´etriques FAR, FRR et GAR. Nous nous basons sur ces derni`eres pour d´efinir les courbes de performances (95) qui permettent de visualiser la variation des performances d’un syst`eme biom´etrique en fonction du seuil :
• Courbe des densit´es de scores :repr´esente la distribution des clients et imposteurs en fonction des scores de dissimilitude (Figure 1.5).
• Courbe DET (Detection Error Trade-off ): exprime la variation de FRR en fonc-tion de FAR (ou FAR en foncfonc-tion de FRR) (figure 1.6(a)). Chaque point dans la courbe est li´e `a un seuil de d´ecision.
• Courbe ROC (Receiver Operating Characteristic): indique la variation de GAR
en fonction de FAR (figure 1.6(b)).
Il est `a noter qu’il est possible d’utiliser l’´echelle logarithmique sur les deux axes (ou sur juste un seul) des courbes DET et ROC. Ce passage facilite la d´etection des points de fonctionnement qui seront d´efinis dans la sous section suivante.
1.2.3 Les points de fonctionnement
Selon l’application cibl´ee, un seuil de d´ecision doit ˆetre fix´e pour prendre des d´ecisions d’acceptation ou de rejet. Par cons´equent, une indication des performances du syst`eme `a cette valeur de seuil est donn´ee. Cette situation pr´esente le choix du point de fonctionnement du syst`eme.
Pour ´evaluer les syst`emes biom´etriques, trois points de fonctionnement sont principale-ment utilis´es :
• Taux d’Erreurs ´Egales (EER) :en anglais Equal Error Rate, est calcul´e `a la valeur du seuil de d´ecision o`u FAR et FFR sont ´egaux.
• FAR fix´e : lors de l’utilisation de ce point de fonctionnement, la performance du sys-t`eme biom´etrique est donn´ee par une valeur de FRR `a un taux de FAR (respectivement GAR) pr´ecis.
• FRR (respectivement GAR) fix´e : la performance du syst`eme `a ce point de fonc-tionnement est exprim´ee par la valeur du FAR.
Dans la suite de ce rapport, nous nous int´eresserons aux applications de s´ecurit´e. Donc, nous choisissons d’utiliser les points de fonctionnement suivants : EER, FAR fix´e `a 10−3 et FAR fix´e `a 10−4. Ils sont consid´er´es par la commuaut´e scientifique comme les indicateurs les plus pertinents lors de l’´evaluation de l’efficacit´e des syst`emes biom´etriques dans un but d’application de s´ecurit´e. Le FAR fix´e est exprim´e par le GAR correspondant. Nous utilisons la courbe ROC pour visualiser l’´evolution des performances.
(a) (b)
Figure1.6 – Courbe DET (a) et Courbe ROC (b).