Expérimentation 1 : Estimation des paramètres du noyau

Dans cette section, nous présentons une étude relative aux paramètres du noyau. Le but de cette étude est d’estimer les bons paramètres de la fonction noyau utilisée pour la projection des données dans un espace de dimension réduite. De manière générale, il n’existe pas de critères universels permettant de choisir ces paramètres. Ce choix dépend de l’application. Ici, dans le cas de la recherche des plus proches voisins, l’objectif est de trouver les paramètres qui donnent de meilleur taux de précision de la recherche. Malheureusement, la relation entre les paramètres du noyau et la qualité de la recherche ne peut être exprimée analytiquement, car elle dépend de plusieurs critères : la distribution des données, la technique du groupement/ partitionnent des données, la méthode d’indexation, etc.

Le but ici est donc de rechercher les paramètres optimaux du noyau de manière empirique. Rappelons que nous avons adopté une fonction noyau gaussienne de la forme :

2 2 2 ) , ( δ q p e q p k − − =

Avec p et qdeux vecteurs de l’espace de données. La fonction noyau intervient dans

l’algorithme de l’ACPK pour la réduction de la dimension de l’espace projeté. Deux paramètres doivent être fixés au préalable : la dimension de l’espace de projection det le paramètre

d’échelle δ de la Gaussienne.

Dans cette section, nous présentons les résultats de l’estimation des paramètres det δ relative à

la base BD1.

Pour estimer les valeurs optimales de det δ , nous utilisons deux paramètres, l’indicateur de

γ est donné par : er Intraclust er Interclust = γ

où Interclusteret Intraclusterreprésentent respectivement les distances interclasse et intra-classe.

La distance interclasse représente la capacité de séparation de classe et peut être calculée par la distance entre les deux vecteurs les plus proches appartenant à deux classes différentes. La distance intra-classe, quant à elle, représente la capacité de classification. Elle peut être calculée par la moyenne des distances entre les vecteurs d’une classe et son centre de gravité.

Le second paramètre σ , représente la variance totale des données sur les axes principaux, elle est calculée à partir de l’ACPK et a pour expression :

∑

où dest la dimension de l’espace projeté eteing()sont les valeurs propres de la matrice de

covariance des données initiales. Nous rappelons qu’une grande valeur de γet σ est obtenue respectivement pour une bonne séparation de données et pour une faible perte d’information (paragraphe 3.2 du chapitre 3).

Pour illustrer l’influence des deux paramètres det δ sur γ et σ , nous effectuons des tests sur

les descripteurs de la base BD1 en calculant γ et σ pour différentes valeurs de det δ . Dans

des expériences non reportées ici, nous avons d’abord évalué les différentes plages de valeurs que peut prendre le paramètre δ et pour lesquelles nous obtenons une séparation significative des données. Sur la base de cette expérimentation, nous avons fixé un intervalle de variation de

δ . Dans nos expériences les valeurs de δ varient d’une manière logarithmique entre les deux valeurs 1 et 100 alors que la dimension d varie entre 2 et 252 de manière logarithmique (d

varie entre la dimension minimale et maximale des descripteurs). Les figures 5.9 (a) et 5.9 (b) représentent respectivement l’évolution des deux paramètres γ et σ pour différentes valeurs de

d et δ .

(a) (b) (c)

Fig. 5.9. (a) γ(d,δ) (b) σ(d,δ)(c) valeurs optimales des paramètres du noyau

Dans les figures, les colonnes représentent la dimension dde l’espace de données et lignes le

paramètre δ de la fonction noyau. Les pixels sombres correspondent aux faibles valeurs de γ et

σ , et les pixels clairs correspondent à des valeurs importantes de ces deux paramètres (en fait, là où les conditions sont meilleures).

Il est évident qu’une bonne représentation de données devrait pouvoir séparer les différentes classes de la base tout en garantissant une très faible perte d’information, c.à.d avoir de grande

1

2

3 4

valeurs de γ et σ . Or d’après les courbes, ceci n’est possible qu’en fixant de grandes valeurs pour det δ .

D’une part, si la dimension de l’espace de projection d est très grande, il sera difficile

d’indexer efficacement les données à travers une structure d’index multidimensionnelle en raison du problème de la malédiction de la dimension. D’autre part, le paramètre de la gaussienne δ agit quant à lui d’une manière directe sur la séparation des données. Comme nous l’avons déjà présenté dans le paragraphe 3.2 du chapitre 3, une très grande valeur du paramètre du noyau δ entraîne le chevauchement entre les différentes classes de la base de données, ce qui est non souhaitable pour les données en vu de l’indexation. En conséquence, un compromis doit être trouvé lors de l’estimation de ces deux paramètres.

Pour cela, nous avons adopté une stratégie de sélection à deux étapes. D’abord nous procédons par une première étape de filtrage en sélectionnant les couples (d,δ ) qui possèdent une valeur

de l’indicateur de performance supérieure à 98% de valeur maximale de γ , c.à.d :

où γ_maxest la valeur maximal de γ . Dans la figure 5.9 (a), la zone vérifiant cette condition se situe au dessus de la courbe qui vérifie l’équation : γd_,δ =98%.γ_max

Dans la seconde étape, parmi les couples restant après la première phase de filtrage, nous sélectionnons les couples (d ,δ ) dont la variance est supérieure à 98% de la variance maximale,

c.à.d.

où σ_maxest la valeur maximal de σ . Dans la figure 5.9 (b), la zone vérifiant cette condition se situe au dessus de la courbe qui vérifie l’équation σd_,δ =98%.σ_max

Dans le tableau suivant, nous indiquons pour les différentes régions correspondant aux γet σ en fonction de d et δ si les équations 5.1 et 5.2 sont vérifiées ou pas.

D’après la figure 5.9 et le tableau 5.1, nous remarquons que les grandes valeurs de γet σ se situent dans la région 4. De notre point de vu, les valeurs optimales de γ et σ sont les valeurs minimales qui vérifient les équations 5.1 et 5.2. Ces points se situent autour du point d’intersection des deux courbes de la figure 5.9 (a) et 5.9 (b), c.à.d le cercle de la figure 5.9 (c)

Table 5.1 Validation des équations 5.1 et 5.2 pour les régions de la figure 5.9

Pour valider notre choix, nous avons mené des expérimentations sur la qualité de la recherche en utilisant différents paramètres correspondant aux différentes régions de la figure 5.9. Nous avons tracé les courbes de rappel et de précision en fixant 5 différentes valeurs pour le couple (d,δ ). Les trois valeurs (d=52,δ =14), (d =20,δ =33) et (d=16,δ =9) appartenant à 3

régions différentes de la figure 5.9. et les deux valeurs (d=62,δ =11) et (d =65,δ =10)

max , 98%γ γ_dδ ≥ (5.1) max , 98%σ σdδ ≥ (5.2)

Région Equation 5.1 Equation 5.2

1 Non Non

2 Non Oui

3 Oui Non

correspondent respectivement au point d’intersection des deux courbes et à un point voisin. D’après la figure 5.10, Nous voyons clairement que les meilleurs résultats de la recherche sont obtenus pour les couples (d =62,δ =11) et (d=65,δ =10)

Ce test permet d’un part de valider notre stratégie de sélection des paramètres du noyau et d’autre part de montrer l’influence du choix de ces deux paramètres sur la qualité de la recherche. En effet, une bonne représentation des données dans l’espace de dimension réduite est obtenue avec l’utilisation des paramètres optimaux de la fonction noyau qui permettent de séparer au mieux les différentes classes de la base de données et de réduire la dimension de l’espace projeté. Ceci permet de faciliter le processus du partitionnent de l’espace de données et le groupement de ces derniers en index et par conséquent d’améliorer la qualité de l’indexation et de la recherche.

Notons que nous avons mené d’autres expérimentations non reportées ici sur une autre base d’image [Aloi] pour valider le choix de notre stratégie de sélection des paramètres optimaux du noyau. Les résultats sont similaires, dans le sens où les meilleures performances de la recherche sont obtenues lorsque le couple des paramètres (d,δ ) est pris dans la zone d’intersection.

Fig. 5.10 les courbes de rappel et de précision pour différentes valeurs du paramètres du noyau.