3.2 Choix des distances et des méthodes de normalisation en fonction
3.2.1 Caractérisation des besoins des utilisateurs
Afin d’identifier clairement quel processus doit être appliqué et quelle distance ou mesure doit être utilisée lorsque les classements ne contiennent pas exactement les mêmes éléments et/ou contiennent des éléments à égalité, nous présentons en Figure 3.1 un guide pour aider au choix d’une normalisation et d’une distance.
Nous expliquons dans un premier temps les choix et questions que ce guide à l’utilisateur contient. Dans un second temps nous illustrons l’intérêt d’un tel guide au travers de quatre exemples basés sur l’utilisation de moteurs de recherche. 3.2.1.1 Un guide à l’utilisateur pour caractérisé ses besoins
Le guide présenté en Figure 3.1 part d’un jeu de données puis, via une succession de questions, établit les besoins en mesure, distance et processus de normalisation. Nous détaillons ci-après les questions
c0 : Ce choix interroge sur la complétude d’un jeu de données, c’est-à-dire si chaque classement du jeu de données contient les mêmes éléments.
c1 :Cette question est posée lorsqu’un jeu de données est incomplet, et permet de caractériser le jeu de données. On cherche à savoir si, au sein d’un classement, les éléments qui sont absents de ce dernier mais présents dans d’autres ont un intérêt. S’ils ont un intérêt, même minime on accède au choix c2, sinon le guide nous informe que le processus de projection doit être utilisé car il va retirer tous les éléments qui manquent à au moins un classement.
c2 : La jeu de données considéré dans cette question est incomplet, et les éléments absents d’un classement ont une importance. On s’interroge ici sur la pertinence d’un élément absent d’un classement par rapport au éléments présents. Si aucune supposition quant à la pertinence peut être faite, alors on accède au choix c4. Dans le cas contraire le processus d’unification est recommandé car il va
3.2. CHOIX DES DISTANCES ET DES MÉTHODES DE NORMALISATION
EN FONCTION DE PROBLÉMATIQUE RÉELLES 53
Importance des éléments manquants Interprétation de l’absence d’éléments au sein d’un classement Aucune, peuvent ou
doivent être supprimés
Important, doivent être conservés Pertinence relative des éléments initiallement absents Aucune supposition
Ces éléments sont moins intéressants que ceux initialements présents Aucune supposition Même niveau d’intérêt Besoin de prendre en compte les égalités Oui Non Mesure de Kendall-τ Induite Jeu de données
Egalité entre éléments possible, doit être pris en compte Peut être utilisé dans un contexte sans égalité entre éléments Mesure de Kendall-τ Induite Généralisée Pseudo-distance de Kendall-τ Généralisée Distance de Kendall-τ Généralisée Distance de Kendall-τ Processus de
projection d’unificationProcessus
Besoin de prendre en compte les égalités Oui Non c1 c2 c4 c5 c3 Jeu de données complet c0 Oui Non
Figure 3.1 – Guide pour aider à choisir le processus (ou l’approche) de normali-sation des données et la distance (ou mesure) en fonction des caractéristiques du jeu de données et des besoins. Les processus sont dans des hexagones, les distances et mesures dans des rectangles, et les choix dans des cercles. Les deux distances dans des rectangles en pointillé sont absentes de l’état de l’art et introduites dans cette section.
54 CHAPITRE 3. BESOINS RÉÉLS, ÉVOLUTION DES ALGORITHMES ETCOMPLEXITÉ ajouter à la fin de chaque classement les éléments manquants, et ainsi interprété qu’ils sont moins pertinents.
c3/c4 : Ces deux choix nous interrogent sur la présence d’égalités au sein du jeu de données, et donc sur le besoin de les prendre en compte, pour aboutir ensuite à différentes distances et mesures.
c5 :Ce dernier choix permet de préciser l’interprétation de l’absence d’élément d’un classement dans le jeu de données original. On sait à ce stade que ces élé-ments (initialement) absents sont moins pertinent que les éléélé-ments (initialement) présents, on cherche ici à préciser si deux éléments absents d’un même classe-ment ont une pertinence équivalente. En considérant par exemple un moteur de recherche, on cherche ici à savoir si deux éléments non retournés par ce dernier sont strictement non pertinents (réponse "Même niveau d’intérêt"), ou s’il est possible que l’un soit peu pertinent alors que l’autre est strictement non pertinent (réponse "Aucune supposition").
3.2.1.2 Consensus entre les k premiers résultats de moteurs de recherche
Ce scénario basique reprend celui utilisé pour la génération des jeux de données WebSearch [Dwo+01 ; AM12 ; BBN13]. Dans ce scénario, la même requête est exécutée, par exemple "amusement parks", dans plusieurs moteurs de recherche (Google, Excite, Lycos, ...) pour ensuite calculer un consensus entre les listes de résultats. Le but décrit dans [Dwo+01] est de combattre le spam" c’est-à-dire mettre en avant les sites web retournés par beaucoup de moteurs au détriment de ceux retourné par peu de moteurs de recherche et considéré comme spam. Les listes de résultats ne contiennent pas l’ensemble des sites web retournés par les moteurs de recherche, mais uniquement les 10 premiers. Mettons alors en œuvre notre guide à l’utilisateur afin de savoir quelles mesure, distance et processus de normalisation utiliser.
Le choix c0 de notre guide nous permet d’indiquer que le jeu de données est incomplet, en effet chaque liste contient les 10 premiers sites de chaque moteurs, mais ne sont pas nécessairement les mêmes. Le choix c1 permet d’indiquer que chaque résultat doit être conservé, et en effet un site absent d’un classement peut tout à fait être premier dans les autres classements, et donc être un site web pertinent. Ensuite avec c2 nous précisons tout de même qu’un élément absent d’un classement est moins intéressant que ceux initialement présents dans ce même classement. Cette décision nous amène alors à utiliser le processus d’unification (cf. Section 2.3.2) qui ajoute à la fin de chaque classement un groupe dit d’unification où sont à égalité les éléments absents du classement mais présent dans d’autres dans le jeu de données. Le choix c5 nous questionne finalement sur la pertinence relative de deux éléments initialement absents d’un même classement. L’état de
3.2. CHOIX DES DISTANCES ET DES MÉTHODES DE NORMALISATION
EN FONCTION DE PROBLÉMATIQUE RÉELLES 55
l’art actuel nous amène à utiliser la distance de Kendall-τ généralisée, et donc à considérer qu’ils sont à égalité, or cette égalité est artificielle car absente des données originales. Afin de palier nous présentons en Section 3.2.3 une pseudo-distance permettant d’interpréter plus finement les égalités, et de différencier ces égalités artificielles des réelles. Dans notre scénario nous ignorons si deux éléments absents ont la même (non-)pertinence.
On conclut alors que notre guide à l’utilisateur nous a permis de déterminer qu’il fallait appliquer le processus d’unification sur les données avant de calculer le consensus en se servant de la pseudo-distance de Kendall-τ généralisée. En effet le processus d’unification crée des égalités en éléments qui doivent être interprétées finement.
3.2.1.3 Consensus entre de nombreux résultats de moteurs de recherche
Reprenons le scénario utilisé précédemment en changeant un point : on conserve ici pour chaque moteur de recherche les 100 premiers résultats (au lieu de 10). Vu que l’on conserve les 100 premiers résultats de chaque moteur de recherche, et que généralement un utilisateur ne regarde que les 10 ou 20 premiers résultats, on considère ici qu’un site web non retourné dans les 100 premiers résultats par un moteur de recherche est nécessairement non pertinent et ne devrait donc pas être présent dans le consensus final. Suivons donc de nouveau notre guide à l’utilisateur pour déterminer les distance et processus à utiliser.
Le choix c0 permet d’indiquer ici encore qu’un jeu de données est incomplet. Lors du choix c1, on indique ici qu’un résultat absent d’un classement n’est pas pertinent (au mieux 101e) et doit être retiré. Le guide nous indique alors que l’on doit utiliser le processus de projection (cf. Section 2.3.1), un processus qui va retirer d’un jeu de données les éléments absents d’au moins un des classements. Viens enfin le choix c3, les moteurs de recherche généralistes ne permettant pas de savoir si deux éléments sont à égalité, notre guide nous indique donc qu’il faut utiliser la distance de Kendall-τ dans sa formulation classique.
3.2.1.4 Consensus entre les résultats de moteurs de recherche biomédicaux
Nous considérons dans ce scénario encore des moteurs de recherche, mais dédiés à l’exploration des données contenues dans des sources biologiques et biomédicales. Certains moteurs comme BioZone [BY06 ; SIY06] peuvent présenter les résultats comme le ferait un moteur de recherche généraliste (à noter que BioZone est jus-tement basé sur PagraRank[Pag+99], l’algorithme de Google). D’autres moteurs tel que BioGuideSRS [CB+07] exploitent les liens typés présents entre les données
56 CHAPITRE 3. BESOINS RÉÉLS, ÉVOLUTION DES ALGORITHMES ETCOMPLEXITÉ biologiques et présentent les résultats en fonction des chemins d’exploration qui ont mené à chaque résultat, ainsi que la fiabilité et complétude de chaque source intermédiaire.
Considérons que nous utilisons BioGuideSRS et avons plusieurs algorithmes pour classer les résultats obtenu via l’exploration des sources par les chemins de BioGuideSRS.
Le choix c0 de notre guide nous permet d’indiquer que le jeu de données est complet, en effet chaque algorithme de classement considérera les mêmes chemins, et donc les mêmes données biologiques. Le choix c3 nous interroge ici sur la pos-sible présence d’égalités entre éléments. Il est en effet pospos-sible que plusieurs gènes impliqué dans la même voie métabolique soient pointé par le même ensemble de chemins, dans ce cas les algorithmes pourrait ne pas pouvoir les discriminer, ame-nant à la présence d’égalité qui ont un sens biologique. Le choix c3 nous indique donc qu’il faut utiliser la distance de Kendall-τ généralisée. On remarque qu’aucun processus de normalisation n’a été recommandé dans ce scénario.
3.2.1.5 Consensus entre experts
Nous quittons les scénarios des moteurs de recherche pour reprendre l’exemple d’utilisation présenté en Section 2.3.3. Dans cet exemple des experts classent par rapport à un élément de référence plusieurs éléments en fonction de la similarité qu’ils perçoivent vis-à-vis de l’élément de référence. On rappelle que, dans cet exemple, un expert peut s’abstenir de classer un élément s’il n’est pas sûr de son opinion. Nous enrichissons cet exemple en indiquant qu’un expert peut estimer que deux éléments ont le même niveau de similaires vis-à-vis de l’élément de référence, et qu’ils sont dans ce cas à égalité dans le classement.
Utilisons notre guide pour identifier quelles mesures utiliser. Par le choix c0, nous indiquons que le jeu de données est incomplet. Le choix c1 permet d’indiquer que tous les éléments sont importants, en effet chaque élément représente l’opinion d’une personne considérée comme experte du domaine étudié et mérite donc une attention. Le choix c2 nous permet d’indiquer une particularité de notre scénario : lorsqu’un élément est manquant d’un classement c’est une abstention d’un expert, et on ne doit rien supposer quant à la pertinence de l’élément. Le guide à l’utilisa-teur nous oriente alors vers le choix c4. Comme précisé précédemment, il y a des égalités entre éléments, le guide nous amène donc à utiliser la généralisation de la mesure de Kendall-τ induite. Cette mesure n’est pas présente dans la littérature et nous l’introduisons en Section 3.2.2.
3.2. CHOIX DES DISTANCES ET DES MÉTHODES DE NORMALISATION
EN FONCTION DE PROBLÉMATIQUE RÉELLES 57
3.2.1.6 Discussion autour des cas d’utilisation
Nous avons présenté dans cette sous-section quatre cas d’utilisation débouchant sur des normalisations et distances/mesures différentes. Certaines, déjà présentes dans la littérature, ont été introduites au Chapitre 2. Nous présentons maintenant deux nouvelles mesures répondant à de nouveaux besoins identifiés grâce à notre guide à l’utilisateur.