conference 5 michel habib

(1)

Mod´

elisation et moteurs de recherche sur le web

Michel Habib

habib@liafa.univ-paris-diderot.fr

http://www.liafa.univ-paris-diderot.fr/~habib

(2)

Mod´elisation et moteurs de recherche sur le web

Plan

PageRank

Structure versus contenu

Raisonner sur des données hétérogènes

Algorithmes de recommandation

(3)

Plan

PageRank

Syntaxe et s´emantique

(4)

Plan

PageRank

Syntaxe et s´emantique Structure versus contenu

(5)

Plan

PageRank

(6)

Plan

PageRank

(7)

PageRank

(8)

PageRank, l’algorithme de classement des

pages WEB qui a permis l’´emergence de

(9)

Mod´elisation et moteurs de recherche sur le web PageRank

(10)

I ”Information is not Knowledge”, Albert Einstein

I ”Information is not Knowledge. Knowledge comes from theory”, W. Edward Deming

(11)

Sir Timothy

Timothy Bernes-Lee (1955) is generally credited with inventing the world wide web in 1990.

The internet as such already existed, but it was mostly used for email and newsgroups. It was Berners-Lee, together with his Belgian colleague Robert Cailleau, who established the first successful communication between an HTTP client and server via the Internet, thus creating the first web browser.

The first ever website in the world was

(12)

`

A quel titre je me permets de parler de ce sujet ?

I Sp´ecialiste d’algorithmique sur les graphes (algorithmes pour les tr`es grands graphes)

par an chez Exalead)

I Contrats sur le sujet avec Orange et Exalead

I Participation à un projet ANR ”Algopol” qui démarre sur les réseaux sociaux.

(13)

`

A quel titre je me permets de parler de ce sujet ?

I 3 th`eses co-encadr´ees sur les moteurs de recherche

(14)

`

A quel titre je me permets de parler de ce sujet ?

I Cours de M2 professionnel `a Paris Diderot (1 `a 2 embauches par an chez Exalead)

(15)

`

A quel titre je me permets de parler de ce sujet ?

(16)

`

A quel titre je me permets de parler de ce sujet ?

(17)

Quel rapport avec les math´

ematiques ?

I Une très belle application de l’algèbre linéaire

(18)

Quel rapport avec les math´

ematiques ?

(19)

Quel rapport avec les math´

ematiques ?

I des th´eor`emes de point fixe

(20)

Quel rapport avec les math´

ematiques ?

I des th´eor`emes de point fixe

I Des marches al´eatoires sur des graphes (chaˆınes de Markov)

(21)

Vocabulaire technique minimal

I url : Uniform Resource Locator adresse IP + chemin d’acc`es

I http : Hypertext Transfert protocol

Protocole tr`es efficace

(22)

Vocabulaire technique minimal

I html : Hypertext Markup Language

Ce langage poss`ede quelques lacunes

(23)

Vocabulaire technique minimal

(24)

Vocabulaire technique minimal

Protocole tr`es efficace

(25)

Fonctionnement d’un moteur de recherche

Donn´ees :une question (une chaˆıne de caract`eres)

Résultat :une liste ordonnée d’URL associées à la question.

Comment cela marche

mots cl´es

3. Tri et affichage d’une liste ordonn´ee d’url (munies d’une affichette).

(26)

Fonctionnement d’un moteur de recherche

Comment cela marche

mots cl´es

(27)

Fonctionnement d’un moteur de recherche

Comment cela marche

1. Extraction du contenu de la question (i.e. quelques mots cl´es)

(28)

Fonctionnement d’un moteur de recherche

Comment cela marche

2. Recherche de ”toutes” les pages WEB qui contiennent ces mots cl´es

(29)

Fonctionnement d’un moteur de recherche

Comment cela marche

2. Recherche de ”toutes” les pages WEB qui contiennent ces mots cl´es

(30)

Tri des r´esultats

L’´etape 3 est critique, car il peut y avoir plus de 100 000 r´eponses.

Une question tr`es pertinente

(31)

Tri des r´esultats

(32)

Tri des r´esultats

(33)

Tri des r´esultats

I Habib Terroriste

I Google Results (February 2007) approx 504 000 for Habib terrorist. (0,11 seconds)

(34)

Un utilisateur normal ne lit que la ou les premi`eres pages des r´esultats

(35)

I Un moteur de recherche c’est :

I une gigantesque base de donn´ees +

(36)

I un gigantesque graphe +

(37)

(38)

(39)

Le contenu

Un moteur de recherche indexe les pages lisibles de l’ext´erieur mais aussi tout texte (au format pdf, rtf ou doc) mais aussi des images

tous fichiers dans un format lisible et qui ne sont pas prot´eg´es en lecture

(40)

Nécessité de l’expérimentation car il y a beaucoup d’intox et le culte du secret dans le domaine

de recherche

Ludique

Jeux expérimentaux avec les élèves sur la question ”comment cela marche ?” On peut faire varier les moteurs de recherche.

(41)

Généricité

Les remarques pr´esent´ees ici tiennent pour la plupart des moteurs de recherche

(42)

Généricité

Les remarques pr´esent´ees ici tiennent pour la plupart des moteurs de recherche

Ludique

Jeux expérimentaux avec les élèves sur la question ”comment cela marche ?” On peut faire varier les moteurs de recherche.

(43)

Le principe de classement

I Il s’agit de calculeralgorithmiquement (pas à la main) un coefficient entre 0 et 1 associé à chaque page

(44)

Le principe de classement

I Il s’agit de calculeralgorithmiquement (pas à la main) un coefficient entre 0 et 1 associé à chaque page

I Vu la taille des données, l’algorithme doit être très efficace, ce qui interdit l’analyse précise du contenu des pages

(45)

Eviter `

a tout prix la s´

emantique

En 1999, plusieurs chercheurs ont propos´e une formulation r´ecursive de l’importance d’une page.

Cette importance ne d´ependant que de la structure des liens entre les pages html.

(46)

Eviter `

a tout prix la s´

emantique

En 1999, plusieurs chercheurs ont propos´e une formulation r´ecursive de l’importance d’une page.

Cette importance ne d´ependant que de la structure des liens entre les pages html.

N’utiliser que la structure des hyperliens entre les pages permet d’éviter les analyses du contenu des pages (on évite ainsi le recours à des programmes d’analyse de la langue naturelle)

(47)

Des m´

ethodes bas´

ee sur la structure du graphe et non la

s´

emantique des pages

Interpr´etation des hyperliens

Méthode inspirée des études sur les citations entre scientifiques, par exemple le classement pondéré de G. Pinsky et F. Narin 1976

(48)

La premi`

ere id´

ee

Utiliser le nombre de liens pointant sur une page

(c’est l’idée utilisée par les principaux indices de citations, h-index et autres scores afin de comparer les chercheurs, les labos, voire les universités . . .)

(49)

S. Brin, L. Page, R. Motwani, T. Winograd

Principe de l’algorithme de PageRank (Google)

Une page a un score d’autant plus élevé qu’elle est référencée par des pages ayant un score élevé

(50)

S. Brin, L. Page, R. Motwani, T. Winograd

Principe de l’algorithme de PageRank (Google)

Une page a un score d’autant plus élevé qu’elle est référencée par des pages ayant un score élevé

(51)

(52)

Mais aussi : Rajeev Motwani 1962-2009, Stanford

University

(53)

(54)

Principe de la m´

ethode HITS : Hypertext Induced Topic

Search

J. Kleinberg

Pour chaque page on calcule de concert deux scores : un coefficient d’autorit´e et un coefficient d’annuaire (hub)

Une page a un coefficient d’autorité d’autant plus élevé qu’elle est référencée par des pages ayant un coefficient d’annuaire élevé Une page a un coefficient d’annuaire d’autant plus élevé qu’elle est référencée par des pages ayant un coefficient d’autorité élevé.

(55)

(56)

Le graphe du WEB

I Le graphe du Web un graphe orient´e

(57)

Le graphe du WEB

I Les sommets sont les pages html, appel´ees ici pages (10 milliards de pages estim´ees actuellement)

(58)

Le graphe du WEB

I Les sommets sont les pages html, appel´ees ici pages (10 milliards de pages estim´ees actuellement)

(59)

Beaucoup de choses ont ´

et´

e ´

ecrites sur ce graphe . . .

Le fameux mod`ele du noeud papillon Broder et al. (2000)

log (Prob(d (p) = k)) = α − λlog (k) avec λ = 2.1 pour les degr´es entrants et λ = 2.72 pour les degr´es sortants.

(60)

Beaucoup de choses ont ´

et´

e ´

ecrites sur ce graphe . . .

Le fameux mod`ele du noeud papillon Broder et al. (2000)

Graphe petit monde

Les degr´es v´erifient une loi de puissance

log (Prob(d−(p) = k)) = α − λlog (k) avec λ = 2.1 pour les degr´es entrants et λ = 2.72 pour les degr´es sortants.

(61)

Biais introduit par l’outil

T. Bennouas, F. de Montgolfier 2007

La plupart des propriétés trouvées proviennent en fait des méthodes choisies pour l’exploration du graphe

(62)

Biais introduit par l’outil

T. Bennouas, F. de Montgolfier 2007

La plupart des propriétés trouvées proviennent en fait des méthodes choisies pour l’exploration du graphe

BFS

(63)

Exploration (Crawl )

L’exploration du graphe du Web est un problème techniquement difficile d’informatique distribuée (des programmes appelés robots suivent les liens)

publiques, ainsi qu’un logiciel BV graphs qui permet de compresser les graphes du Web avec 2-3 bits peof URL names

(64)

Exploration (Crawl )

L’exploration du graphe du Web est un problème techniquement difficile d’informatique distribuée (des programmes appelés robots suivent les liens)

Graphes du Web

P. Boldi et son groupe de recherche propose des donn´ees

publiques, ainsi qu’un logiciel BV graphs qui permet de compresser les graphes du Web avec 2-3 bits peof URL names

(65)

Matrice ordonn´

ee par l’ordre alphab´

etique des noms des

URL

(66)

(67)

I Une page standard contient au plus une centaine de liens vers d’autres pages

Le degr´e sortant est donc born´e

(68)

I C’est donc un graphe peu dense repr´esentable tr`es efficacement

(69)

I C’est donc un graphe peu dense repr´esentable tr`es efficacement

(70)

Le mod`

ele du radar

I L’exploration des nouvelles pages se fait en approximativement un mois

I Avec des exceptions pour les pages de pub index´ees `a la demande et les informations quotidiennes

(71)

Le mod`

ele du radar

I Périodiquement la base de données opérationnelle est mise à jour et le classement est recalculé sur l’image du graphe du mois précédent

(72)

Le mod`

ele du radar

(73)

Le mod`

ele du radar

(74)

Pages cach´

ees

(75)

Pages cach´

ees

I Nous ne parlerons ici que du WEB statique

I Nous ignorerons les pages dynamiques, calculées par un serveur en réponse à une requête d’un usager

(76)

N´

ecessit´

e d’une approche exp´

erimentale

Bien que le WEB soit une construction humaine munie d’une syntaxe (html . . .)

personne n’en poss`ede les plans.

Mais il possède une certaine sémantique qu’il s’agit de trouver à la manière des physiciens, sociologues en pratiquant des expérimentations.

(77)

Remarques

Le graphe du Web ne sert qu’à calculer le coefficient associé à chaque page,

Il n’est pas utilisé pour la recherche des pages par la suite (le reste dépend de la base de données).

(78)

Un mod`

ele lin´

eaire

Une sorte de flot

Soit Rn(p) le coefficient PageRank de la page p `a l’´etape n du

calcul et soit Rn+1(q, p) la quantit´e qui traverse l’arc qp entre les

(79)

Un mod`

ele lin´

eaire

Une sorte de flot

Soit Rn(p) le coefficient PageRank de la page p `a l’´etape n du

calcul et soit Rn+1(q, p) la quantit´e qui traverse l’arc qp entre les

´etapes n et n + 1.

L’´equation

(80)

I Avec l’hypothèse de l’équirépartion du coefficient sur les liens sortant d’une page q

I D’o`u

(81)

I On obtient

Rn+1(q, p) =_degre(q)1 Rn(q)

(82)

I On obtient

Rn+1(q, p) =_degre(q)1 Rn(q)

pour tout arc qp sortant de la page q.

I D’o`u

(83)

Vectoriellement

I Rn+1= ATRn o`u A est une sorte de matrice d’ incidence du

graphe du Web.

(84)

Vectoriellement

graphe du Web.

(85)

Vectoriellement

graphe du Web.

I A[p, q] = _{d +(p)}1 si pq est un arc et 0 sinon

I Quand la suite Rn converge, sa limite est le vecteur propre

(86)

Pourquoi PageRank est-il tant utilis´

e ?

1. Convergence tr`es rapide

3. Le calcul se parall´elise simplement.

4. Il y a plusieurs interprétations mathématiques intéressantes du calcul

(87)

Pourquoi PageRank est-il tant utilis´

e ?

2. Le calcul peut se faire ligne `a ligne en utilisant un codage compact du graphe

(88)

Pourquoi PageRank est-il tant utilis´

e ?

(89)

Pourquoi PageRank est-il tant utilis´

e ?

3. Le calcul se parall´elise simplement.

4. Il y a plusieurs interprétations mathématiques intéressantes du calcul

(90)

Convergence

A l’aide du th´eor`eme de Perron Froebenius

La convergence est assur´ee si le graphe est fortement connexe et si le pgcd des longueurs des circuits est 1.

Ce qui est impossible à vérifier sur le graphe du Web. Plusieurs astuces sont utilisées pour assurer la convergence du calcul.

(91)

Interpr´

etation `

a l’aide des chaˆınes de Markov

A est une matrice stochastique et la limite de Rn(p) peut se comprendre comme la probabilit´e qu’un surfeur al´eatoire visite la page p.

Le vecteur R final n’est rien d’autre que la distribution stationnaire d’une marche al´eatoire sur le graphe du Web

(92)

Un effet de bord ?

M. Bouklit et F. Mathieu ont essay´e de mod´eliser plus avant le comportement d’un surfeur en introduisant par exemple la touche Retour (undo)

Le classement obtenu n’avait pas l’air significativement meilleur. PageRank est-il un flot de mati`ere ou une probabilit´e ?

(93)

Proposition de projet avec les ´

el`

eves

Mise au point d’une programmation (ou du fonctionnement `a la main) sur des petits exemples de Pagerank (genre s´eance d’exercices TP ou TD)

Vecteur initial

(94)

Le facteur ZAP (dumping factor)

I On initialise `a 1/N le coefficient de PageRank de toutes les pages

o`u N est le nombre total de pages du graphe du Web

soit de suivre un lien sortant avec un probabilité 1 − d , soit ”zapper” sur une page aléatoire avec un probabilité d

(95)

Le facteur ZAP (dumping factor)

I Rn+1(p) = _Nd + (1 − d ).Σqp_degre(q)1 Rn(q)

(96)

Le facteur ZAP (dumping factor)

I Rn+1(p) = _Nd + (1 − d ).Σqp_degre(q)1 Rn(q) I Dans le mod`ele du surfeur, il peut choisir :

(97)

Le facteur ZAP (dumping factor)

I Rn+1(p) = _Nd + (1 − d ).Σqp_degre(q)1 Rn(q) I Dans le mod`ele du surfeur, il peut choisir :

(98)

G´eniale astuce

le graphe devient fortement connexe

Transformation T : Rn → R, T (x) = d . + (1 − d )Ax o`u est le vecteur dont toutes les composantes valent 1/N

contractante de rapport 1 − d et quelle que soit la valeur initiale x0, la suite

(99)

G´eniale astuce

le graphe devient fortement connexe

Transformation T : Rn → R, T (x) = d . + (1 − d )Ax o`u est le vecteur dont toutes les composantes valent 1/N

Point fixe

Si A est une matrice stochastique alors l’application T est contractante de rapport 1 − d et quelle que soit la valeur initiale x0, la suite

(100)

Vitesse de convergence

|x_n+1− µ| ≤ 1−d

d .|xn+1− xn|

avec |y | = Σi|yi|

Test d’arrˆet

Il suffit de choisir un seuil et de calculer `a la fin de chaque it´eration |x_n+1− x_n|

(101)

Pour Google d = 0.15

(102)

L’extrˆ

eme robustesse exp´

erimentale de PageRank

Peu d´ependant des conditions initiales (cf. Il existe un point fixe unique !)

(103)

En conclusion

Une application intéressante de l’algèbre linéaire que l’on peut découvrir sur des exemples simples

(104)

Question personnelle

Peut-on utiliser ces id´ees pour des calculs de flots maximum dans un graphe ?

(105)

Retour sur le fonctionnement d’un moteur de recherche

1. Précalcul d’un fichier inversé des Pages Web, dans une gigantesque Base de données distribuée

clés et calcul d’un score pondéré pour chaque page (le score dépend des mots clés de la question)

4. Filtrer les pages résultats à l’aide d’un profil d’utilisateur (langue, numéro IP, académique versus commercial).

5. Trier les pages obtenues à l’aide de PageRank (et de quelques petites astuces secrètes) et afficher cette liste ordonnée d’URL.

(106)

Retour sur le fonctionnement d’un moteur de recherche

(107)

Retour sur le fonctionnement d’un moteur de recherche

3. Recherche de toutes les pages WEB qui contiennent ces mots clés et calcul d’un score pondéré pour chaque page (le score dépend des mots clés de la question)

(108)

Retour sur le fonctionnement d’un moteur de recherche

(109)

Retour sur le fonctionnement d’un moteur de recherche

(110)

Calcul de score

Score pond´er´e

Construit `a partir de :

2. Les mots apparaissent α fois dans la description de l’entˆete de la page.

3. Les mots apparaissent β fois dans la page, avec préférence pour le début de la page.

(111)

Calcul de score

Score pond´er´e

1. Les mots apparaissent dans le titre de la page (ou le chemin d’acc`es)

(exemple French Military Victories )

(112)

Calcul de score

Score pond´er´e

(113)

Calcul de score

Score pond´er´e

(114)

Mot clés spéciaux intéressants :

Confidential do not distribute

permet de vérifier la stratégie de publication d’une société. secret défense

(115)

Commutativit´

e

La commutativité des mots clés dans une requête ?

Exemples les réponses ne sont pas classées dans le même ordre si l’on pose les questions :

Nicolas Sarkozy Sarkozy Nicolas ou Sarko

(116)

Ni Altavista, ni Exalead, ni Google, ni Ask ne sont commutatifs !1 Comment l’expliquer ? Par une cat´egorisation des noms : pr´enom versus nom de famille ?

(117)

Trouver des questions ayant peu de r´

eponses diff´

erentes

I Jeu Google : trouver une question en deux mots ayant ≤ 1 r´eponse.

(si possible sans guillemets dans la question)

(118)

Trouver des questions ayant peu de r´

eponses diff´

erentes

I dorade droiti`ere poulpe ambitieuse . . .

(119)

Trouver des questions ayant peu de r´

eponses diff´

erentes

I dorade droiti`ere poulpe ambitieuse . . .

(120)

Une typologie des requˆ

etes

(121)

Une typologie des requˆ

etes

1. Savoir, connaissance : recherche d’information (48%)

(122)

Une typologie des requˆ

etes

1. Savoir, connaissance : recherche d’information (48%)

2. Localisation : navigation (adresses, cartes, . . .) (25%)

(123)

Faut-il des moteurs de recherche sp´ecialis´es ?

Par exemple : Google Scholar pour le monde acad´emique qui n’indexe que des articles scientifiques.

(124)

A défaut une catégorisation des requêtes en fonction :

I du pays, de la langue

(125)

(126)

I des profils utilisateur

I de la requête elle-même, ce qui expliquerait l’absence de commutativité

(127)

Probl`

emes de recherche actuels

I Maintenir les performances et la pertinence des r´eponses

I Indexer correctement les images puis les vid´eos algorithmiquement

(128)

Probl`

emes de recherche actuels

I lutter algorithmiquement contre les spams

(129)

Probl`

emes de recherche actuels

(130)

Probl`

emes de recherche actuels

I identifier des communaut´es, des comportements

I Indexer correctement les images puis les vid´eos algorithmiquement

(131)

Le brevet de 2007

Le brevet d´ecrit les crit`eres qui permettent de classer les pages Web

I La date du document (en fait celle du premier r´ef´erencement Google)

I La vitesse d’apparition de nouveaux liens pointant sur une page *

I Le texte des balises (ou ancres). L’anciennet´e du texte est gage de pertinence. (Analyse s´emantique du contexte autour de la balise).

(132)

Le brevet de 2007

I La fr´equence des modifications du contenu *

page *

(133)

Le brevet de 2007

I L’analyse des requˆıtes et des clics sur les r´esultats *

(134)

Le brevet de 2007

(135)

Le brevet de 2007

(136)

Mais aussi ...

I Le trafic sur la page

I Les classements pr´ec´edents

I ˆetre ou ne pas ˆetre dans des bookmarks

I Le liens non pertinents (indicateur de spam)

(137)

Mais aussi ...

I Le comportement des visiteurs sur la page (temps pass´e . . .)

(138)

Mais aussi ...

I Le nom de domaine

(139)

Mais aussi ...

I Le nom de domaine

(140)

Mais aussi ...

I Le nom de domaine

(141)

Mais aussi ...

I Le nom de domaine

(142)

Mais aussi ...

I Le nom de domaine

(143)

Commentaires

I * signifie : pas du tout c’est mauvais, un peu c’est bien, trop c’est louche (spam)

I Le brevet ne doit donc pas ˆetre trop strict (car les autres moteurs font pareil)

(144)

Commentaires

I Une équipe d’une centaine d’ingénieurs qui pondère les paramètres décrits ci-dessus continuellement.

(145)

Commentaires

I Une équipe d’une centaine d’ingénieurs qui pondère les paramètres décrits ci-dessus continuellement.

I Le brevet ne doit donc pas ˆetre trop strict (car les autres moteurs font pareil)

(146)

Quelques r´

ef´

erences

I T. Bennouas, PhD Thesis, Montpellier University, 2005.

I M. Bouklit, PhD Thesis, Montpellier University, 2006.

I S. Brin, L. Page, R. Motwani, T. Winograd, The PageRank citation ranking : bringing an order to the Web, Technical Report 1999-0120, Computer Science Dept. Standford, 1999.

I M. Eisermann, Comment fonctionne Google ?, www-fourier-ujf-grenoble.fr/~eiserm

I J. Kleinberg, Authoritative sources in a hyperlinked environment, J. of the ACM, 1999.

I A.N. Langville, C.D. Meyer, Google’s PageRank and beyond, Princeton University Press, 2006.

(147)

PageRank

(148)

Mod´elisation et moteurs de recherche sur le web Syntaxe et s´emantique

Les limites de la recherche par mots cl´

es

(149)

Les limites de la recherche par mots cl´

es

I Les limites des statistiques de mots cl´es (Rabelais et Dieu)

I La page recherchée ne contient pas nécessairement le mot de la requête (Page de Harvard, du MIT le mot est rempla¸cé par un logo) ou les pages personnelles.

(150)

Les bombes de Google

I Le nom associé à la balise html d’une page q qui pointe sur une page p est utilisé pour indexer la page p

(151)

Les bombes de Google

(152)

Les bombes de Google

I C’est presque l’unique moyen de faire passer de la s´emantique

(153)

Les bombes les plus c´

el`

ebres

1. Talentless hacker versus Andy Pressman made by Adam Mathes in 2001.

3. Sarkozy versus Iznogood

4. Ministre Blanchisseur versus Renaud Donnadieu de Vabres

(154)

Les bombes les plus c´

el`

ebres

2. Miserable failure versus George W. Bush made by George Johnston 2003

(155)

Les bombes les plus c´

el`

ebres

(156)

Les bombes les plus c´

el`

ebres

(157)

Les bombes les plus c´

el`

ebres

4. Ministre Blanchisseur versus Renaud Donnadieu de Vabres

(158)

Dans la plupart des cas le mot de la balise est un bon mot cl´e pour une page, et une grande partie du succ`es de Google vient de cela.

Une bombe explose uniquement apr`es la mise `a jour des coefficient de PageRank (un mois)

(159)

First Google answer was : We just show what is between the Web pages.

(160)

First Google answer was : We just show what is between the Web pages.

Une bombe explose uniquement apr`es la mise `a jour des coefficient de PageRank (un mois)

(161)

Existe-t-il une solution algorithmique pour la d´

etection des

bombes ?

01/26/2007

Google announced today a modification to their search algorithm that minimizes well-known googlebombing exploits. Searches on ”miserable failure” and their ilk no longer bring up political targets. The Google blogger writes : By improving our analysis of the link structure of the web, Google has begun minimizing the impact of many Googlebombs. Now we will typically return commentary, discussions, and articles about the Googlebombs instead.

(162)

Toujours pas vrai !

(163)

(164)

La question : Comment faire un enfant ? Google classe bizarrement les r´eponses

(165)

Pour mieux r´epondre `a certaines questions, il faut comprendre le sens des mots ! ! !

Référence à Lewis Caroll :

(166)

Google n’utilise pour l’instant que des recherches `a l’aide de mots cl´es et quelques heuristiques (cf. le brevet).

Ses algorithmes ne sont pas suffisants car ils ne reconnaissent pas les pages créées par Demand Media (pages vides de sens, mais construites uniquement pour être indexées sur les requêtes les plus communes, histoire d’afficher de la publicité).

La simple existence de Demand Media (Publishing what the world want to know and share) valant 1,6 milliard de dollars est une atteinte `a Google.

(167)

Raisonnement type qu’il s’agit d’automatiser

(168)

Raisonnement type qu’il s’agit d’automatiser

1. Des donn´ees

(169)

Raisonnement type qu’il s’agit d’automatiser

1. Des donn´ees

2. Un m´ecanisme d’inf´erence

(170)

On peut vouloir raisonner logiquement (selon une certaine logique math´ematique)

ou raisonner suivant une heuristique (raisonnement de sens commun)

(171)

Les raisonnements varient d’une discipline `a l’autre :

I Pr´ehistoire :

”L’absence n’est pas une preuve, et encore moins la preuve de l’absence.”

Mais un seul os suffit à faire une théorie, inventer une espèce.

I En math´ematiques une seule preuve ”juste” suffit, en attendant le contre-exemple . . .

(172)

I Pr´ehistoire :

I En histoire pour affirmer qq chose, il faut accumuler les preuves, les indices.

(173)

I Pr´ehistoire :

I En histoire pour affirmer qq chose, il faut accumuler les preuves, les indices.

I En math´ematiques une seule preuve ”juste” suffit, en attendant le contre-exemple . . .

(174)

PageRank

(175)

Autre exemple structuraliste

Issu de la th`ese Alina Stoica 2011, CIFRE entre ORANGE LAB et le LIAFA (encadrant principal Christophe Prieur)

En considérant des graphes extraits des communications (téléphoniques, mail, SMS),

R´esultat principal

La structure des graphes egocentrés (les sous-graphes voisinages d’un sommet) sont étroitement corrélés avec l’âge.

Pour ce faire nous avons classé les graphes egocentrés suivant leur répartition des sous-graphes de petites tailles (triangle, P4, . . . ≤ 5

(176)

Mod´elisation et moteurs de recherche sur le web Structure versus contenu

Cons´equences

Il semblerait donc que la structure de communication interne du groupe de vos correspondants soit corrélé avec votre âge, et votre milieu social.

(177)

Cons´equences

Il semblerait donc que la structure de communication interne du groupe de vos correspondants soit corrélé avec votre âge, et votre milieu social.

Question

Peut-on d´eduire de la structure de ces graphes egocentr´es votre couleur politique ?

(178)

Dans ces deux premiers exemples

I Pas de sémantique, il n’est pas nécessaire de considérer le contenu des pages Web, ni le contenu des messages dans le 2ème exemple.

I Enfin Twitter utiliserait ce genre de techniques dans sa recherche anti-spam

(179)

Dans ces deux premiers exemples

I Juste l’utilisation de la syntaxe (i.e. la structure du graphe), suffit `a donner des informations utiles.

(180)

Dans ces deux premiers exemples

I Juste l’utilisation de la syntaxe (i.e. la structure du graphe), suffit `a donner des informations utiles.

I Enfin Twitter utiliserait ce genre de techniques dans sa recherche anti-spam

(181)

(182)

Les rapports entre structure et contenus dans les r´eseaux : retour au structuralisme (Levi-Strauss)

(183)

PageRank

(184)

Modélisation et moteurs de recherche sur le web Raisonner sur des données hétérogènes

1. Recommander un nouvel ami (ex : Facebook)

3. Recommander un autre achat dans un logiciel de vente en ligne ( ex : Amazon)

4. Recommander une autre vid´eo dans un logiciel de recherche de vid´eos

5. Choisir ce que l’on vous recommande de lire /voir chez vos amis (Facebook)

(185)

2. Recommander une nouvelle relation dans un r´eseau social (ex : LinkedIn)

(186)

(187)

(188)

(189)

Enorme importance ´

economique du sujet

Annonce r´ecente de th`ese 01/02/2010

Nous souhaiterions recruter des étudiants doctorants dans le cadre d’une convention CIFRE afin de développer un algorithme de coupage entre les offres d’emploi présentes sur Internet et les données ou profils utilisateurs contenus sur les réseaux sociaux tels que LinkedIn et Facebook.

Plus particuli`erement l’algorithme aura pour but de :

Proposer les offres d’emploi les plus pertinentes en fonction du profil d’un utilisateur,

Suggérer des contacts susceptibles d’être intéressés par une offre d’emploi donnée,

Optimiser la création de campagnes publicitaires ciblées sur le réseau LinkedIn ou Facebook.

(190)

`

A partir de quelles donn´

ees travaillent ces algorithmes ?

On parle aussi demoteur de recommandation

Un ou plusieurs graphes, plus des données textuelles, des graphes conceptuels ou réseaux sémantiques.

(191)

Recommandation d’un nouvel ami

On cherche les sommets du graphe du r´eseau social ayant le plus de voisins commun avec un sommet x donn´e.

Recherche de voisinage dans un graphe.

2 heuristiques possibles

Parmi ceux qui ont le plus de voisins communs, classer par ordre de proximit´e au profil

Parmi ceux qui sont proches, classer en fonction du nombre de voisins communs

(192)

Recommandation d’un nouvel ami

Variante

On cherche suivant le profil : a étudié à Paris Diderot . . .

de proximit´e au profil

(193)

Recommandation d’un nouvel ami

Variante

On cherche suivant le profil : a étudié à Paris Diderot . . .

2 heuristiques possibles

Parmi ceux qui ont le plus de voisins communs, classer par ordre de proximit´e au profil

(194)

Recommandation d’un livre

On consid`ere le graphe biparti Client – Livres.

Etant donné un client x un livre acheté y , on cherche un biparti maximal complet contenant l’arête xy dans le graphe des achats. Ce biparti peut éventuellement avoir été précalculé

(195)

Recommandation d’un livre

On consid`ere le graphe biparti Client – Livres.

Etant donné un client x un livre acheté y , on cherche un biparti maximal complet contenant l’arête xy dans le graphe des achats. Ce biparti peut éventuellement avoir été précalculé

Variante

On peut associer `a chaque livre un graphe conceptuel et rechercher des livres ayant des graphes conceptuels voisins.

(196)

One million dollars program

Il y a quatre ans, Netflix, le loueur de DVD en ligne américain, avait lancé un concours pour améliorer la pertinence de son moteur de recommandation de films de 10%. Plusieurs équipes de

recherche s’étaient lancées dans le défi, mais les propositions avaient du mal à améliorer le moteur de plus de 8,5% .

Le prix d’un Million de dollars a été gagné en 2009 (une méthode de factorisation matricielle, pas d’apprentissage automatique).

(197)

Les moteurs de recommandation fonctionnent souvent de la même fa¸con et se contentent d’offrir aux utilisateurs un système de notation pour faire des recommandations adaptées aux notes attribuées. Pour Alex Iskold, il faut distinguer les recommandations personnalisées (adaptées à nos comportements passés), sociales (adaptées au comportement d’utilisateurs similaires) ou sur l’objet.

Donn´ees de base

id user id movie id rating timestamp

(198)

Les recommandations sociales s’appuient sur un filtrage collaboratif : les gens qui aiment le Seigneur des anneaux vont apprécier Eragon et les Chroniques de Narnia. Le problème de ce type d’approche est que les goûts des gens ne se superposent pas toujours à des catégories aussi simples. Si deux personnes aiment les films de ce type, cela ne veut pas dire qu’ils aimeront les mêmes drames ou les mêmes polars. De même, on pourrait ajouter que si vous aimez un titre de ce genre pour ses qualités de réalisation, il n’est pas sûr que vous apprécierez un autre titre de ce genre dont la réalisation ou l’approche scénaristique seront différentes.