Introduction à l'analyse de grands réseaux d'interactions

(1)

Analyse des r´ eseaux sociaux : une introduction

Analyse de graphes de terrain

Rushed Kanawati

LIPN, CNRS UMR 7030 Universit´e Paris 13 http://lipn.fr/∼kanawati rushed.kanawati@lipn.univ-paris13.fr

October 24, 2016

(2)

Objectifs & organisation du cours

Objectifs : Pr´ esentation des techniques d’´ etude et d’analyse de grands r´ eseaux complexes.

Fouille et analyse des r´ eseaux d’interactions.

10 s´ eances : Cours + TP Outils :

Python http://www.python.org/

R https://www.r-project.org/

igraph http://igraph.wikidot.com Gephi http://gephi.org

Tulip http://tulip.labri.fr/TulipDrupal/

(3)

Th` emes abord´ ees

Graphes de terrains Mod` eles, caract´ eristiques & probl` emes d’analyse.

Caract´ eristiques topologiques de nœuds Pr´ esentation des diff´ erentes mesures de tri de nœuds.

D´ etection de communaut´ es D´ efinitions, probl´ ematique, fonctions de qualit´ e, classification des approches & applications.

Analyse de r´ eseaux dynamiques Probl´ ematiques & Application, Pr´ evision de liens,

Mod` eles d’influence et de de diffusion

Analyse des r´ eseaux Multiplexes

(4)

Graphes de terrain

Graphes de terrains

1

D´ efinitions & notations

2

Caract´ erisation & exemples

3

Mod` eles

4

Probl´ ematiques d’analyse

(5)

Graphes de terrain

Graphes de terrain : r´ eseau de collaborations scientifiques

Un r´eseau social est un ensemble d’acteurs reli´e par des liens/interactions sociales

(6)

Graphes de terrain

Graphe de terrain : R´ eseau social ?

(7)

Graphes de terrain

Notations

Un graphe G =< V , E ⊆ V × V > : V est l’ensemble de nœudes (i.e. acteurs) E est l’ensemble de liens.

Notations :

A

G

est la matrice d’adjacence de G : a

ij

6= 0 si les nœuds (v

i

, v

j

) ∈ E , 0 sinon.

n = |V | m = |E |

Γ(v) est l’ensemble de voisins de v . Γ(v) = {x ∈ V : (x , v ) ∈ E }.

Le degr´ e d’un nœud d(v ) =k Γ(v) k

(8)

Graphes de terrain

Propri´ et´ es de base

Chemin v

_i

, v

_j

: liste de liens ` a traverser pour aller de v

_i

` a v

_j

. Distance v

i

, v

j

: la longueur de plus court chemin reliant V

i

` a v

j

. Connexit´ e : Un graphe est connexe si il existe un chemin entre n’importe quel pair de nœuds.

Diam` etre d’un graphe : la plus grande distance entre des nœuds du graphe.

Densit´ e du graphe : Probabilit´ e d’existence de tous liens :

_n×(n−1)^2×m

(9)

Graphes de terrain

R´ eseaux cibles : Exemples

R´ eseaux bibliographiques : publications, citation [11, 12]

R´ eseaux sociologiques : Interaction sur forums/blogs [6, 10], communication [14], site de rencontres [4], terroriste

R´ eseaux ´ ethologiques : Comportement des Z` ebres

R´ eseaux biologiques : Interactions entre prot´ eines, M´ etabolique, Interactions entre des g` enes.

R´ eseaux technologiques : Internat, Web

...

(10)

Graphes de terrain

R´ eseaux cibles

(11)

Graphes de terrain

R´ eseaux cibles

source : Graphe de transactions durant un mois sur un site de musique en-ligne

(12)

Graphes de terrain

R´ eseaux cibles : caract´ eristiques

Grande Taille : |V | > 10

³

.

Faible degr´ e de s´ eparation : la moyenne des distances g´ eod´ esiques entre chaque couple de nœuds est logarithmique en fonction de k V k Sans ´ echelle : majorit´ e de nœuds ayant peu de connexions mais un nombre substantiel de nœuds ont beaucoup de connexions.

La probabilit´e pour un nœudv∈Vd’avoirkvoisins est :P(k) =k^−γ

Coefficient de clustering elev´ e : la probabilit´ e que deux voisins d’un nœud choisis al´ eatoirement soient eux-mˆ emes connect´ es est assez grande.

cc(G) =X v∈V

2|E∩(Γ(v)×Γ(v))|

d(v)×(d(v)−1)

(13)

Graphes de terrain

Le mythe de six degr´ es de s´ eparation

Satnley Milgram (1933-1984)

Exp´ erience de Milgram (1967)

Choisir une personne cible (courtier ` a Boston).

Demander ` a des groupes de personnes choisies al´ etoirement (de Boston, de Nebraska, des actionnaires au Nebraska) de lui envoyer une lettre ` a travers des personnes susceptibles de le connaˆıtre.

217 lettres sont envoy´ ees ; 64 sont arriv´ ees (succ` es : 0.29)

La longueur moyenne d’un chemin est de 5.2 interm´ ediaires.

Exp´ erience similaire mais au niveau mondial et en utilisant le courrier ´ electronique

24 000 participants de 166 pays : 384 e-mail arriv´ es ` a destination (succ` es 1.6 %)

Longueur moyenne des chemins : 5.

(14)

Graphes de terrain

Autre exemple: Le nombre d’Erd¨ os

Paul Erd¨os (1913-1996)

Paul Erd¨ os est un math´ ematicien qui a publi´ e plus de 1500 articles !

On mesure l’importance d’un chercheur (en math´ ematique) par la distance qui le s´ epare d’Erd¨ os dans le graphe de collaborations Site Web : www.oakland.edu/enp

Degr´ e de s´ eparation entre chercheurs 2-Erd¨ os

est de 5 !

(15)

Graphes de terrain

Quelques graphes de terrain

Graphe Nœuds Liens Jeu de donn´ees

Internet Routeurs Liaisons de donn´ees http://www.isi.edu/div7/scan/mercator/maps.html.

Web Pages Hyperliens http://snap.stanford.edu/data/web-NotreDame.html Acteurs Acteurs Mˆeme film http://www.imdb.com/.

Co-publication Auteurs Co-signature http://arxiv.org/.

Co-occurrence Mots Mˆeme phrase http://www.tniv.info/bible/

Prot´eines Prot´eines Influence http://www.nd.edu/ networks

(16)

Graphes de terrain

Quelques graphes de terrain

Graph |V | |E | densit´ e d γ cc

Internet 75885 357317 1.2e-4 5.80 2.5 0.171

Web 325729 1090108 2.1e-5 7 2.3 0.466

Acteurs 392340 15038083 1.9e-4 3.6 2.2 0.785

Co-publication 16401 29552 2.2e-4 7.18 2.4 0.638

Co-occurrence 9297 392066 9.1e-3 2.13 1.8 0.822

Prot´ eines 2113 2203 9.9e-4 6.74 2.4 0.153

(17)

Graphes de terrain Mod`eles de r´eseaux petit-monde

Mod` eles de r´ eseaux petit-monde

Approches d’´ echantillonnage : ´ echantillonner des liens ` a partir d’un graphe complet

Erd¨ os-Renyi Molloy et Reed

Approches g´ en´ eratives : r` egles d’´ evolution de r´ eseau Mod` ele de l’anneau

Mod` ele de l’attachement pr´ ef´ erentiel

Le mod` ele HOT

(18)

Erd¨ os-R´ enyi

Alfr´ed R´enyi (1921-1970)

Principe : pour mod´ eliser un graphe compos´ e de n nœuds et m liens, on choisit al´ eatoirement m liens, avec une probabilit´ e p parmi

l’ensemble de liens possibles (

ⁿ⁽ⁿ⁻¹⁾₂

)

Le mod` ele g´ en` ere des r´ eseaux ` a faible degr´ e de s´ eparation

Les graphes g´ en´ er´ es ne sont pas sans ´ echelle

Coefficient de clustering = p

(19)

Mod` ele de Molley et Reed

Id´ ee : forcer l’obtention d’une loi de puissance pour la distribution des degr´ es.

G´ en´ eration de graphes sans ´ echelle et ` a faible degr´ e de s´ eparation.

Coefficient de clustering cc → 0

(20)

Mod` ele de l’anneau

Les nœuds sont plac´ es sur un anneau virtuel o` u chaque nœud est connect´ e aux k nœuds les plus proches.

On reconnecte chaque arˆ ete avec une probabilit´ e p ` a un nœud choisi

al´ eatoirement.

(21)

L’attachement pr´ eferentiel

Les nœuds sont ajout´ es un ` a un.

La probabilit´ e de relier un nouveau nœud ` a un nœud existant d´ epend du degr´ e du nœud.

Principe : enrichir les riches !

Corr´ elation entre le degr´ e d’un nœud et son ˆ age.

Correction : probabilit´ e d’un lien en fonction du degr´ e des nœuds partenaires et d’une estimation d’utilit´ e.

Les graphes obtenus sont sans ´ echelle mais cc → 0

(22)

Le mod` ele Hot

HOT : Highly Optimized Tolerance

Placer al´ eatoirement les nœuds sur une grille.

Les nœuds sont ajout´ es un ` a un.

Dans le graphe G , un nouveau nœud n est connect´ e ` a un nœud existant a de sorte ` a :

Minimiser α(k G k)d

_G

(a, n) Maximiser c

p

(a) =

P ¹

u∈Vd(a,u)

α < constant : le graphe est une ´ etoile.

α > p

( k G k) : la distribution de degr´ es est exponentielle.

constant < α < p

( k G k) : Graphe sans ´ echelle.

Mˆ eme probl` eme : cc → 0

(23)

Mod` ele de graphes bipartis

Beaucoup de r´ eseaux r´ eels sont des graphes bipartis (ex.

bibliographique, achats, etc.)

Graphe biparti: G = (>, ⊥, E ⊆ > × ⊥). >, ⊥ sont deux ensembles distincts.

Projections :

G

_>ⁿ

= (V

_>

⊆ >, E

_>

= {x , y ∈ > : |Γ

G

(x ) ∩ Γ

G

(y )| ≥ n}

G

_⊥^m

= (V

_⊥

⊆ ⊥, E

_⊥

= {x, y ∈ ⊥ : |Γ

G

(x) ∩ Γ

G

(y)| ≥ m}

n, m : param` etres des projections.

La projection augmente artificiellement le coefficient de clustering du

graphe projet´ e !!

(24)

Mod` ele de graphes bipartis

Utiliser deux lois de puissance d´ efinies pour deux ensembles de nœuds.

Les graphes obtenus sont sans ´ echelle, ` a faible degr´ e de s´ eparation,

avec un coefficient de clustering proche des cas r´ eels.

(25)

Mod` eles petit-monde : bilan

Modèle Faible séparation Sans échelle Clustering

Erd¨os-Renyi OUI NON NON

Molley et Reed OUI OUI NON

Anneau OUI NON OUI

Attachement pr´ef´erentiel OUI OUI NON

HOT OUI OUI NON

Biparti OUI OUI OUI

(26)

Graphes de terrain Probl´ematique

Probl´ ematique de l’´ etude des r´ eseaux sociaux

Extraction et mod´ elisation de r´ eseaux.

Support syt` eme : r´ eseaux distribu´ es, protection de vie priv´ ee, interop´ erabilit´ e.

Navigation et recherche dans les r´ eseaux sociaux Visualisation des r´ eseaux

Fouille de r´ eseaux (Analyse de r´ eseaux sociaux : SNA)

(27)

Analyse de r´eseaux sociaux

Analyse de r´ eseaux sociaux : les tˆ aches

(28)

Analyse de r´eseaux sociaux Analyse orient´e nœud

Tˆ aches orient´ es nœuds

But : caract´ eriser le rˆ ole et/ou la position d’un nœud dans le r´ eseau.

Trier les nœuds selon leurs caract´ eristiques.

Inf´ erer l’importance d’un acteur dans un r´ eseau :

PageRank employ´ e par Google pour trier les r´ esultats renvoy´ es par le moteur de recherche.

Marketing Viral,

Evaluation des chercheurs !!

D´ etection des nœuds faibles (ou ponts) dans un r´ esesau (virus informatiques, terrorisme, etc.)

Les mˆ emes tˆ aches peuvent ˆ etre d´ efinies pour les liens.

(29)

Tˆ aches orient´ ees communaut´ es

Communaut´ e : sous-graphe ` a forte densit´ e locale.

Deux principales tˆ aches :

Recherche de communaut´ es : partitionnement d’un r´ eseau en communaut´ es

Identification de communaut´ e : d´ etection de la communaut´ e d’un nœud donn´ e.

Approches similaires ` a la classification de donn´ ees.

(30)

Tˆ aches orient´ ees structure

D´ ecouvrir les lois de l’´ evolution du r´ eseau.

Probl` eme phare : pr´ ediction de liens.

Soit G =< G

₁

, G

₂

, . . . , G

_T

> un r´ eseau temporel de r´ eseaux sociaux, G

_i

est le graphe du r´ eseau ` a l’instant i.

La tˆ ache de pr´ ediction de liens consiste ` a pr´ edire G

_T₊₁

` a partir de G . Autres probl` emes :

D´ etection de liens cach´ es Compl´ etion de liens

D´ etection de liens alarmants (anormaux)

(31)

Analyse de r´eseaux sociaux Caract´erisation des nœuds

Carat´ erisation des nœuds

Notion de Centralit´ e : de degr´ es.

de proximit´ e.

d’interm´ ediarit´ e.

de vecteur.

HITS : identifier des autorit´ es et des hubs.

PageRank : prestige d’un nœud.

(32)

Centralit´ e de degr´ e

Un nœud ayant beaucoup de liens est consid´ er´ e comme important.

Un acteur central est l’acteur le plus actif de point de vue de communication,

C

_d

(v ) =

_max^k(Γ(v)k

u∈VkΓ(u)k

(33)

Centralit´ e de proximit´ e

Le nœud qui communique le plus facilement avec les autres nœuds est important.

Centralit´ e de proximit´ e : c

_p

(v) =

^P ¹

u∈Vd(v,u)

(34)

Centralit´ e d’interm´ ediarit´ e

Le nœud qui rapproche le plus les autres nœuds est important.

Nombre de chemins g´ eod´ esiques qui passent par v.

ch

g

(x, y) : les nœuds qui se situent sur le plus court chemin reliant x

` a y .

C

i

(v) =

kch(x,y)kx,y∈V,v∈ch(x,y) kch(x,y)x,y∈Vk

(35)

Centralit´ e de vecteur

La centralit´ e d’un nœud d´ epend des centralit´ es de ses voisins.

C (v) =

_λ¹

P

A

_i,j

C (x

_j

) : AX = λX .

(36)

HITS

HITS : Hyperlink Induced Topic Search

Indicateurs propos´ es pour implanter un moteur de recherche sur le Web (Clever d’IBM).

Web : graphe dirig´ e

Deux types de pages (i.e. nœuds) :

Autorit´ e : meilleures sources d’information sur un th´ eme.

Hub : page fournissant des liens vers des autorit´ es de qualit´ e sur un th` eme.

Une autorit´ e de qualit´ e est cit´ ee par de nombreux hubs de qualit´ e.

Un bon hub pointe vers beaucoup d’autorit´ es de qualit´ e.

(37)

HITS : l’algorithme

Soit G un graphe connexe, z le vecteur unit´ e de <

ⁿ

x

₀

← z

y

0

← z

R´ ep´ eter jusqu’` a convergence ou au max k fois :

x

_i^<p>

= P

∀q:q→p

y

_i−1^<p>

y

_i^<p>

= P

∀q:p→q

x

_i−1^<q>

(38)

PageRank

1998, par Sergey Brin & Larry Page.

Tri statique des pages Web.

Le web est trait´ e comme ´ etant un graphe dirig´ e(V,E).

La mesure associ´ ee ` a une page i est :

P (i) = X

(j,i)∈E

P (j) O

_j

o` u O

_j

est le nombre de liens sortant de la page j On pose P le vecteur contenant les valeurs de tri :

P = (P (1), P (2), .., P (n))

^T

(39)

Calcul de PageRank

s ← vecteur al´ eatoire.

r ← A

^T

× s

Tant que k r − s k< faire : s ← r

r ← A

^T

× s

(40)

Analyse de r´eseaux sociaux Analyse de communaut´es

Prvision de liens : d´ efinition

D´ efinition informelle : pr´ edire la formation d’un lien entre deux nœuds jamais connect´ es auparavant.

Soit G =< G

1

, G

2

, . . . , G

T

> un r´ eseau temporel de r´ eseaux sociaux,

G

_i

est le graphe du r´ eseau social ` a l’instant i. La tˆ ache de pr´ ediction

de liens consiste ` a pr´ edire pour chaque couple v, u ∈ T

T

V

_i

tels que

(41)

Application : syst` eme de recommandation

Recommandation de produits = pr´ ediction de liens dans le graphe biparti [5, 8, 1].

L’analyse des r´ eseaux sociaux est une solution au probl` eme pos´ e par

les matrices de transactions souvent creuses.

(42)

Application : recommandation de collaborations acad´ emiques

Recommandation de collaboration = pr´ ediction de liens dans le

(43)

Autres applications

Aide ` a la navigation sur le Web

Aide ` a la r´ eponse des questions sur forums, help-desk Etude de propagation des virus informatiques par e-mail.

. . .

(44)

Analyse de r´eseaux sociaux Probl`emes similaires

Probl` eme similaire : liens cach´ es (1)

Etant donn´ e un r´ eseau G

t

=< V , E > observ´ e ` a l’instant t, la tˆ ache de d´ etection de liens cach´ es consiste ` a trouver les liens manquants

`

a l’instant t.

Origine : information manquante, dissimulation d’information.

(45)

Probl` eme similaire : liens cach´ es (2)

[2] : Comparer les caract´ eristiques topologiques des nœuds impliqu´ es en liens cach´ es (LC) / liens en formation (LF).

M´ ethodologie : ´ eliminer al´ eatoirement des liens dans un r´ eseau temporel de r´ eseaux sociaux.

Pour LC, le nombre de voisins communs est deux fois plus grand que pour LF.

Pour LC, le produit des degr´ es des nœuds impliqu´ es est deux fois plus petit que pour LF.

LC : distribution des degr´ es des nœuds plus ´ etal´ ee.

Pas de diff´ erence significative en ce qui concne les distances !

(46)

Probl` eme similaire: compl´ etion de liens

Dans un graphe G =< V , E >, on consid` ere un nœud v ∈ V dont on connaˆıt le degr´ e r´ eel d (v ) > d

_G

(v ). Le probl` eme consiste ` a trouver les nœuds u

_i

∈ V auxquels v est susceptible d’ˆ etre li´ e [3].

Exemple : Un client ach` ete 4 livres sur un site de e-commerce mais le nom d’un des livres achet´ es est perdu dans la transaction. Quel est ce livre ?

Alice, Bob et une troisi` eme personne ont fait une r´ eunion. Identifier cette personne inconnue en fonction des liens connus.

Dans [3], on se limite ` a examiner le cas d’un seul nœud inconnu.

(47)

Probl` eme similaire : liens alarmants

Etant donn´ e un r´ eseau temporel G =< G

₁

, G

₂

, . . . , G

_T

>, le probl` eme

est de classifier les nouveaux liens qui apparaissent dans G

_T

en deux

classes : {normal, anormal}, en fonction de l’´ evolution du r´ eseau

Probl` eme plus facile que la pr´ ediction de liens.

(48)

Probl` eme similaire : ´ evolution des r´ eseaux

D´ efinition de trois niveaux de granularit´ e pour observer et/ou pr´ edire l’´ evolution d’un r´ eseau.

Niveau r´ eseau

Leskovec et al. , ´ evolution des param` etres des r´ eseaux: diam` etre d´ ecroissant et densification des degr´ es dans des r´ eseaux de co-citations.

Barabasi et al. , r´ eseaux de co-auteurs, domaine des maths et des neurosciences. Evolution gouvern´ ee par l’attachement pr´ ef´ erentiel (lien internes et externes), augmentation du degr´ e moyen et d´ ecroissance de la s´ eparation entre les nœuds.

Niveau communaut´ e : ´ evolution des communaut´ es par taille et des

communaut´ es de th` emes

(49)

Approches de pr´ ediction de liens

Trois crit` eres de classification :

Approche : Dyadiques / Structurelles.

Dyadique : Evaluer le score d’un lien entre deux nœuds v

_i

, v

_j

Structurelle : pr´ edire l’´ evolution de sous-graphes (pr´ ediction de plusieurs liens en mˆ eme temps) [7]

Type d’attributs : topologiques / caract´ eristiques des nœuds.

Approche topologique : utiliser seulement le graphe du r´ eseau.

L’emploi des approches fond´ ees sur l’analyse du contenu des nœuds n´ ecessite une expertise dans le domaine de l’application.

Prise en compte du temps : Oui / non.

(50)

Bibliographie I

Nesserine Benchettara, Rushed Kanawati, and C´eline Rouveirol.

Calcul de recommandation par pr´ediction de liens dans un graphe biparti.

InActes de l’ateiler sur l’apprentissage et graphes pour les syst`emes complexes (plate-forme AFIA 2009), Hammemt, Tunisie, May 2009.

Richard J E Cooke.

Link prediction and link detection in sequences of large social networks using temporal and local metrics.

Master thesis, University of cape Town, 2006.

A Goldenberg, J Kubica, P Komarek, A Moore, and J Schneider.

A comparaison of statistical and Machine learning Algorithms on the task of linl completion.

InProceedings of the KDD workshop on link analysis for detecting complex Behavior, 2003.

Petter Holme, Christofer R Edling, and Fredrik Liljeros.

Structure and Time-Evolution of an Internet Dating Community,.

Social Networks, 26:155–174, 2004.

Zan Huang, Xin Li, and Hsinchun Chen.

Link prediction approach to collaborative filtering.

In Mary Marlino, Tamara Sumner, and Frank M Shipman III, editors,JCDL, pages 141–142. ACM, 2005.

(51)

Bibliographie II

Rushed Kanawati.

On Using{SNA}techniques for enhancing performances of On-line help-desks.

InProceedings of{IADIS}International Conference on E-commerce (E-commerce’08), pages 286–291, Amsterdam, 2008.

Mayank Lahiri and Tanya Y Berger-Wolf.

Structure Prediction in Temporal Networks using Frequent Subgraphs.

InCIDM, pages 35–42. IEEE, 2007.

Neal Lathia, Stephen Hailes, and Licia Capra.

kNN CF: a temporal social network.

In Pearl Pu, Derek G Bridge, Bamshad Mobasher, and Francesco Ricci, editors,RecSys, pages 227–234. ACM, 2008.

David Liben-Nowell.

An Algorithmic Approach to Social networks.

PhD thesis, M.I.T., 2005.

Tsuyoshi Murata and Sakiko Moriyasu.

Link Prediction based on Structural Properties of On-line Social Networks.

New Generation Computing, 26:245–257, 2008.

(52)

Bibliographie III

M E J Newman.

Scientific collaboration networks. II. Shortest paths, weighted networks, and centrality.

Phys. Rev. E, 64(1):16132, 2001.

M E J Newman.

Coauthorship networks and patterns of scientific collaboration.

Proceedings of the National Academy of Science of the United States (PNAS), 101:5200–5205, 2004.

Milen Pavlov and Ryutaro Ichise.

Finding Experts by Link Prediction in Co-authorship Networks.

In Anna V Zhdanova, Lyndon J B Nixon, Malgorzata Mochol, and John G Breslin, editors,FEWS, volume 290 ofCEUR Workshop Proceedings, pages 42–55. CEUR-WS.org, 2007.

Mukund Seshadri, Sridhar Machiraju, Ashwin Sridharan, Jean Bolot, Christos Faloutsos, and Jure Leskovec.

Mobile call graphs: beyond power-law and lognormal distributions.

In Ying Li, Bing Liu, and Sunita Sarawagi, editors,KDD, pages 596–604. ACM, 2008.