Repr´ esentation graphique ROC

a d´etecter un nœud pathologique tandis qu’un faux positif (FP, False Positive) signifie que le

test a ´echou´e. Nous d´efinissons ´egalement la notion de vrai n´egatif (TN, True Negative) et de

faux n´egatif (FN, False Negative) pour la d´etection d’un nœud sain. Pour d´eterminer l’int´erˆet

et l’efficacit´e de la m´ethode, nous utilisons les facteurs de sensibilit´e (Sn) et de sp´ecificit´e (Sp)

d´efinis dans l’´equation 7.11.

Sn= ^{T P}

T P +F N ^Sp=

T N

T N+F P ^(7.11)

La sensibilit´e r´ev`ele la capacit´e du test diagnostic `a d´etecter les cas pathologiques : elle

corres-pond `a la proportion de tests positifs parmi tous les tests o`u les nœuds ´etaient pathologiques.

La sp´ecificit´e quant `a elle r´ev`ele la capacit´e du test diagnostic `a d´etecter les cas sains : elle

correspond `a la proportion de tests n´egatifs parmi tous les tests o`u les nœuds ´etaient sains.

Pendant une m´ethode de d´etection par seuil, la matriceM

entropy

est seuill´ee pour d´eterminer les

nœuds pathologiques. Le test diagnostic offre un compromis entre sensibilit´e et sp´ecificit´e. Une

id´ee intuitive de ce compromis peut ˆetre obtenue en analysant deux cas extrˆemes en termes de

valeurs seuil. Dans un premier cas extrˆeme, la m´ethode d´etecte tous les nœuds comme

patholo-giques (valeur seuil fix´ee `a z´ero). Dans ce cas, la sensibilit´e est maximale (valeur de 1) alors que

la sp´ecificit´e est minimale (valeur nulle). Dans un second cas extrˆeme, la m´ethode d´etecte tous

les nœuds comme sains (valeur fix´ee `a l’infini). Dans ce cas, la sensibilit´e est minimale (valeur

nulle) alors que la sp´ecificit´e est maximale (valeur de 1).

Repr´esentation graphique ROC

Nous utilisons une repr´esentation graphique appel´ee ROC (Receiver Operating

Characteris-tic) [204] qui correspond `a la comparaison de la sensibilit´e (Sn) par rapport `a 1-sp´ecificit´e (1 - Sp)

permettant de rendre compte de ce compromis lorsque l’on souhaite comparer la performance

d’un test diagnostic. Une m´ethode de d´etection id´eale pr´esente une courbe ROC qui se situe

dans la partie en haut `a gauche du graphe, puisque la sensibilit´e (tous les tests positifs sont

vrais) et la sp´ecificit´e (tous les tests n´egatifs sont vrais) atteignent tous les deux des valeurs

7.5. R´esultats exp´erimentaux

maximales. Si l’on d´elimite le graphique en deux parties s´epar´ees par une ligne imaginaire d’un

angle de 45 degr´es allant du coin en bas `a gauche au coin en haut `a droite du graphe, le test

devient inefficace lorsque la courbe se situe dans la premi`ere moiti´e en bas `a gauche. En effet, le

taux de faux positifs devient sup´erieur au taux de vrais positifs : le test a alors une plus grande

probabilit´e de consid´erer un nœud pathologique comme sain que comme pathologique.

Dans les prochaines sous-sections, nous allons d´etailler les r´esultats exp´erimentaux (1) en

pr´esentant et analysant les courbes ROC pour comparer les performances des trois m´ethodes de

d´etection par seuil, (2) en ´evaluant l’impact du mod`ele de mobilit´e (param`etres (temps pause,

vitesse max) de RWP) et du mod`ele de fautes (param`etres (p, q) de la chaˆıne de Markov) sur

notre approche et (3) enfin en d´eterminant les performances de la m´ethode d’auto-configuration.

7.5.1 Performances compar´ees des m´ethodes de d´etection

Nous avons analys´e avec une premi`ere s´erie d’exp´eriences les performances des trois

m´e-thodes de d´etection par seuil d´ecrites dans la section 7.4.2. Ces r´esultats sont pr´esent´es sur la

figure 7.8 et reposent sur un ensemble ´etendu de simulations incluant diff´erents param`etres de

mobilit´e (temps pause, vitesse max) et param`etres de fautes (p, q). Nous avons consid´er´e un

temps de pause variant de 0 `a 120 secondes et une vitesse maximale variant de 0.1 `a 10 m/s

pour la mobilit´e. Les nœuds pathologiques sont param´etr´es avec des probabilit´es de transition

r´ealistes. La probabilit´e de tomber en pannep est configur´ee avec une valeur faible de 0.1 `a 0.2

et la probabilit´e d’ˆetre r´epar´eq avec une valeur comprise entre 0.1 et 1.0. Pour chaque

configu-ration, nous avons r´ealis´e 150 simulations pour ´eviter le biais des r´esultats. Les performances des

Fig. 7.8 – Courbes ROC pour les trois m´ethodes par seuillage

m´ethodes de d´etection sont synth´etis´ees sur la figure 7.8, o`u nous avons trac´e la courbe ROC

pour chacune des m´ethodes. Un point (x,y) sur la courbe repr´esente le taux de vrais positifs (y)

compar´e au taux de faux positifs (x) de la m´ethode pour une valeur seuil donn´ee. Nous sommes

int´eress´es par une m´ethode performante qui fournit un taux faible de faux positifs pour un taux

maximal de vrais positifs. Plus la m´ethode se situe dans le coin sup´erieur gauche de l’espace

ROC, plus elle fournit une d´etection efficace.

Nous pouvons donc d´eduire graphiquement que la m´ethode m

3

qui repose sur la valeur

moyenne de l’entropie repr´esente un test diagnostic meilleur que les deux autres m´ethodes. En

particulier, la m´ethodem

₃

offre de bons r´esultats avec un taux de vrais positifs sup´erieur `a 75%

dans la plupart des cas. De mani`ere plus fine, si l’on souhaite un taux de faux positifs inf´erieur

`

a 20%, la m´ethode m

₃

avec plus de 75% de vrais positifs est d´efinitivement meilleure que la

m´ethode m

₁

avec un taux de vrais positifs de moins de 45%, et bien meilleure encore que la

m´ethode m

2

avec un taux de vrais positifs de moins de 20%. Il s’av`ere que les m´ethodes m

1

et

m

₂

pr´esentent des performances moins convaincantes. Cela provient notamment du fait que la

d´etection est trop d´ependante du nombre de nœuds observant le nœud intermittent. Par exemple

pour la m´ethodem

₁

, la d´etection repose sur le vote `a la majorit´e et par cons´equent la probabilit´e

d’un nœud ad-hoc d’ˆetre consid´er´e comme pathologique croˆıt avec le nombre de nœuds qui est

pr´esent dans son voisinage. De la mˆeme mani`ere, la m´ethodem

₂

consid`ere la valeur cumul´ee de

l’entropie `a l’´echelle du r´eseau. Ce crit`ere d´epend ´egalement du nombre de nœuds voisins. Avec

la m´ethodem

₃

, la valeur moyenne de l’entropie fournit un crit`ere plus ind´ependant et fiable pour

mesurer l’intermittence, o`u une augmentation du nombre de nœuds voisins permet d’am´eliorer

et de raffiner la valeur moyenne de l’entropie sans d´enaturer la mesure.

7.5.2 Impact du mod`ele de mobilit´e sur le monitorage

Une seconde s´erie d’exp´eriences portait sur l’impact de la mobilit´e sur la d´etection de nœuds.

Nous voulions quantifier le fait que les performances se d´egradent lorsque la mobilit´e augmente :

l’entropie g´en´er´ee par la mobilit´e augmentant et ne permettant plus de distinguer celle g´en´er´ee

par la pathologie. Nous avons consid´er´e pour ce faire diff´erents param`etres de mobilit´e avec

un mod`ele d’intermittence r´ealiste (param`etres p = 0.1 et q = 0.4). Nous avons configur´e les

param`etres de mobilit´e avec un temps de pause raisonnable de 0 `a 120 secondes et une vitesse

maximale comprise entre 1 et 10 m/s. Nous avons ensuite mesur´e la sensibilit´e et la sp´ecificit´e

de la m´ethode m

3

, qui s’´etait av´er´ee la plus efficace comparativement aux deux autres dans les

exp´eriences pr´ec´edentes. Ces r´esultats sont pr´esent´es sur la figure 7.9 o`u nous avons trac´e les

courbes ROC pour chaque couple (temps pause, vitesse max) de param`etres de mobilit´e. Nous

´etudions les performances de la m´ethode de d´etection pour des configurations avec un taux de

faux positifs relativement bas. Nous nous sommes limit´es au trac´e des courbes ROC pour un

taux de faux positifs inf´erieur `a 20%. La comparaison des courbes ROC montre que l’impact

de la mobilit´e est relativement limit´e pour des sc´enarios r´ealistes. La diff´erence de performances

entre la mobilit´e la plus faible et la mobilit´e la plus ´elev´ee est en effet de moins de 5%. Ce constat

vient de la nature de notre mesure qui met davantage en ´evidence l’entropie additionnelle g´en´er´ee

par une pathologie plutˆot que celle induite par la mobilit´e.

Une mobilit´e tr`es ´elev´ee g´en`ere de mauvais r´esultats o`u par mauvais r´esultats nous entendons

un faible taux de vrais positifs pour un faible taux de faux positifs de moins de 20%. En effet, les

performances sont fortement d´egrad´ees dans des sc´enarios, comme par exempletemps pause= 0

s etvitesse max= 10 m/s, avec une sensibilit´e de moins de 72%. En revanche, une mobilit´e tr`es

faible peut ´egalement s’av´erer probl´ematique. En r´ealit´e, l’impact de la mobilit´e est double. Dans

un premier temps, la d´etection est am´elior´ee lorsque la mobilit´e augmente pour les param`etres de

mobilit´e de (120,1) `a (30,10). La mobilit´e augmente le nombre de nœuds observateurs impliqu´es

dans la d´etection et permet ainsi de raffiner les mesures d’intermittence. Dans un second temps,

la d´etection est perturb´ee avec les sc´enarios de forte mobilit´e. Elle n’est plus capable de mettre

7.5. R´esultats exp´erimentaux

Fig. 7.9 – Impact du mod`ele de mobilit´e sur la m´ethode de d´etection par seuil m

3

[A partir

d’un ensemble de simulations, nous avons trac´e la courbe ROC pour la m´ethode de d´etection

Dans le document Supervision des Réseaux et Services Ad-Hoc (Page 141-144)