• Aucun résultat trouvé

4.6 Évaluation de performance

4.6.1 Modèle LLT

4.6.1.1 Métriques de performance

L’objectif est d’évaluer les capacités du modèle (MLLT) à estimer la durée de vie du lien entre un véhicule donné et son point d’attachement (BS), à travers les attributs identifiés. Deux métriques sont considérées pour évaluer notre modèle de régression :

— L’erreur absolue moyenne MAE (Mean Absolute Error) : représente la moyenne des différences absolues entre les valeurs estimées et observées de la durée de vie du lien (LLT). Plus la valeur est faible, meilleure est la prédiction. Elle est calculée comme suit :

1 N N X i=1 |yiybi| (4.8)

où N est le nombre d’échantillons du jeu de données de test, i.e. N = |X| — Coefficient de détermination R2 : représente une comparaison des performances

de notre modèle par rapport à une simple base de référence, où les estimations représentent la valeur moyenne observée de la durée de vie du lien (LLT). Une valeur plus proche de 1 signifie un bon modèle. Il est calculé comme suit :

1 − PN i=1(yiybi) 2 PN i=1(yi− yi)2 (4.9)

où yi est la moyenne des valeurs de durée de vie des liens.

4.6.1.2 Résultats

Nous évaluons deux variétés du modèle LLT : le premier (MLLT 1) avec seulement les

features (distance D, angle d’arrivée θ et vitesse), et le second (MLLT 2) en incluant la charge de la cellule comme feature supplémentaire (calculée en utilisant une fenêtre T =100 s), ceci dans l’objectif d’analyser la pertinence d’inclure la charge pour inférer la densité des véhicules.

13 9 15 8 16 5 14 12 1 10 4 7 11 6 3 2

BS Id

0.0 0.2 0.4 0.6 0.8 1.0

Co

eff

ici

en

t o

f d

ete

rm

ina

tio

n

R

2 Model without cell load (MLLT1)

Model with cell load (MLLT2)

Figure 4.12: Performance du modèle LLT (R2)

13 9 15 8 16 5 14 12 1 10 4 7 11 6 3 2 BS Id 0 10 20 30 40 50 M A E

Model without cell load (MLLT1)

Model with cell load (MLLT2)

Figure 4.13: Performance du modèle LLT (M AE)

Les figures 4.12 et 4.13 représentent les résultats de performance du modèle proposé. Elles montrent respectivement le coefficient de détermination R2 et l’erreur absolue

4.6. Évaluation de performance 129

moyenne M AE. Il est à noter que l’axe des abscisses (x) des figures 4.12 et 4.13 représente les BS triées dans l’ordre croissant (de gauche à droite) en fonction de la moyenne des durées de vie des liens, observées à l’échelle de chaque BS (à partir du jeu de données). La BS 13 représente la plus petite moyenne de 19.13s, tandis que la BS2 dispose de la plus grande moyenne qui est égale à 125.66s (comme montré par la figure 4.10).

On peut remarquer que pour la majorité des BS, le coefficient R2 se situe entre 0.4 et 0.6, avec un maximum, autour de 0,7 pour les stations 13 et 15 (ayant une petite durée de vie des liens) et un minimum autour de 0,3 pour les BS 3 et 2 (ayant une durée de vie des liens élevée).

On peut également noter que l’erreur absolue moyenne MAE est corrélée avec la durée de vie des liens des BS. Plus la durée de vie des liens d’une BS est grande, plus l’erreur est importante. La BS 13 représente l’erreur MAE la plus faible de 3.52s alors que la BS 2 enregistre l’erreur MAE la plus élevée d’environ 50s.

Nous pouvons remarquer que le modèle proposé fonctionne beaucoup mieux lorsqu’il s’agit de cellules qui exhibent des valeurs de LLT faibles (par exemple 13, 9) et pas trop élevées (par exemple 1, 10) en comparaison aux cellules avec de grandes valeurs de LLT (par exemple 2, 3). Cela peut s’expliquer par le fait que les cellules avec une LLT élevée ont généralement une grande portée de communication (comme le montre la figure 4.9a). Par conséquent, il est très probable que le véhicule prenne une autre route que celle initialement identifiée par le modèle (durant le processus d’association), ce qui perturbe les estimations du modèle, étant donné que ces estimations sont basées globalement sur les features d’identification de route (d et θ).

les performances du modèle proposé répondent majoritairement aux besoins d’un contrôle de réseau proactif basé sur l’estimation de la durée de vie des liens V2I. Pre- nons le cas d’une fonction de contrôle réseau assurant le calcul des chemins de routage. Certaines approches de la littérature considèrent la durée de vie d’un lien comme critère de choix des chemins de routage. L’erreur d’estimation (lien d’une durée plus grande

ou plus petite que la durée estimée) peut résulter dans un choix inefficace de lien et

par conséquent cela impactera les performances d’un routage proactif. La majorité des approches de routage basées sur la durabilité des liens cherchent à écarter les liens de courte durée, et par conséquent nécessitent une estimation plus précise lorsqu’il s’agit d’un lien de courte durée. C’est ce que le modèle proposé satisfait pleinement.

D’une manière générale, les faibles erreurs d’estimation constatées pour les cellules dis- posant d’une couverture petite ou moyenne restent acceptable pour la majorité des fonctions de contrôle réseau bénéficiant de ces estimations. Cependant, les importantes erreurs d’estimation constatées pour les cellules avec une large couverture nécessitent une amélioration du modèle.

Dans l’objectif d’améliorer les estimations de la LLT dans le cas de cellules avec une grande portée de communication, une première direction serait de recalculer l’esti- mation avec de nouvelles informations concernant la position et la vitesse du véhicule. Ceci permettra au modèle d’améliorer ses estimations. En revanche, il engendrera plus

d’Overhead suite à la remontée d’informations supplémentaires par chaque véhicule. Afin d’améliorer les prédictions sans engendrer un overhead supplémentaire, nous consi- dérons que la cellule détermine au préalable les endroits à partir desquels les véhicules doivent envoyer des mises à jour concernant leur position et vitesse. Ces endroits préa- lablement choisis (en fonction des croisements et formes des routes) sont communiqués à chaque véhicule au moment de l’association.

Nous pouvons également remarquer que les deux modèles (MLLT 1) et (MLLT 2) ont

quasiment des performances identiques, ce qui signifie que l’utilisation de la charge de la cellule comme feature n’améliore pas beaucoup la précision des estimations. Une légère amélioration est constatée pour les cellules de grandes couvertures (2, 3) comparative- ment à celles de petites couvertures (13, 9, 15). Cela peut s’expliquer par le fait que la vitesse initialement envoyée par chaque véhicule a tendance à changer plus lorsqu’il s’agit d’une cellule de grande couverture, comparativement à une cellule de petite couverture. Le fait de connaître la charge peut guider le modèle à intégrer ces changements.

Comme expliqué auparavant, le calcul de la charge de la cellule a été pensé principa- lement pour donner au modèle la possibilité d’inférer la charge des routes et la coupler avec la vitesse (envoyée par le véhicule) pour mieux estimer la LLT. Cependant, ce calcul pourrait laisser sous-entendre, en cas de charge élevée de la cellule que toutes les routes couvertes par cette cellule sont surchargées (et vice versa). Ceci peut ne pas être valable si la charge est isolée et ne concerne que quelques routes et à des endroits bien précis (embouteillage) et non pas toutes les routes couvertes par la cellule. Une direction pour améliorer ce calcul est de mesurer les variations de vitesse à chaque entrée de la cellule. Ces variations sont calculées à partir des différences entre la vitesse envoyée par chaque nouveau véhicule et les vitesses observées des derniers véhicules associés initialement à la cellule à partir du même endroit. Ainsi un nouvel attribut est ajouté au modèle, couplé avec les attributs précédemment identifiés, et permettra au modèle d’estimer plus précisément la LLT. En effet, la connaissance des variations de vitesse à chaque entrée de la cellule ainsi que la charge globale de la cellule peut permettre au modèle de mieux localiser les routes couvertes les plus surchargés, surtout lorsqu’il s’agit d’une cellule avec une grande couverture et plusieurs routes couvertes.