Interprétation des résultats

Dans le cas d’un seul client, la première constatation est que les algorithmes d’apprentissage donnent de bien meilleurs résultats que les stratégies triviales Min et Uniforme. Le gain moyen par requête peut varier du simple au double entre la Stratégie Min et le LRI. Il est évident que les algorithmes d’apprentissage ont déduit quels SLA avaient une espérance de gain élevée face au stratégies triviales. Quand les deux NSP utilisent des algorithmes d’apprentissage, les résultats sont moins bons que face aux stratégies triviales. Le fait que le concurrent apprenne en même temps perturbe l’apprentissage.

Le LRI rapporte plus de gains que le Q-Learning face à n’importe quelle stratégie. Ce constat semble surprenant étant donné que le Q-Learning dispose d’un modèle plus riche distinguant les différents états du NSP, ce qui aurait dû aboutir à un apprentissage plus fin selon les états. Néanmoins, la prise en compte des états présente un inconvénient : l’apprentissage effectué dans un état ne sert à rien dans les autres états. Le Q-Learning doit effectuer un apprentissage distinct dans chaque état, ce qui ralentit considérablement la convergence. Le LRI converge beaucoup plus rapidement que le Q-Learning, et une fois sa convergence effectuée, il propose le SLA qui maximise son espérance de gain (et qui maximise la probabilité d’acceptation du client). La vitesse de convergence élevée du LRI est l’explication la plus vraisemblable de sa meilleure performance. Il semble également que la prise en compte des états du NSP ne soit pas déterminante : après convergence, les NSP sont en «régime de croisière» et restent dans le même état, l’apprentissage dans les autres états n’aura pas été utile car ils ne seront que très rarement visités. La finesse d’apprentissage qu’apporte la prise en compte des états ne contrebalance pas l’effet négatif de ralentissement de convergence qu’elle induit.

En présence de deux clients, le LRI surpasse clairement le Q-Learning, qui n’est que légèrement meilleur que la Stratégie Uniforme. Là encore, il semble que la vitesse de convergence a joué un rôle déterminant. Néanmoins, même si le LRI est meilleur que le Q-Learning dans toutes les configurations,

Figure 3.7 – Le gain moyen du NSP1par requête.

Figure^{3.8 – L’évolution de la réputation du NSP1.}

il ne faut pas oublier que les performances des algorithmes d’apprentissage dépendent également de la stratégie du NSP concurrent. On peut voir que le Q-Learning est bien meilleur face à la Stratégie Uniforme que face à la Stratégie Min. Il n’est donc pas exclu qu’il existe certaines stratégies particulières contre lesquelles le Q-Learning pourrait être meilleur que le LRI.

3.6 Conclusion

Dans la négociation de SLA, il est plausible que les clients soient sensibles à la QoS des SLA et leur prix, mais également à la réputation des NSP fournisseurs, considérant que la réputation est une valeur exprimant la fiabilité d’un NSP. Dès lors, le problème de calcul d’une stratégie optimale pour un NSP devient beaucoup plus complexe. En effet, il doit trouver un compromis entre une réputation trop basse (qui hypothèque ses gains futurs) et une capacité utilisée trop basse (qui se traduit par des gains peu élevés). Trouver ce compromis est d’autant plus difficile que beaucoup de paramètres cruciaux qui influent sur la stratégie optimale ne sont pas connus du NSP : la fonction d’utilité du client et ses paramètres, la probabilité d’échec des SLA, etc.

L’avantage de l’utilisation des algorithmes d’apprentissage est qu’ils ne nécessitent pas de connaître explicitement ces paramètres. Nous avons donc appliqué ces algorithmes au problème de négociation de SLA avec mécanisme de réputation. L’application du Q-Learning a nécessité la modification des états

Figure3.9 – La capacité utilisée du NSP1 en présence de deux clients.

du MDP, qui prennent en compte le niveau de capacité utilisée par le NSP ainsi que le profile de requête qu’il reçoit. Ces paramètres ne dépendent ni du nombre de SLA dont dispose le NSP ni de leur durée. Cette définition des états du NSP permet donc une bien meilleure scalabilité que la définition vue au chapitre précédent.

Lors des simulations effectuées avec un ou deux clients et deux NSP, nous avons pu constater que les algorithmes d’apprentissage donnent de bien meilleurs résultats que des stratégies triviales consistant à offrir le SLA le moins couteux ou offrir un SLA aléatoirement. De manière surprenante, le LRI s’est montré bien plus efficace que le Q-Learning, qui dispose pourtant d’un modèle plus riche prenant en compte les différents états du NSP. La cause la plus probable est la rapidité de convergence du LRI.

Deuxième partie

Calcul de chemins dans les réseaux

hétérogènes

4

Hétérogénéité, tunnels et encapsulations dans les réseaux

4.1 Introduction

Après la négociation de SLA entre les domaines, un chemin abstrait (consistant en une liste de domaines) est établi. Ce chemin doit être composé d’une liste de SLA mis bout à bout. Néanmoins, les SLA ne sont pas instanciés avant la négociation et le processus de négociation est agnostique aux technologies utilisées (pour laisser les domaines choisir librement). Le chemin (liste de liens internes au domaine) qu’ils vont emprunter dans chaque domaine n’est pas forcément préétabli, ainsi que plusieurs autres caractéristiques techniques : les protocoles à utiliser, les technologies mises en œuvre, etc. Pour que le chemin de bout en bout soit instancié, il faut déterminer précisément les liens qui seront utilisés dans les domaines et entre les différents domaines (liens d’interconnexion) ainsi que les technologies déployées et les protocoles utilisés.

Or, calculer un chemin traversant différents domaines n’est pas trivial puisque se pose le problème de l’incompatibilité des technologies et/ou protocoles. En effet, les domaines utilisent souvent différentes technologies et différents protocoles qui ne sont pas toujours compatibles. Actuellement, la convergence sur IP permet la communication entre les différents domaines sur Internet. Néanmoins, plusieurs autres protocoles coexistent, certains à l’intérieur d’un même domaine (le cœur d’un domaine n’utilise pas forcément le protocole IP pour acheminer les données), d’autres entre les domaines (des liens d’intercon-nexion non IP). Ces liens et ces protocoles doivent être pris en compte dans l’exploration (ou le calcul) de chemins pour augmenter le nombre de solutions possibles.

L’architecture Pseudo-Wire [26] définit des fonctions d’encapsulations et de désencapsulations (appe-léesfonctions d’adaptation) pour pallier ce problème. Certains protocoles sont encapsulés dans d’autres pour traverser des portions du réseau qui utilisent des technologies différentes. Tous les nœuds du réseau ne disposent évidemment pas de ces fonctions. Pour calculer un chemin, il faut donc prendre en compte ces fonctions et leur emplacement dans le réseau. Le problème est complexe et sera traité en détail dans le chapitre suivant.

Dans ce chapitre, nous nous proposons de présenter les problèmes d’hétérogénéité entre les domaines et comment le concept d’encapsulation permet de les prendre en compte dans les réseaux d’aujourd’hui. La section 4.2 explique brièvement et de façon abstraite les notions d’encapsulation et de désencapsulation ainsi que l’impact qu’elle ont sur le calcul de chemins. Les encapsulations sont liées à l’organisation en couches des réseaux, la section 4.3 décrit donc le modèle historique OSI qui structure les fonctionnalités des réseaux en7couches et présente un exemple classique d’encapsulation. Néanmoins, les encapsulations les plus souvent utilisées ne respectent pas forcément ce modèle. L’architecture Pseudo-Wire, qui est réellement déployée aujourd’hui, définit de nombreuses encapsulations de protocoles en dehors du modèle OSI. L’architecture Pseudo-Wire et certaines des ses encapsulations sont présentées en section 4.4. Il est possible de mettre bout à bout plusieurs segments de Pseudo-Wire, l’architecture qui le permet, appelée Pseudo-Wire multisegment, est présentée dans la même section ainsi que la problématique de calcul de chemins dans une telle architecture. Par souci de généralité, d’autres architectures où la même problématique de calcul de chemins se pose sont présentées en section 4.5. Enfin, la section 4.6 conclut le chapitre.