Choix d’une solution simulée

Pour faire l’analyse et l’évaluation des performances des solutions proposées, il serait particulièrement intéressant de disposer d’un site industriel afin que les résultats obtenus et les conclusions avancées soient issus de mesures réelles. Seulement, avoir un site industriel à sa disposition relève très souvent de l’impossible, car aucun industriel n’autorisera l’accès à ses

installations sans avoir obtenu au préalable des garanties de sécurité à tous les niveaux (activité de production, sécurité du personnel, impact sur l’installation, etc.).

Dans le processus de développement de protocoles réseaux, d’autres méthodes d’évaluation sont aujourd’hui utilisées autres que les mesures : les méthodes analytiques et la simulation. Cette dernière, s’impose comme la technique la plus utilisée pour évaluer les performances des systèmes de communication.

La simulation est plébiscitée par la communauté scientifique, car elle a l’avantage de reposer sur des modèles validés, ou au moins reconnus. Elle permet aussi de parvenir à des observations plus approfondies qui ne peuvent être obtenues avec les autres solutions. La simulation représente un moyen utile pour prédire et comparer les performances d’un système sous plusieurs configurations. Un atout majeur de cette technique est sa flexibilité, qui permet de faire des observations sur des scénarios difficilement réalisables dans une expérimentation réelle, le plus souvent pour des raisons de coût.

1.4.1 Choix d’un outil de simulation

Pour simuler des réseaux sans fil, plusieurs outils qui proposent de bonnes fonctionnalités et qui sont reconnus par la communauté scientifique sont disponibles. Parmi ceux les plus utilisés on peut citer OPNET [OPNET 02], NS2 [NS-2], QualNet [QUA 01] ou encore GloMoSim [GloMoSim].

Ce sont là des simulateurs dits à événements discrets, qui se caractérisent par des changements d'état (suite à des événements) qui consistent à reproduire le comportement du système complet. Ils sont dits discrets, car ces événements se produisent à des instants répartis de façon discrète sur l'axe du temps.

La simulation des protocoles nécessite une modélisation complète des piles protocolaires, allant du trafic applicatif aux liaisons physiques. Plus ces modèles sont précis, plus les résultats obtenus seront pertinents. Malheureusement, le temps nécessaire pour définir ces modèles peut être relativement long et fastidieux. Les simulateurs cités précédemment fournissent des résultats en faisant circuler des paquets à l'intérieur de ces piles décrivant leurs comportements.

1.4.2 Critiques sur les résultats de simulation

Pour que la simulation soit utile, il est nécessaire que le comportement simulé soit similaire au comportement réel. Il est possible aussi que le modèle ou l’application simulée s'appuie sur des modèles déjà existants, il est donc crucial que l’implémentation de ces modèles dans le simulateur soit correcte. Un autre aspect à ne pas négliger est la crédibilité des résultats obtenus par les techniques de simulations [DAR 99, JOH 99, TCL 00]. L’étude de Pawlikowski [PAW 02] porte sur cet aspect. En ce qui concerne les réseaux sans fil, la confiance aux résultats de simulation est aussi remise en question [LUC 03, HEI 01b].

Dans le cadre de simulations de réseau sans fil, Heideman et al ont été les premiers à regarder les effets des détails et à évaluer leur impact sur les résultats obtenus par simulation. Toutefois, ils ne parviennent pas à quantifier ces effets [HEI 01a]. Dans d’autres travaux, ils expliquent que, traditionnellement, les protocoles sont définis seulement à des niveaux qui permettent d’obtenir des performances raisonnables. Cela signifie que de nombreuses

décisions d’optimisations sont laissées au concepteur de protocoles [HEI 01b]. Or, dans la plupart des cas, des décisions différentes conduisent à des performances très différentes.

Par ailleurs, Kurkowski [KUR 05] révèle que la négligence des chercheurs dans l’initialisation des paramètres de simulation peut être une source d’erreur. Ils montrent qu’une variation légère de ces paramètres peut donner des résultats très différents.

Un autre problème réside dans le fait que chaque protocole qui est en cours d'évaluation est modélisé de façon détaillée, alors que ses interactions avec les autres couches sont souvent négligées ou non prises en compte. C’est le résultat auquel est parvenu Perkins et son équipe [PER 00]. Ils ont comparé quelques protocoles de routage et essayé d'identifier les différents paramètres de la couche MAC qui pourraient avoir une incidence sur leurs comportements. Ils font observer que l'interaction entre la couche réseau et de la couche MAC pouvait avoir un impact significatif sur les performances. Ils suggèrent qu’une attention particulière soit accordée à ces interactions lors de la conception de protocoles.

Rares sont aussi les études qui comparent le comportement des protocoles et de leurs implémentations sur des outils différents. Dans [CAV 02] les auteurs ont démontré qu’un même scénario de simulation pouvait donner des résultats significativement différents selon le simulateur utilisé. Ils présentent les résultats de simulation d'un simple algorithme de diffusion avec trois simulateurs très utilisés, NS-2 [NS-2], GloMoSim [ZEN 98] et OPNET [OPNET 02]. Bien qu'ils montrent que les résultats donnés par ces outils contiennent des différences non négligeables, souvent même incomparables, ils ne cherchent pas à expliquer les raisons de ces différences. Ils suggèrent que cela est dû à une mauvaise modélisation de la couche physique ou à différents niveaux de détails des modèles implémentés.

Takai et al. [TAK 01] présentent un ensemble de paramètres de la couche physique qui ont une grande importance lors de l'évaluation des performances des protocoles des couches supérieures. Ces paramètres incluent la longueur des préambules, la puissance du signal reçu, le path loss, les interférences, le bruit et la mobilité. Leur étude sur NS-2 et GloMoSim conclut que ces paramètres affectent les performances d'un protocole même si celui-ci n’est pas adjacent à la couche physique.