Mesures complémentaires

Les étalons que nous avons développés vont au-delà de ces mesures de base et proposent un ensemble de mesures complémentaires qui permettent d’affiner l’analyse du comportement de différents OS en présence de fautes en prenant en compte l’état de l’activité après la corruption des paramètres des appels système. Ces mesures complémentaires incluent 1) la caractérisation de l’état de l’activité en combinaison avec l’état de l’OS et 2) l’affinement des temps de réaction de l’OS.

Caractérisation de l’activité

Avant de définir les mesures proposées pour caractériser l’activité, nous présentons d’abord les différentes manifestations et issues de l’activité que nous pouvons distinguer après l’exécution d’un appel système erroné ; ces issues possibles de l’activité permettent de définir dans un premier temps des mesures de sûreté de fonctionnement propres à l’activité, et dans un deuxième temps, des mesures combinées de l’OS et de l’activité.

L’observation de l’état final de l’activité après le traitement de l’appel système erroné permet d’identifier l’impact de la réaction de l’OS sur l’activité. L’activité est caractérisée par une des manifestations suivantes : 1) elle termine correctement son exécution, 2) elle termine son exécution mais en fournissant des résultats erronés, 3) l’activité abandonne son exécution, ou 4) elle peut être bloquée. Ces issues sont synthétisées dans le Tableau 3-2. Nous considérons que TAc correspond aux cas où l’activité a terminé, correctement ou incorrectement, son exécution (TAc = TC U TI).

Tableau 3-2 Issues possibles pour l’activité

TC Terminaison correcte TI Terminaison incorrecte

Ab Abandon

3.2 Spécification des étalons

57

Le Tableau 3-3 synthétise les différents états possibles résultants de la combinaison de différents états de l’OS et de l’activité. L’activité peut terminer son exécution, être en état d’abandon ou de blocage dans les trois issues possibles Er, Xp et NS de l’OS. Dans le cas où l’issue du système d’exploitation correspond à l’état de panique, il est clair que l’activité n’est pas capable de terminer son exécution alors que l’issue correspondant au blocage de l’OS implique le blocage de l’activité.

Du fait que dans les cas de non signalement de l’OS nous ne disposons pas de renseignements sur l’état de l’OS, il est intéressant de raffiner les mesures de robustesse de l’OS en les combinant avec les différents états de l’activité. Ainsi, la robustesse de l’OS (POS) peut être raffinée en tenant compte des différents états de l’activité. Plus

particulièrement ceux correspondant aux différents états de l’activité dans les cas de non signalement de l’OS (dernière colonne de ce tableau). Ce vecteur composé de quatre éléments, PNS , est appelé la robustesse de l’activité pour des raisons de simplification.

Tableau 3-3 Issues combinées possibles

OS → ↓ Activité

Code d’erreur

Exception Panique Blocage Non signalement

Terminaison Correcte Er – TC Xp – TC — — NS – TC

Terminaison incorrecte Er – TI Xp – TI — — NS – TI

Abandon Er – Ab Xp – Ab Pc – Ab — NS – Ab

Blocage Er – Bc Xp – Bc Pc – Bc Bc – Bc NS – Bc

En ce qui concerne les mesures temporelles de l’activité, nous nous intéressons à la durée moyenne nécessaire à l’activité pour terminer son exécution, ce qui revient à calculer la moyenne des durées d’exécution de l’activité dans les différents cas de TAc. Considérons

T

de fautes et

ττττ

Affinement du temps de réaction de l’OS

Le temps de réponse en présence de fautes peut être évalué par rapport aux différentes issues répertoriées dans le Tableau 3-1. Les temps associés seront respectivement notés TEr, TXp et TNS. Ils correspondent à la moyenne de l’intervalle de temps séparant l’instant de soumission de l’appel système erroné à l’OS de l’instant d’apparition de l’événement correspondant : 1) retour d’un code d’erreur, 2) notification d’une exception, 3) retour de la réponse à l’appel système.

3.2.2.3 Récapitulatif

Nous résumons dans ce paragraphe l’ensemble des mesures que nous proposons pour étalonner la sûreté de fonctionnement des systèmes d’exploitation à usage général.

3.2 Spécification des étalons

58

Le Tableau 3-4 présente les deux mesures caractérisant la robustesse de l’OS (P_OS) et de l’activité (P_NS). Les mesures temporelles fournies dans le Tableau 3-5 sont les valeurs moyennes obtenues sur l’ensemble des expériences réalisées. L’association à ces valeurs d’autres valeurs telles que l’écart type, valeurs minimum et maximum peut aussi présenter un certain intérêt.

Tableau 3-4 Mesures de robustesse fournies par l’étalon Mesure Définition

POS Robustesse de l’OS

Comportement de l’OS en présence de fautes — vecteur de 5 éléments

P_NS Robustesse de l’activité

Comportement de l’activité dans les cas de non signalement de l’OS— vecteur de 4 éléments

Tableau 3-5 Mesures temporelles fournies par l’étalon Temps de réaction

τ

Moyenne du temps d’exécution de tous les appels système dont les paramètres sont corrompus pour les besoins de l’étalonnage, en absence de fautes

Texec

Moyenne du temps d’exécution de tous les appels système dont les paramètres sont corrompus pour les besoins de l’étalonnage, en présence de fautes

TEr Temps moyen pris pour retourner un code d’erreur TXp Temps moyen pris pour notifier une exception

TNS Temps moyen pris pour exécuter l’appel système erroné (non-signalement de l’erreur)

Temps de redémarrage

τ

T

Durée d’exécution de l’activité

τ

T

L’ensemble des mesures formé par Pos, Texec et Tred constitue l’ensemble de mesures de base d’un étalon de sûreté de fonctionnement. Le reste des mesures présentées dans le Tableau 3-4 et le Tableau 3-5 forme l’ensemble des mesures complémentaires de l’étalon. Elles permettent d’améliorer la compréhension par l’utilisateur des résultats de l’étalon par

3.2 Spécification des étalons

59

rapport au comportement de l’OS en présence de fautes. Nous rappelons que, en général, les étalons de performance existants fournissent un nombre limité de mesures. Les utilisateurs des résultats des étalons que nous proposons peuvent ignorer les mesures qui ne les intéressent pas. Cependant, toutes les mesures des tableaux ci-dessous sont calculées à partir des informations enregistrées au cours du déroulement des expériences, et ne nécessitent pas d’expériences supplémentaires. Seule P_NS nécessite une analyse spécifique car elle nécessite la connaissance de l’état de l’activité.

3.2.3 L’expérimentation

Dans ce paragraphe, nous présentons tout d’abord la technique de corruption de paramètres utilisée dans les étalons que nous avons définis. Nous passons ensuite en revue chacun des trois étalon pour présenter à la fois l’activité d’étalonnage et l’ensemble des fautes utilisées. Enfin, nous spécifions les observations à relever pour évaluer les mesures définies dans le paragraphe précédent.