Synthèse des résultats d’analyse de couverture

Les différentes propositions d’adaptation pour l’analyse de testabilité (section 3.3) ainsi que

la méthode définie pour l’évaluation des couvertures ont été expérimentées sur les systèmes

LM1 (modes latéraux) et LM2 (modes longitudinaux). Ces adaptations concernent : la

modélisation des opérateurs temporels, la modélisation des opérateurs d’aiguillage et la

méthode de classification des écoulements.

Les deux systèmes (LM1 et LM2) implantent respectivement 34 et 57 exigences

fonctionnelles décrites dans le DFS (Detailed Functional Specification) à l’aide des 58 et 92

variables de sortie définies dans leur modèle SCADE. Ces variables de sortie peuvent être

différentes des sorties du calculateur. Le nombre de tests définis dans le LTR (Lab Test Request)

est respectivement de 70 et 114 pour les deux systèmes.

Pour illustration, nous présentons ci-dessous un exemple d’exigence fonctionnelle décrite

dans le DFS et un exemple de description de test dans le LTR.

Exigence E1 : Id (identificateur)

− Description : Engagement standard du mode A lorsque l’avion atteint la zone de capture

du « leg » actif du plan de vol. Cette transition est autorisée à partir des modes B, C, D et F.

− Variable de sortie associée : Var_E1

Test T1 : Id (identificateur)

− Description : Le mode G doit être automatiquement engagé lorsque l’avion atteint

l’altitude N.

− Données de test et oracle

3.5. Expérimentations 107

− Identificateur de l’exigence vérifiée

Les résultats de l’application des différentes approches d’analyse de testabilité définies dans

le contexte AIRBUS sont présentés ci-dessous.

Approche par variable de sortie

Les informations fournies par l’application de cette approche sur les systèmes LM1 et LM2

sont présentées dans le tableau ci-dessous.

Tableau 3.8 : Synthèse des résultats de l'approche par variable de sortie

Nombre

Exigences

fonctionnelles

Variables

de sortie

Ecoulements

nominaux choisis

Ecoulements

d’initialisation choisis

LM1 34 58 614 155

LM2 57 92 565 203

L’analyse des systèmes à l’aide de cette approche a permis de déterminer 614 écoulements

nominaux et 155 écoulements d’initialisation pour LM1. Pour le système LM2, 565 écoulements

nominaux et 203 écoulements d’initialisation ont été déterminés. Ces écoulements, sélectionnés

à l’aide de Start-Small, sont répartis entre les variables de sortie de ces systèmes. Les

écoulements d’initialisation ne sont déterminés que pour des variables de sortie dépendant des

opérateurs temporels. Le détail de ces résultats est proposé en annexe (section D.1).

Approche par fonction

Le tableau, ci-dessous, présente les informations fournies à l’issue de l’application de cette

deuxième approche sur les systèmes LM1 et LM2.

Tableau 3.9 : Synthèse des résultats de l'approche par fonction

Nombre

Exigences

fonctionnelles

Variables

de sortie

Ecoulements

nominaux choisis

Ecoulements

d’initialisation choisis

LM1 34 58 198 83

LM2 57 92 202 132

L’application de cette approche a permis de déterminer 198 écoulements nominaux et 83

écoulements d’initialisation pour LM1. L’analyse du système LM2 a produit 202 écoulements

nominaux et 132 écoulements d’initialisation. Ces écoulements, sélectionnés à l’aide de

Start-Small, sont répartis entre les ensembles de variables de sortie associés aux fonctions identifiés

108 Chapitre 3. Aide à la génération de tests de validation

dans le cahier de fonctions (DFS – Detailed Functional Specification) des systèmes. Le détail de

ces résultats est proposé en annexe (section D.2).

Approche par composant

Les informations fournies par l’application de cette dernière approche sur les systèmes LM1

et LM2 sont présentées dans le tableau ci-dessous.

Tableau 3.10 : Synthèse des résultats de l'approche par composant

Nombre

Exigences

fonctionnelles

Variables

de sortie

Ecoulements

nominaux choisis

Ecoulements

d’initialisation choisis

LM1 34 58 84 73

LM2 57 92 127 112

L’analyse des systèmes à l’aide de cette dernière approche a permis de déterminer 84

écoulements nominaux et 73 écoulements d’initialisation pour LM1. Pour le système LM2, 127

écoulements nominaux et 112 écoulements d’initialisation ont été déterminés. Ces écoulements

ont été également sélectionnés à l’aide de Start-Small. Le détail de ces résultats est proposé en

annexe (section D.3).

Evaluation de couverture

Les deux méthodes d’évaluation de couverture des exigences fonctionnelles et des tests

vis-à-vis de la spécification formelle détaillée (modèle SCADE) ont été expérimentées à partir des

résultats de l’application des trois approches de détermination des écoulements. Les résultats

de ces expérimentations sur les deux systèmes ont conduit aux conclusions suivantes :

− Aucun écoulement orphelin n’a été détecté à l’issue des évaluations de couverture du

modèle SCADE vis-à-vis des exigences définies pour les systèmes. En effet, tous les

écoulements ont été associés à une exigence décrite dans le CDF. Ceci a permis d’affirmer

que les modèles SCADE des deux systèmes (LM1 et LM2) ne contiennent ni de spécification

superflue, ni de transcription d’exigences dérivées non décrites dans le CDF.

− Aucun écoulement manquant dû à une absence de transcription d’exigences

fonctionnelles dans le modèle SCADE des deux systèmes n’a été trouvé. En effet, un

sous-ensemble d’écoulements a été identifié pour chaque variable de sortie associée à une

exigence décrite dans le CDF.

− L’analyse de couverture des tests a permis d’associer plusieurs tests à certains

3.5. Expérimentations 109

le critère de couverture proposée par l’analyse de testabilité, que ces tests peuvent être

considérés comme potentiellement redondants.

− En ce qui concerne les tests manquants, l’analyse des résultats a permis d’identifier

certains écoulements associés aux exigences qui n’ont pas de correspondant au niveau

des tests. Nous nous intéressons aux tests nominaux dans cette analyse. En effet, les tests

d’initialisation ne sont explicitement définis dans LTR (Lab Test Request) même s’ils sont

réalisés avant l’exécution des tests nominaux qui nécessitent une initialisation préalable.

Le tableau ci-dessous présente les informations sur les tests manquants par rapport aux

écoulements de la phase nominale selon les trois approches d’analyse de testabilité.

Tableau 3.11 : Nombre de tests manquant en fonctions des approches d’analyse

Approche par

variable de sortie

Approche par

fonction

Approche par

composant

LM1 LM2 LM1 LM2 LM1 LM2

Nombre d’écoulements déterminés 614 565 198 202 84 127

Nombre de tests nominaux définis 70 114 70 114 70 114

Nombre de tests manquants 544 451 128 88 14 13

Ces résultats montrent que le nombre de tests manquants décroît selon les trois approches

d’analyse de testabilité de 544 et 451 (approche par variable de sortie) respectivement pour

LM1 et LM2 à 14 et 13 (approche par composant). Cette décroissance du nombre de tests

manquants s’explique par le fait que l’approche d’analyse par composant est celle dont le

principe correspond à la méthodologie de définition de tests pour la validation des systèmes

AIRBUS [Dou09a]. En effet, les tests fonctionnels construits pour la validation doivent être non

redondants et assurer la couverture optimale des exigences et de la spécification SCADE. En

considérant l’approche par composant, la présence des 14 et 13 tests manquants identifiés

respectivement pour LM1 et LM2 s’explique par le fait que les systèmes analysés étaient en

cours de développement lors de nos expérimentations et le processus de définition des tests

pour certaines exigences n’était pas complètement achevé.

Dans le document Contribution à l'analyse de testabilité des systèmes réactifs temps-réel : Aide à la validation et à la vérification de systèmes (Page 107-110)