La validation du modèle d’évaluation peut porter sur n’importe quel critère (une composante, une modalité, un groupe, une activité et même sur le confort global). Elle consiste à vérifier la correspondance entre les évaluations par le modèle et par les voyageurs d’un ensemble de trains1. Les évaluations de ces configura-tions par le modèle se font à partir de leurs paramètres physiques, alors que leurs évaluations par les voyageurs sont obtenues à partir d’enquêtes. Dans le cas où les évaluations des voyageurs et celles du modèle ne sont pas en parfaite corres-pondance, il est possible de reparamétrer le modèle. Cela consiste, soit à changer les valeurs des paramètres perceptifs (dans les échelles), soit à introduire de velles préférences pour éliciter les paramètres décisionnels ou construire de nou-velles règles. En revanche, dans le cas où ces évaluations divergent complètement,
1. qu’on appellera dans ce chapitre configurations, car l’ensemble des configurations peut représenter un même train où les paramètres physiques ont été modifiés
il faudrait revoir toute l’information préférentielle ou alors changer de procédure d’agrégation.
Afin de mener à bien la validation du modèle sur un critère, nous devons tout d’abord identifier les données d’entrée nécessaires. Il faut ensuite évaluer les confi-gurations sur chacune des dimensions correspondant à ce critère, à l’aide des in-dicateurs d’état du modèle d’évaluation. Une fois les dimensions construites, nous sommes souvent amenés à formuler des suppositions sous lesquelles la correspon-dance sera vérifiée. Ces suppositions sont dues au fait que certaines mesures, né-cessaires à la construction des dimensions, n’ont pas pu être effectuées, ou alors parce que les voyageurs interrogés ne remplissent pas les conditions désirées. Nous allons voir dans cette section en quoi consiste ces différentes étapes.
6.1.1 Données d’entrée et protocole d’essai
La validation du modèle d’évaluation sur un critère doit porter sur un ensemble de configurations noté AV, de telle sorte que pour chaque configuration :
– les voyageurs donnent une note de confort (correspondant au critère à valider) sur une échelle au moins ordinale (échelle qualitative possible),
– on mesure les paramètres physiques permettant d’évaluer chaque configura-tion sur les dimensions correspondant au critère.
Remarque 15 Afin d’obtenir une évaluation de chacune des configurations repré-sentative des notes données par les voyageurs, il est nécessaire d’appliquer sur ces notes des opérateurs tels que la moyenne, la médiane, le minimum ou le maximum. Il est important de souligner qu’aucun de ces opérateurs ne peut être appliqué sur des échelles nominales. Pour cela, ces échelles doivent être au moins ordinales.
En pratique, la mise en œuvre d’un protocole d’essai pour la collecte de ces données (notes des voyageurs et mesures physiques) est souvent difficile. En effet, cela nécessite une maitrise des conditions d’expérimentation :
– les capteurs permettant de mesurer les paramètres physiques doivent être placés aux mêmes endroits et aux mêmes moments où les voyageurs ont été interrogés sur leur confort
– les paramètres physiques, mesurés lors de l’enquête, doivent être de même nature que les paramètres physiques représentant les réponses des fournis-seurs (c.-à-d. qu’il est toujours possible, à partir des paramètres physiques mesurés, de se ramener à des grandeurs pouvant être prises en compte dans les indicateurs d’état),
– les voyageurs interrogés doivent être dans des conditions faisant abstraction de tout facteur externe pouvant influencer leurs évaluations. Par exemple, il faut éviter d’interroger des voyageurs dans un train en retard ou pendant les grèves.
De plus, afin de ne pas biaiser la validation, il est important que ces conditions d’ex-périmentation soient en adéquation avec les hypothèses sous lesquelles le modèle d’évaluation a été construit. Nous allons voir dans la suite, pour chaque « type » de critère (modalité, groupe, activité ou confort assis) à valider, quelles peuvent être les principales précautions à prendre en compte sur les conditions d’expérimenta-tion.
Validation des modalités de confort et des groupes
Lorsque le critère à valider représente une modalité de confort ou une compo-sante de cette modalité qui dépend des activités et des groupes, il est important de vérifier que les voyageurs appartiennent bien à l’un des groupes considérés et pratiquent l’une des activités considérées. De plus, d’autres précautions propres à chaque modalité doivent être prises en compte.
– La modalité thermique : il faudrait prendre en compte la saison en me-surant les températures extérieures. De plus, afin d’évaluer le critère corres-pondant à cette modalité il est nécessaire de réaliser les expérimentations pour chaque saison et d’interroger ensuite les voyageurs sur leur confort en considérant dans leurs évaluations les trois saisons à la fois. Ceci est très difficile à mettre en œuvre.
– La modalité dynamique : les essais doivent être réalisés sur des voies aux conditions contrôlées et qui doivent être les mêmes pour toutes les configu-rations.
– La modalité acoustique : le bruit des autres voyageurs doit être le même pour toutes les configurations car l’indicateur d’état utilisé (une fonction du temps de réverbération) dans le modèle pour mesurer le bruit des autres ne dépend pas de ce dernier. En effet, moins le temps de réverbération est important et plus le bruit des voyageurs est atténué. Cependant, si le temps de réverbération mesuré dans une configuration a est moins important que celui mesuré dans une configuration b, les voyageurs peuvent quand même juger que le bruit des autres dans la configuration b est moins important que dans la configuration a.
– La modalité siège environné : les voyageurs doivent donner leur poids, leur taille et l’activité pratiquée au moment où ils évaluent cette modalité, – La modalité ambiance lumineuse : les essais doivent être réalisés sans
lumière du jour et chaque voyageur doit renseigner l’activité qu’il pratique. En ce qui concerne la validation de chaque critère correspondant au confort d’un groupe dans la pratique d’une activité, il est important de s’assurer que les voyageurs interrogés remplissent les caractéristiques du même groupe auquel ils appartiennent. Par exemple, si le groupe est caractérisé par des valeurs de taille, d’IMC et d’âge, il faut vérifier que les voyageurs remplissent ces caractéristiques.
Validation des activités et du confort assis
Les évaluations du confort dans la pratique des activités et du confort assis seront fondées sur la politique des décideurs et non pas sur celles des experts en confort, contrairement aux autres critères. Dans le cas où cette politique ne serait pas censée traduire la perception des voyageurs, la validation de ces critères par des enquêtes voyageurs n’aura aucun intérêt.
D’autre part, il serait possible d’évaluer (et donc de valider) le confort assis d’un groupe donné en reliant directement les modalités aux activités (en sortant les groupes du modèle, voir la figure 6.1). La validation, dans ce cas, ne serait pertinente que si les voyageurs de ce groupe passent le même temps dans la pratique de chacune des activités au cours du trajet durant lequel ils ont été interrogés.
Confort assis d’un groupe
Manger, boire discuter Travailler sur son PC Acoustique Ambiance lumineuse Thermique Confort du siège environné
Dynamique Typanique Aménagement et services Lire Dormir, se reposer, admirer le paysage
Figure 6.1 – Le confort assis d’un groupe
6.1.2 Évaluation des configurations sur les dimensions
Les indicateurs d’état correspondant aux dimensions, construits dans le mo-dèle d’évaluation, dépendent des grandeurs physiques représentant les réponses des constructeurs, et non pas des paramètres mesurés lors des essais. Nous avons vu à la section précédente qu’il était important pour la validation que les paramètres physiques mesurés puissent être intégrés dans tous les indicateurs d’état afin d’éva-luer les configurations sur chacune des dimensions. Ce travail représente la partie la plus délicate d’un protocole de validation. Il peut engendrer de nombreuses sup-positions restrictives sous lesquelles la validation sera pertinente. L’idéal étant de réduire ce nombre.
Le passage des paramètres physiques mesurés à des paramètres physiques pou-vant être pris en compte par les indicateurs d’état n’est pas aussi simple. En ef-fet, certaines manipulations sont nécessaires (voir section 6.2) pour calculer des
grandeurs se rapprochant le plus possible des réponses des constructeurs. Par exemple, afin d’obtenir la température intérieure moyenne dans un train (réponse du constructeur), nous devons récupérer toutes les mesures de température effec-tuées dans une voiture pendant toute la durée de l’expérience, et en calculer la moyenne. Une fois ces grandeurs déterminées, il est possible de calculer les indi-cateurs d’état correspondant aux dimensions. Néanmoins, il peut arriver qu’une grandeur nécessaire à l’évaluation des configurations sur une dimension ne puisse pas être calculée car les mesures nécessaires n’ont pas été effectuées. Dans ce cas, il faudrait formuler des suppositions par rapport aux performances des différentes configurations sur les dimensions. Pour plus de détails sur cette étape voir la sec-tion 6.2.
6.1.3 Formulation des suppositions
Une fois les différentes configurations de AV évaluées sur les dimensions corres-pondant au critère à valider, il est souvent nécessaire de formuler des suppositions. Cela est souvent dû au non respect du protocole d’essai :
– certains paramètres physiques, nécessaires pour l’évaluation des configura-tions sur les dimensions, n’ont pu être mesurés,
– les voyageurs interrogés ne répondent pas aux conditions désirées sur la va-riabilité interindividuelle ou sur les activités pratiquées (cela est souvent le cas lorsque le nombre de sujets est réduit),
La première raison du non respect du protocole d’essai peut induire des suppo-sitions sur l’évaluation des configurations par le modèle. En effet, s’il n’est pas possible d’évaluer les configurations sur les dimensions d’un sous-critère (corres-pondant au critère à valider), il faudrait supposer que ces configurations prennent certaines valeurs jugées réalistes sur ces dimensions (voir l’exemple 17).
Exemple 17 On voudrait valider la modalité acoustique, mais il n’est pas possible d’évaluer les configurations sur l’indicateur d’état permettant de mesurer la capa-cité d’un train à atténuer le bruit des autres voyageurs (fATr) car le temps de ré-verbération T r n’a pas pu être mesuré. Cela nous oblige à formuler une supposition sur le sous-critère « bruit des autres » qui dépend de la dimension correspondant à cet indicateur sur laquelle les configurations n’ont pas pu être évaluées. Cette supposition peut consister, par exemple, à considérer que toutes les configurations ont la même performance sur cet indicateur (qui peut être la meilleure, la moyenne ou la moins bonne). Il est également possible d’effectuer une analyse de sensibilité en considérant, à la fois, les différents scénarios possibles sur le critère bruit des autres.
Pour ce qui est de la deuxième raison du non respect du protocole d’essai, elle peut induire la supposition que la moyenne (la médiane, le minimum, le maximum, etc.)
des évaluations des voyageurs interrogés représente bien le confort d’un groupe partageant la même perception.
Le non respect du protocole d’essai pour la validation peut ne pas être uni-quement dû au manque de ressources pour effectuer les mesures nécessaires et sélectionner les sujets appropriés. Il peut être également lié au fait que ce proto-cole était destiné à d’autres fins que la validation.
6.1.4 Correspondance entre les évaluations du modèle et
celles des voyageurs
Quand peut-on affirmer que les évaluations fournies par le modèle représentent bien celles des voyageurs ? Avant de répondre à cette question nous devons, sous les suppositions formulées à l’étape précédente, évaluer le confort de chaque confi-guration a ∈ AV :
– avec le modèle, sur le critère à valider g, après l’avoir évalué sur les dimensions correspondantes à g,
– en prenant la moyenne (la médiane, le minimum, le maximum ou le mini-mum) M des évaluations des voyageurs interrogés dans cette configuration. Remarque 16 Théoriquement, les voyageurs interrogés pour la validation d’un critère sont supposés partager la même perception. Le choix de la moyenne, de la médiane, du minimum ou du maximum ne devrait donc pas avoir d’importance. Cela n’est évidemment pas le cas en pratique. Une attention particulière doit être accordée à ce choix. Étant donné le caractère pilote de la validation, nous ne pou-vons pas prodiguer de conseil pertinent par rapport à ce choix. Les experts en confort utilisent souvent la moyenne pour la validation des modèles physiques. Ils utilisent également la médiane lorsqu’ils disposent d’un petit échantillon ou pour atténuer l’effet des extrêmes. Cependant, quel que soit ce choix, sa pertinence re-pose également sur le choix de l’échelle sur laquelle les voyageurs donnent leur note de confort et sur la formulation des questions qui leur sont posées.
Critère de correspondance
Les échelles de g et M ne sont pas nécessairement identiques. Dans ce cas, il n’est pas possible de comparer les deux évaluations g(a) et M(a) sur une seule configuration a. L’une des conséquences de cela est que la validation ne peut pas se limiter à une seule configuration. Pour cela, nous pensons qu’il est plus intéressant de fonder l’évaluation (ou le jugement) de la correspondance entre g et M sur plu-sieurs configurations (sur l’ensemble AV). Dans ce cas, on dira que les évaluations des configurations de AVpar le modèle représentent bien (ou sont conformes avec)
les évaluations de ces configurations par les voyageurs lorsque les deux conditions suivantes sont vérifiées :
– si les experts en confort jugent significative (par exemple, en se fondant sur des tests statistiques) la différence des notes de confort de deux configurations a et b, alors cette différence doit également apparaitre dans le modèle, – si deux configurations a et b sont jugées significativement différentes par le
modèle (par exemple, elles sont dans deux catégories différentes), alors les experts en confort doivent juger significative la différence des notes de confort de a et b.
Cela peut se traduire de manière formelle par l’expression (6.1) :
∀a, b ∈ AV : a ≻g b ⇔ a ≻M b (6.1)
où :
– la relation a ≻g b signifie que a est jugée significativement meilleure que b par le modèle. Cela peut se traduire soit par le fait que a est dans une catégorie de confort meilleure que b (dans le cas où l’évaluation représente uniquement une affectation dans une catégorie), soit par le fait que la différence g(a) − g(b) est significative (équivalente à l’amplitude d’une catégorie dans le cas où l’évaluation représente un score),
– la relation a ≻M b signifie que les experts en confort jugent significative (par exemple, sur la base de tests statistiques) la différence M(a)−M(b) en terme de confort.
Analyse de la correspondance
Lorsque M est supposée être une bonne représentation des évaluations voya-geurs, la relation 6.1 peut nous aider à déceler si l’évaluation par le modèle n’est pas assez « précise » (souvent lorsque g est évalué sur une échelle comportant un nombre réduit d’échelons). En effet, si on identifie plusieurs couples de configura-tions (a, b) telles que :
a ≻M b et a ∼g b (6.2)
ou
a ∼M b et a ≻g b (6.3)
où a ∼g b (resp. a ∼M b) signifie qu’il n’y a pas de différence significative entre les évaluations g(a) et g(b) (resp. M(a) et M(b)), alors il faudrait s’interroger sur la précision de l’évaluation par le modèle.
D’autre part, une attention particulière doit être accordée aux suppositions formulées à l’étape précédente lorsque deux configurations a et b sont telles que :
Si ces suppositions n’arrivent pas à expliquer cette divergence d’évaluation, il fau-drait revoir les préférences sur lesquelles le modèle est fondé. La révision des préfé-rences peut consister à modifier des seuils représentant des paramètres perceptifs dans des échelles, ou alors, à éliciter de nouveau les paramètres décisionnels ou construire des règles de décision.
Il pourrait être intéressant, dans le cas où la correspondance n’est pas parfaite, de définir un indicateur I permettant de mesurer cette correspondance, comme : le cardinal de l’intersection des préordres P≻M et P≻g engendrés respectivement par ≻M et ≻g, sur le cardinal du préordre engendré par ≻M (voir l’équation 6.5)
I = |P≻M ∩ P≻g|
|P≻M| (6.5)
où P≻M =(a, b) ∈ AV× AV: a ≻M b
et P≻g =(a, b) ∈ AV× AV: a ≻g b Lorsque les échelons de g représentent des catégories de confort, il est intéres-sant pour les décideurs ou les experts en confort de savoir, approximativement, à quelles valeurs de M correspond une catégorie Cl. Cela est possible si la corres-pondance entre les évaluations données par g et celles données par M est parfaite (ou presque parfaite). Ce qui nous donne la relation suivante :
g(a) = Cl ⇔ min
{b∈AV:g(b)=Cl}M (b) ≤ M (a) ≤ max
{c∈AV:g(c)=Cl}M (c) (6.6)
où min
{b∈AV:g(b)=Cl}M (b) (resp. max
{c∈AV:g(c)=Cl}M (c)) représente la meilleure (resp. la
moins bonne) évaluation par les voyageurs correspondant à une configuration af-fectée à la catégorie Cl par le modèle.