La table CAP

2.1.1

Performances du panel

La table CAP (Control of Assessor Performances) a été proposée par Schlich en 1997. Depuis sa première version, elle a subi plusieurs modifications mineures afin d’améliorer la pertinence et la présentation des résultats. Cette méthode repose essentiellement sur le modèle d’ANOVA au niveau du groupe, présenté dans le chapitre précédent (équation 1-1), et sur le modèle d’ANOVA par panéliste (équation 1-11), pour chaque descripteur. Ces deux équations sont rappelées ci-dessous : Modèle au niveau du groupe :

Y

_ijk

=µ+α

_i

+B

_j

+C

_ij

+ε

_ijk (1-1)

.

),

N(0,

~

),

N(0,

~

),

N(0,

~

2 e 2 prod * suj 2

suj

C indépentsentreeux

B

_j

σ

_ij

σ ε

_ijk

σ

Modèle par panéliste :

Y

_ik

=α

_i

+ε

_ik

ε

_ik

~ N(0,σ

_ie²

)

(1-11)

Le paramètre

α

_i désigne le facteur produit,

B

_j correspond au facteur sujet et

C

_ij à l’interaction entre les facteurs produit et sujet. Les résultats issus de ces modèles sont présentés dans une table contenant les descripteurs en lignes et les sujets en colonnes (tableau 2-1).

Tableau 2-1 : exemple de table CAP

FPROD et FINTER : statistique de Fisher de l’effet produit et de l’interaction sujet*produit dans le modèle d’analyse de la variance descripteur = produit + sujet + produit*sujet (effet sujet aléatoire)

MEAN : moyenne des notes, tous produits et sujets confondus

RMSE : racine carré de l’erreur résiduelle dans le modèle défini ci-dessus

RANKF : moyenne des rangs des effets produits individuels sur l’ensemble des descripteurs Les sujets et les descripteurs sont triés selon leur pouvoir discriminant (resp. RANKF et FPROD) + : panéliste discriminant et en accord avec le groupe ; - : panéliste discriminant et en désaccord = : panéliste non discriminant ; ! : panéliste moins répétable que le groupe

Les descripteurs sont triés selon le pouvoir discriminant du groupe. Celui-ci est mesuré par la valeur de la statistique de Fisher de l’effet produit, inscrit dans la colonne FPROD. La colonne suivante (FINTER) correspond au F de l’interaction ; elle renseigne donc sur la présence de désaccord (et/ou de différence de dispersion des notes sur l’échelle) entre les sujets. Pour ces deux colonnes, le code couleur est défini en fonction du risque associé à la statistique de Fisher :

Tableau 2-2 : couleurs associées aux risques des indices FPROD et FINTER

FPROD FINTER

α

< 0,05

α

< 0,01

0,05 <

α

< 0,15 0,01 <

α

< 0,10

Les cases vertes de la colonne FPROD indiquent que l’effet produit est significatif au risque

α

= 0,05. Le panel est donc discriminant. A l’inverse, les cases vertes de la colonne FINTER indiquent que l’interaction n’est pas significative (p > 0,10), donc que le désaccord entre les panélistes est négligeable. Le risque choisi pour l’interaction est plus faible afin de ne détecter que les situations où le désaccord est vraiment important. Les cases orange et rouges indiquent que le niveau de performance de chaque indice se dégrade. Dans la table CAP en exemple, le panel est discriminant pour tous les descripteurs excepté les sept derniers (de NUTS à UMAMI). Cependant, un désaccord persiste pour certains descripteurs discriminants comme GREASY et PASTRY (sur fond rouge), ou dans une moindre mesure STICKY et BITTER (sur fond orange). Rappelons toutefois que l’effet sujet est aléatoire dans le modèle d’ANOVA au niveau du groupe. Le dénominateur de la statistique de Fisher de l’effet produit est donc le carré moyen de l’interaction et non celui de l’erreur. Un effet produit significatif indique alors que le groupe perçoit des différences communes entre les produits malgré un éventuel désaccord entre les sujets. Par conséquent, quel que soit la valeur de FINTER, le panel est discriminant lorsque FPROD est significatif (valeur sur fond vert).

Les colonnes MEAN et RMSE contiennent respectivement la moyenne des observations de l’ensemble du panel et l’écart-type des résidus. L’information sur la moyenne permet de rendre compte du niveau de notation global afin de détecter les sensations très peu perçues parmi les produits. Par exemple, la moyenne de TOASTEDB est de 8,07 sur une échelle de 0 à 100, ce qui peut expliquer en partie le faible niveau de discrimination de ce descripteur (FPROD=1,45). L’écart-type des résidus (RMSE) correspond à l’écart-type entre les répétitions pour le modèle d’ANOVA utilisé. Sa valeur donne une indication sur le niveau de répétabilité du groupe : une valeur forte indique que le panel est moins répétable pour le descripteur considéré. Dans les données présentées, le RMSE varie entre 13,8 pour le descripteur MASHABL et 25,5 pour le descripteur MEALY, soit près du double. Cet écart peut en partie s’expliquer par la valeur des moyennes correspondantes, respectivement égales à 8,07 et 40,2. En effet, plus la moyenne des observations est proche d’une des bornes de l’échelle, plus la variabilité des notes autour de cette moyenne est réduite.

2.1.2

Performances des panélistes

Les colonnes suivantes de la table CAP (tableau 2-1) contiennent les diagnostics de la performance de chaque sujet pour chaque descripteur. Les sujets (i.e. les colonnes) sont triés selon leur RANKF. Cet indice représente une moyenne de rangs. Pour chaque descripteur, les sujets sont classés en fonction de la valeur de la statistique de Fisher obtenue pour l’effet produit dans le modèle d’ANOVA individuel note = produit + erreur. Le rang 1 est attribué au panéliste le plus discriminant. Le dernier panéliste reçoit le rang égal au nombre de sujets. Pour chaque panéliste, le RANKF correspond à la moyenne des rangs obtenus pour tous les descripteurs. Le calcul est détaillé dans la figure 2-1.

Figure 2-1 : Calcul de l’indice RANKF

L’indice RANKF, borné entre 1 et le nombre de panélistes, est d’autant plus faible que le panéliste était souvent parmi les sujets les plus discriminants pour chaque descripteur. Dans la table CAP (tableau 2-1), le sujet 7 obtient le plus faible RANKF (5,57). Il est donc classé en première position parmi les sujets. Cet indice a été préféré au F de MANOVA de l’effet produit, obtenu, pour chaque panéliste, à partir du modèle multidimensionnel note = produit + erreur. Ce choix est lié à la nature de la statistique de Fisher étendue au cas multidimensionnel dont la valeur peut être très élevée alors que le panéliste n’est discriminant que pour un petit nombre de descripteurs. Dans le cas où un panéliste est extrêmement discriminant pour un seul descripteur et non discriminant pour les autres descripteurs, le F de MANOVA aura une valeur élevée. Au contraire, le RANKF de ce sujet sera médiocre puisqu’il sera classé parmi les meilleurs panélistes pour un seul descripteur. Le RANKF favorise donc les sujets plus discriminants que les autres sur un grand nombre de descripteurs. Pour chaque descripteur, le diagnostic individuel (+, -, =, !) est établi en fonction de l’arbre de décision présenté dans le chapitre précédent (figure 1-9). L’indice de discrimination individuel est la statistique de Fisher de l’effet produit dans le modèle individuel note = produit + erreur. Lorsque le sujet est discriminant (risque

α

= 0,10), son accord avec les autres panélistes discriminants est testé à l’aide du coefficient de Kendall. Ce coefficient de corrélation se calcule de la manière suivante :

2

/

)

1

( −

−

=

n

n

Nd

Nc

τ

(2-1)

Nc désigne le nombre de paires de produits classés dans le même ordre entre le sujet considéré et la moyenne des autres sujets discriminants ; Nd est le nombre de paires discordantes. Le dénominateur correspond au nombre total de paires de produits (avec n, le nombre de produits testés). Lorsque toutes les paires de produits concordent entre le sujet considéré et les autres panélistes, les produits sont dans le même ordre et le coefficient de Kendall est égal à 1. Ce coefficient diminue avec le nombre de paires discordantes pour atteindre -1 lorsque l’ordre des produits est totalement inversé. Le test unilatéral de ce coefficient (

H0:τ =0/H1:τ >0

), réalisé avec un risque

α

fixé à 0,20, indique si le sujet est en accord avec les autres sujets discriminants.

Le diagnostic final est alors :

"+" si le sujet est discriminant et en accord "-" si le sujet est discriminant et en désaccord "=" si le sujet n’est pas discriminant.

Dans chaque cas, un dernier calcul évalue le niveau de répétabilité du sujet par rapport au groupe à l’aide d’un test de contraste dans lequel les observations sont les écart-types des répétitions. Le modèle d’ANOVA à deux facteurs (sujet et produit) avec interaction est utilisé. Lorsque le panéliste est significativement moins répétable que le groupe (risque

α

= 0.01), le signe "!" est ajouté au précédent diagnostic. La signification de chaque diagnostic est rappelée dans le tableau 2-3.

Tableau 2-3 : Signification des diagnostics de la table CAP Panéliste

DISCRIMINANT¹ ?

Panéliste en

ACCORD² ? REPETABLE^{Panéliste 3} ? ^diagnostic

OUI

+

OUI NON

+!

OUI

-

OUI NON NON

-!

OUI

=

NON non testé

NON

=!

1 : F produit de l’ANOVA individuelle score = produit + erreur (α=0,10).

2 : coefficient de Kendall entre le sujet et le reste du groupe (observations = produits)

3 : test de contraste entre le sujet et la moyenne du groupe où les observations sont les écart-types des répétitions de chaque produit

Sur le table CAP (tableau 2-1), ces diagnostics mettent par exemple en évidence que la plupart des sujets sont discriminants et en accord pour le descripteur FIRM (12 diagnostics "+" sur 14 panélistes). Ces diagnostics montrent également que le sujet 13, positionné en dernière place dans le tableau, est discriminant pour quatre descripteurs seulement (COMPACT, HOMOGEN, ASTRING et STRAW). Afin que cet outil puisse être utilisé dans les cas les plus divers, un autre type de diagnostic a été ajouté pour les études dans lesquelles certains sujets n’ont pas effectué de répétition. Dans ce cas, il n’est pas possible d’évaluer le pouvoir discriminant et la répétabilité de ce sujet. Le diagnostic sera alors "+?" si le sujet est en accord avec le groupe d’après le calcul du coefficient de Kendall et "-?" si le sujet est en désaccord avec le groupe. Dans de très rares cas, le diagnostic sera "=?" lorsque les notes de tous les produits seront identiques. Les sujets n’ayant pas effectué de répétitions seront systématiquement classés à la fin du tableau.

La table CAP permet de visualiser dans un seul tableau les performances unidimensionnelles issues des analyses de la variance au niveau du groupe et de chaque sujet. Cette synthèse permet de détecter rapidement les descripteurs pour lesquels le groupe est discriminant (FPROD sur fond vert), en accord (FINTER sur fond vert) et répétable (valeurs faibles du RMSE comparées à celles des autres descripteurs). Le classement des sujets et les diagnostics individuels donnent ensuite une information détaillée sur le niveau de performance de chaque sujet pour chaque descripteur.

Dans le document La performance en analyse sensorielle, une approche base de données (Page 61-66)