5. Outils d’évaluation
5.1 Outils quantitatifs (voir Didier Delignières)
5.2.1. Entretien
Les entretiens constituent le mode le moins directif de l’évaluation en ingénierie des APS. On distingue trois types :
- l'entretien non directif, dans lequel l'ingénieur propose un thème et n'intervient que pour relancer et encourager le discours.
- l'entretien semi-directif, dans lequel l'ingénieur connaît tous les thèmes sur lesquels il doit obtenir les réactions du sujet, mais l'ordre et la manière dont il les introduira sont laissés à son jugement (seule la consigne de départ est fixée).
- l'entretien directif, dans lequel l'ingénieur présentent consécutivement les questions à poser.
L’entretien est une expérience subjective, dégagée des préjugés et des cadres intellectuels préfabriquées et déformants (Rogers).
Exemple pour un sujet obèse d’entretien semi-directif exploratoire
But : évaluer le patient sur les plans physique, psychologique et social afin de le comprendre dans sa globalité et ainsi mieux appréhender son obésité et son origine.
INFORMATIONS GENERALES : Age :
Sexe : Situation :
Enfants (nombre, âge et sexe) : Profession :
Etudes antérieures ou niveau atteint : Taille :
Poids :
HISTOIRE PERSONNELLE : Mettre en évidence les facteurs susceptibles d’avoir eu un impact sur la perte ou la prise de poids et la maintenance de celle-ci. Précise le contexte, les caractéristiques, les symptômes ressentis.
- Activité professionnelle passée et actuelle : en activité (sentiments par rapport à son emploi, ses responsabilités…), arrêt de travail, invalidité, chômage, retraite, préretraite...
- Antécédents familiaux du point de vue pondéral : aucun antécédent, hérédité moyenne (quand un seul parent est obèse ou un grand parent ou toute la fratrie), hérédité forte (quand les 2 parents ou 1 parent et la fratrie est obèse).
- Antécédents personnels du point de vue médical et traitements.
- Histoire depuis la petite enfance, le fonctionnement familial, les accidents de vie :
relations fortement perturbées avec la mère ou le père
père, mère alcoolique
viol ou tentative de viol, agression
décès prématuré d’un parent (avant 25 ans), d’un frère ou d’une sœur
maternité précoce
conjoint alcoolique
abandon par le conjoint (les raisons)
décès ou maladie d’un enfant, enfants gravement perturbés (schizo, toxico, alcoolo, dépression précoce)
maladie
chômage
accident (accident invalidant…)
rien de tout ça, pas de problèmes majeurs apparents
- Difficultés psychologiques : antécédents de dépression traités, alcoolisme toxicomanie antérieure à l’obésité… anxiété, dysmorphophobie, baisse estime de soi, traitements psychotropes, antidépresseurs, anxiolytiques, hypnotiques, neuroleptiques, lithium…
- L’histoire pondérale :
l’origine : obésité précoce ou obésité adulte (après grossesse, ménopause précoce, arrêt du tabac, arrêt de l’activité physique, alitement prolongé, insuffisance thyrolfdienne (hypothyroïdie) ou autre événement…), essayer de dater le début de la prise de poids.
les tentatives antérieures de perte de poids : habitué des régimes, a « tout essayé » effet yoyo pondéral, une ou deux tentatives, aucune expérience de régimes ou des semblants de régimes peu durables et inefficaces, chirurgie…
- Le type de soutien reçu par la personne dans sa démarche (médical, familial : conjoint, parents, enfants, amis, aucune personne extérieure…): bon, insuffisant (en raison d’exigences gastronomiques incompatibles avec l’observance diététique), mauvais, charge, entrave…
- Troubles du comportement alimentaire : grignotages anxiolytiques, crises boulimiques, noctophagie, compulsion alimentaire fréquentes, toc.
- Le rythme de vie et l’environnement (conjugal, familial, social et professionnel).
- L’observance diététique et comportementale (développé plus loin).
- L’activité physique et sportive (développé plus loin).
COMPORTEMENT ALIMENTAIRE : Déterminer si le comportement est franchement pathologique (une orientation vers un psychiatre est nécessaire) ou s’il s’agit juste de désordres alimentaires.
Le comportement alimentaire est pathologique s’il est répétitif, s’il enferme l’espace psychologique de l’individu et s’il traduit une souffrance pathologique.
Lors de l’enquête alimentaire, il faut essayer de trouver les signaux déclencheurs du comportement alimentaire (constituent-ils une réponse comportementale à une situation de dépression, d’anxiété, de conflit ?) car le comportement alimentaire n’est pas seulement un comportement prandial. Une séquence comportementale présente des phénomènes : pré-ingestifs, ingestifs, et post-ingestifs.
« ingestifs » : repas, calories, satiété …
« pré-ingestifs » : acquisition de la nourriture, choix des aliments, stockage, préparation des plats…
« post-ingestifs » : tout ce qui est mangé en dehors des repas.
PRISE ALIMENTAIRE : Déterminer les habitudes alimentaires du patient afin de pouvoir établir les bases d’un conseil adapté et personnalisé.
1) évaluer la ration calorique et les principales erreurs diététiques :
- description d’une journée habituelle, passer en revue l’alimentation d’une journée type (mais les informations sont approximatives sur le plan quantitatif et qualitatif car l’alimentation est extrêmement variable selon les jours et les circonstances, les oublis et les omissions très nombreux) ou alimentation de la veille ou des 3 jours ou semaine précédente ;
- détailler les conditions de repas : durée, lieu et contexte de préparation du repas, heure de prise, structure des repas, quantité consommée, mode d’assaisonnement, mode de cuisson, boissons absorbées (alcool), vitesse de la prise alimentaire, prise interprandiale, nocture ou compulsions ;
- pondération avec l’évaluation moyenne de la consommation des aliments de base, volume des achats : durée moyenne du litre d’huile, plaquette de beurre ou margarine…, taille des portions et des assiettes, est ce qu’il se ressert, pain quotidien ;
- analyser les erreurs avec le patient, hiérarchiser les plaisirs procurés par les aliments.
2) fréquence alimentaire :
- fréquence de consommation de : poisson/sem, patisserie/sem, charcuterie/sem, frites/sem, viande/jour, fruits/jour, légumes cuits/jour, crudités et salade/jour, fromage, yaourt/jour, pain/repas, eau/repas…
- durée d’utilisation d’une plaque de beurre, de margarine, d’une bouteille d’huile…
- nombre de repas pris hors foyer et type des conditions (repas d’affaire, repas de famille, restauration rapide…).
3) préférences alimentaires : connaître les goûts et les préférences alimentaires, comprendre ses choix pour mieux les orienter.
4) heures des repas : petit déjeuner, creux de 10h, déjeuner, goûter, dîner, « after », grignotages tout au long de la journée.
MODE DE VIE, LOISIRS ET ACTIVITE PHYSIQUE
- Lieu de vie : ville, centre ville, banlieue, village, campagne, bord de neige, montagne…
- Type d’habitation : appartement, maison, ferme, caravane…
- Surface du logement
- Si appartement : étage, ascenseur, escalier ? combien de fois par jour, - Combien de personnes vivent au foyer, animal de compagnie ? - Transport : permis de conduire ? véhicule motorisé ? vélo ? rollers ? - Distance domicile-travail-école et mode de déplacement
- Les heures de vie : lever , repas, activités, coucher
- Sport intérieur : possession de matériel sportif d’intérieur ? vélo d’appartement, stepper, poids ou appareil de musculation, K7 de gym…
- Sport extérieur : pratique ? Quels sports ? Quelle fréquence ? Où ? Avec qui ?…
- Loisirs : à la maison, à l’extérieur, avec d’autres,
- Télé : combien de temps devant la télé ? quel programme ?
- Ordinateur : combien de temps devant ? pour quelles raisons ? Internet ? - Musique, danse ?
- Appareil ménager, ménage : lave vaisselle ? machine à laver ? sèche linge ? femme de ménage, vide ordure…
- Combien de temps à s’occuper de soi : maquillage, choix des vêtements… miroirs ? à quels endroits ? - Quel ressenti par rapport aux activités physiques ?
Une fois retranscrit, l’entretien peut être organisé en : - Etude de cas (cas clinique)
- Histoire de vie (anamnèse)
L’analyse de l’entretien se fait directement via les notes et/ou les perceptions de l’interviewer.
Elle s’effectue aussi via une analyse de contenu dont le contenu a été retranscrit. L’ingénieur explore alors en analyse statique :
- les thèmes abordés (nature, fréquence, importance pour le sujet), - le vocabulaire,
- le degré d’anxiété, - les troubles de la parole, et en analyse des processus :
- les éléments syntaxique et paralinguistique, - la logique,
- les éléments formels atypiques.
Si le but du travail est déterministe (au sens heuristique ici) et non exploratoire (voir 2.3), alors une confirmation de l’hypothèse de travail sur plusieurs cas est requise.
Les risques méthodologiques de l’entretien sont aussi importants que ceux d’un travail expérimental. Il faut veiller :
- Au cadre de l’entretien (lieu, temps, position, règles comme l’anonymat),
- A laisser parler la personne (neutralité bienveillante, réserve, support du transfert positif et négatif),
- A l’écoute (contre-transfert avec projections en particulier chez psychotique mais qui est aussi une défense, disponibilité et non contagion de l’anxiété),
- A l’interprétation (seul, à plusieurs), - Aux relances (risque de passivité),
- A la communication non-verbale,
- Aux supports de médiation (dessin chez l’enfant, vidéo…).
Aspects psychologiques de l’entretien Du côté de l’interviewé
a) Des facteurs positifs encouragent la bonne marche de l’entretien : Volontariat : meilleur adjuvant de l’entretien non directif.
Désir d’influencer : à travers le volontariat, ce qui motive le sujet, c’est la pensée que son avis est important. La recherche et l’interviewer sont confusément perçus comme un moyen de faire avancer ses idées et d’obtenir un changement.
Besoin de parler : très vif chez les adolescents, il est assez fréquent chez les adultes, dans la mesure où :
- les occasions se font rares d’avoir le temps de parler longuement,
parler à un inconnu permet d’exprimer et de déployer sa pensée sans être impliqué comme avec des personnes de son proche entourage,
- si le transfert est positif, l’interviewer prend la place d’un ami ou d’un parent aimés avec la satisfaction qui s’y attache.
b) Des mécanismes de défense, comme dans l’entretien clinique à visée thérapeutique, peuvent faire leur apparition :
- fuite (rare dans notre expérience) : pourtant, une adolescente de 15 ans, volontaire pour l’entretien, mais non au courant de la consigne exacte, s’est vite trouvée bloquée, au point que nous avons pris spontanément la décision d’arrêter l’entretien ;
rationalisation : au lieu de s’impliquer, le sujet disserte sur le thème et lance des considérations générales ;
- projection : attitude qui consiste à attribuer aux autres ses propres attitudes ;
identification : l’interviewé se conforme à l’idée qu’il imagine celle que l’enquêteur a de lui ; refoulement : rejeter hors de la conscience les désirs coupables, les faits pénibles, les images interdites ;
- formations réactionnelles : l’interviewé a, à l’égard de l’interviewé, une politesse excessive qui cache le rejet ;
- retournement de l’agressivité sur soi : le sujet a tendance à se dévaloriser, à se dénigrer …
Du côté de l’interviewer
En dehors du fait de rassurer pleinement l’interviewé sur l’anonymat, qui sera sauvegardé en tout état de cause, l’interviewer doit s’efforcer de respecter les impératifs de l’attitude adéquate que Rogers préconise.
- Accueil et non pas initiative.
- Etre centré sur ce qui est vécu par le sujet et non par les faits qu’il évoque.
- S’intéresser à la personne du sujet, non au problème lui-même,
- Respecter le sujet et lui manifester une considération réelle au lieu d’essayer de lui montrer la perspicacité de l’interviewer ou sa domination.
- Faciliter la communication et non pas faire des révélations.
5.2.2. Enquête
L'enquête peut être définie comme une interrogation particulière portée sur une situation comprenant des individus, et ce dans un but de généralisation. Le chercheur
intervient en posant des questions, mais sans désir explicite de modifier la situation (même si la situation d'enquête est loin d'être neutre).
1- Lorsqu'on a besoin d'informations sur une grande variété de comportements d'un même sujet
2- Parce que les questions que l'on se pose ne permettent pas l'observation directe
3- Ou bien parfois c'est par ce qu'il s'agit d'étudier des comportements dits "intimes"
(inacceptable d'un point de vue déontologique)
On utilise donc l'interrogation lorsque l'on veut saisir des phénomènes tels que les attitudes, les opinions, les préférences, les représentations etc.…
Les sources documentaires pour cela sont inexistantes et l'observation directe serait trop longue ou inadéquate.
La méthode de l'enquête permet de conserver l'étude du phénomène dans son contexte, dans la situation à laquelle il se réfère et dans le moment donné.
Dans un questionnaire ouvert, la formulation et l'ordre des questions sont fixés, mais le sujet peut répondre aussi longuement qu'il le désire, et peut y être incité par les relances de l'enquêteur.
Dans un questionnaire fermé, la formulation des questions, leur ordre et la gamme des réponses possibles sont fixés.
Dans ce cadre, les personnes interrogées doivent être représentatives de la population que l'on veut étudier: on sélectionne donc un échantillon représentatif (tirage au sort d'un dixième ou d'un centième de la population concernée, sélection par quota en fonction des qualités des individus considérées comme essentielles). En corrélant ensuite opinions ou attitudes (quantifiées en pourcentage) avec les variables indépendantes (âge, sexe, etc.), on obtient des informations précieuses sur le positionnement des groupes sociaux et des individus dans des situations spécifiques.
L'enquête par questionnaire présente des inconvénients. Les questions (ou items) prédéterminent en partie les réponses, malgré toutes les précautions prises. Les opinions exprimées ou les attitudes affirmées peuvent très bien ne pas correspondre aux comportements profonds. C'est pourquoi on complète les enquêtes par questionnaire par des enquêtes dites qualificatives: on procède à des entretiens prolongés, semi-directifs ou non directifs, où l'on cherche à faire apparaître l'origine du comportement des individus, leurs schémas d'interprétation de la réalité sociale et les matrices de leurs pratiques. On ne cherche plus, à proprement parler, le représentatif, mais le significatif (en choisissant des sujets typiques dans des situations bien déterminées)
5.2.3. Outils brefs
Vers de nouveaux instruments
Le but des instruments brefs n’est pas de remplacer les outils classiques mais de permettre l’acquisition de séries temporelles de dimensions psychologiques. Constituer une série temporelle « suffisamment » longue (plus de 50 mesures répétées) et à intervalle de temps régulier (heure, jour, semaine) n’est pas chose aisée en psychologie. Les instruments classiques comme le SEI (58 items), le SPP (30 items), le PSPP (30 items) ou l’ISP (25 items) ne sont pas appropriés à cette fin. La passation devient vite fastidieuse (Marsh et Redmayne, 1994). En sport ou en réhabilitation, les utilisateurs déclarent ne pas avoir suffisamment de temps pour s’évaluer quotidiennement avec un questionnaire papier-crayon composé de plus de 10 questions. Le cas échéant, ils répondent de manière :
- automatique en mémorisant la réponse de la session antérieure (effet d’apprentissage), - sélective en prétextant l’ennui relatif à la redondance des items ou la fatigue,
- simulée (ils jouent un « rôle » en répondant), - aléatoire (pour réduire le temps de passation).
Ces comportements contribuent à invalider le protocole en place. Une alternative à ces biais est l’usage d’un questionnaire bref, composé d’un seul item par dimension évaluée (Robins, Hendin et Trzesniewski, 2001). Cette disposition suppose que le manque de consistance interne dû au faible nombre de questions est compensé par la répétition des passations. Un seul item par dimension élimine la redondance des questions. Il réduit d’autant la fatigue, la frustration et l’ennui associés aux réponses répétées à des questions quasi-similaires. La spontanéité et la rapidité de la réponse rend vaine toute tentative de rappel de la mesure précédente. En outre, le fait de s’évaluer quotidiennement attise la curiosité de la personne de connaître ses réponses et, par conséquent, l’implique plus qu’à l’occasion d’une seule session d’évaluation. Enfin, le résultat d’un questionnaire ne relève pas de la vérité « absolue » mais relative. Seules les modifications longitudinales chez les mêmes sujets ont un intérêt (Chwalow et Bacqué, 1995). En l’utilisant, les praticiens en psychologie, en éducation ou en médecine ne cherchent pas à déterminer « la » vérité, mais à décrire d’une manière opérationnelle des pistes interprétatives afin de pouvoir améliorer la qualité de vie et le bien-être de l’usager (Phares, 1992).
Par ailleurs, les échelles ordinales constituées d’une liste de trois à six qualificatifs classés dans un ordre croissant offre un nombre limité de réponses, donc peu de nuance (Huskisson, 1974 ; Jensen, Karoly et Braver, 1986). Ces échelles sont peu sensibles et ne détectent pas les variations de faible intensité. Dans le cadre de l’auto-évaluation de la douleur, les patients qui les utilisent choisissent préférentiellement les valeurs extrêmes de l’échelle (Aubrun, 1998).
La signification des qualificatifs ne revêt pas forcément la même intensité entre patients. De plus, la variation d’intensité de l’expérience douloureuse n’est pas identique entre chaque terme de l’échelle (Ohnhaus et Adler, 1975). L’intervalle entre le mot choisi et le suivant ou le précédant ne représente pas une unité identique dans l’échelle d’intensité douloureuse. Par exemple, une douleur intense qui devient modérée n’est pas comparable à une douleur légère qui devient absente.
Le travail de Borg (1971, 1973) a permis d’élaborer des échelles de catégorie de 0 à 20 (neuf adjectifs) ou de 6 à 20 (sept adjectifs) pour mesurer l’effort perçu et réaliser des comparaisons inter-individuelles. Son postulat est que si les capacités physiques diffèrent entre deux individus, l’étendue des perceptions de l’effort reste identique. Toutefois, la multiplicité des adjectifs sur l’échelle de réponse nous a semblé d’une part trop spécifique à une tâche donnée et d’autre part trop disposée à la mémorisation. Afin d’éviter les effets d’apprentissage et de mémorisation des réponses, l’échelle visuelle analogique (EVA) était plus pertinente (Huskisson, 1974). Cette échelle, développée notamment pour la cancérologie infantile (Boureau et Luu, 1988), est facile à administrer et à utiliser (figure 18). Selon Huskisson (1974), la sévérité de la douleur est connue uniquement par celui qui la subit. Elle est une expérience psychologique personnelle à laquelle l’observateur ne peut jouer aucun rôle légitime dans sa mesure directe. Il est maintenant admis que la douleur est par définition un phénomène subjectif (Blettery, Ebrahim, Honnert et Aube, 1996 ; Chambers et Guly, 1993).
Le malade est seul juge pour apprécier l’intensité de sa douleur. L’EVA a l’avantage d’être sensible et de se prêter à des mesures répétées (Huskisson, 1974 ; Scott et Huskisson, 1976).
La complexité du phénomène douloureux ne peut pas se résumer à une seule évaluation de son intensité.
L’EVA se présente sous la forme d’une ligne horizontale de 100 mm (figure 18). Le sujet répond en traçant un trait ou une croix sur la ligne selon l’intensité de la réponse choisie. La distance entre la position du trait et l’extrémité gauche « pas du tout » ou « absence de symptôme » sert d’indice de mesure. Avec une réglette de plastique (figure 18) ou une version informatique, le curseur est placé à gauche avant toute réponse.
5.2.4. Grille d’observation
L'observation peut être définie comme un regard porté sur une situation sans que celle-ci soit modifiée. L'intentionnalité agit au niveau du choix de la situation, et non à celui de ce qui doit être observé, le but étant le recueil des données afférentes à la situation.
L'observateur se rend sur le terrain pour observer un groupe naturel (une bande de jeunes, une classe…). L'observation peut être extérieure ou participante. Donc soit il ne s'engage pas dans la situation (ex reste au fond d'une classe…) et souvent dans ce cas utilise des grilles d'observations qui ont été construites à l'avance. Soit il tente de comprendre de manière plus précise la vie d'un groupe (ex Audrey) et s'intègre alors à ce groupe, participe aux activités. Selon la situation, le statut du chercheur est caché ou non.
5.2.5. Etude des traces
L'étude des traces est une observation différée, qui par nécessité ne saisit pas le phénomène directement, mais uniquement certaines de ses conséquences
Les données sont recueillies à travers des écrits divers, l'analyse de documents, des relevés statistiques ou des inventaires d'objets… Ces traces sont ensuite traitées comme des faits de société. Ce sont par exemple des documents officiels (journal officiel), des archives, des articles de presse, des œuvres littéraires, artistiques, des comptes rendus, des lettres et même des publicités, des tracts. On peut ainsi avoir recours à des documents statistiques, iconographiques ou sonores.
Ces documents donneront lieu à des analyse qualitatives (analyse de contenu) et/ou quantitatives (stats) selon les questions posées au départ.
6. Un cahier des charges pour l’utilisation d’outils en ingénierie des APS
Il est primordial d’établir un « cahier des charges » avant de choisir un instrument. Les questions listées ci-dessous peuvent fournir un canevas de réflexion :
Pourquoi ? Quel est le but de l’évaluation ? aide à la pratique clinique ?
rechercher,
évaluation économique/qualité des soins.
Qui ? Quelle est la population étudiée ?
caractéristiques liées à la pathologie, aux sportifs…
caractéristiques démographiques (âge, niveau d’éducation…),
recrutement (en milieu hospitalier, soins ambulatoires, à domicile…).
Quoi ? Quelle(s) dimension(s) doit(vent) être évaluée(s) ?
La ou les questions de recherche doivent être « traduites » en termes conceptuels, par exemple selon la CIDIH.
évaluation d’une dimension spécifique,
évaluation du résultat d’un traitement sur plusieurs dimensions, paramètres « objectifs » et/ou évaluation du subjectif ?
Quand ? Quelles sont les contraintes de temps pour l’évaluation ? temps disponible pour chaque évaluation,
nécessité de répéter l’évaluation à intervalles réguliers.
Ou ? Ou va se dérouler l’évaluation ?
milieu institutionnel, domicile,
contraintes liées aux locaux, au matériel disponible.
Comment ? Quel est le format d’évaluation préférentiel ? évaluation de performances, mesure directe,
entretien (patient, entourage), téléphone,
courrier.
Combien ? Quel budget peut être attribué à l’évaluation ? coût de l’instrument,
coût de la formation des évaluateurs,
coût du recueil des données (personnel, matériel), coût du traitement des données.
C’est seulement après avoir répondu à toutes ces questions que la recherche de l’instrument
C’est seulement après avoir répondu à toutes ces questions que la recherche de l’instrument