D. Leclercq 2020
[email protected]
http://orbi.uliege.be
Un modèle 5 sur 5
pour classer les évaluations
d’interventions éducatives
2
Objectifs
Méthodes
Formation
Intervention éducative
Evaluations
Les 3 piliers d’une formation
(ou d’une intervention éducative)
présentés comme une architecture
en 2 dimensions
Dimension 1
D
im
e
n
sio
n
2
(n
o
n
d
é
ve
lo
p
p
é
e
d
an
s
ce
co
u
rs)
La
n
atur
e
d
es
o
b
je
cti
fs
/
co
mpé
te
n
ce
s
:
Sp
écifi
q
u
es,
g
én
ér
al
es,
a
u
to
-co
gn
iti
ve
s,
d
yn
ami
q
u
es
Objectifs
Méthodes
Formation
Intervention éducative
Evaluations
Les 3 piliers d’une formation
(ou d’une intervention éducative)
présentés comme une architecture
en 2 dimensions
Dimension 1
D
im
e
n
sio
n
2
(n
o
n
d
é
ve
lo
p
p
é
e
d
an
s
ce
co
u
rs)
La
n
atur
e
d
es
o
b
je
cti
fs
/
co
mpé
te
n
ce
s
:
Sp
écifi
q
u
es,
g
én
ér
al
es,
a
u
to
-co
gn
iti
ve
s,
d
yn
ami
q
u
es
La
satisfaction
quant au
déroulement de la
Formation (cela s’est bien
passé ? Cela correspond à
ce que vos attentes ? Vous
croyez que cela vous sera
utile ?)
1
Kirkpatrick, 1983
4
Objectifs
Méthodes
Formation
Intervention éducative
Evaluations
Les 3 piliers d’une formation
(ou d’une intervention éducative)
présentés comme une architecture
en 2 dimensions
Dimension 1
D
im
e
n
sio
n
2
(n
o
n
d
é
ve
lo
p
p
é
e
d
an
s
ce
co
u
rs)
La
n
atur
e
d
es
o
b
je
cti
fs
/
co
mpé
te
n
ce
s
:
Sp
écifi
q
u
es,
g
én
ér
al
es,
a
u
to
-co
gn
iti
ve
s,
d
yn
ami
q
u
es
La
satisfaction
quant au
déroulement de la
Formation (cela s’est bien
passé ? Cela correspond à
ce que vos attentes ? Vous
croyez que cela vous sera
utile ?)
Les
acquis
au terme de
la formation (post-test
portant sur les acquis
(compétences, savoirs,
savoir-faire, attitudes,
etc. ).
1
2
Kirkpatrick, 1983
Objectifs
Méthodes
Formation
Intervention éducative
Evaluations
Les 3 piliers d’une formation
(ou d’une intervention éducative)
présentés comme une architecture
en 2 dimensions
Dimension 1
D
im
e
n
sio
n
2
(n
o
n
d
é
ve
lo
p
p
é
e
d
an
s
ce
co
u
rs)
La
n
atur
e
d
es
o
b
je
cti
fs
/
co
mpé
te
n
ce
s
:
Sp
écifi
q
u
es,
g
én
ér
al
es,
a
u
to
-co
gn
iti
ve
s,
d
yn
ami
q
u
es
La
satisfaction
quant au
déroulement de la
Formation (cela s’est bien
passé ? Cela correspond à
ce que vos attentes ? Vous
croyez que cela vous sera
utile ?)
Les
acquis
au terme de
la formation (post-test
portant sur les acquis
(compétences, savoirs,
savoir-faire, attitudes,
etc. ).
Sur le terrain,
plusieurs mois
plus tard, les
conduites
sont-elles modifiées ?
1
2
3
Kirkpatrick, 1983
6
Objectifs
Méthodes
Formation
Intervention éducative
Evaluations
Les 3 piliers d’une formation
(ou d’une intervention éducative)
présentés comme une architecture
en 2 dimensions
Dimension 1
D
im
e
n
sio
n
2
(n
o
n
d
é
ve
lo
p
p
é
e
d
an
s
ce
co
u
rs)
La
n
atur
e
d
es
o
b
je
cti
fs
/
co
mpé
te
n
ce
s
:
Sp
écifi
q
u
es,
g
én
ér
al
es,
a
u
to
-co
gn
iti
ve
s,
d
yn
ami
q
u
es
La
satisfaction
quant au
déroulement de la
Formation (cela s’est bien
passé ? Cela correspond à
ce que vos attentes ? Vous
croyez que cela vous sera
utile ?)
Les
acquis
au terme de
la formation (post-test
portant sur les acquis
(compétences, savoirs,
savoir-faire, attitudes,
etc. ).
Sur le terrain,
plusieurs mois
plus tard, les
conduites
sont-elles modifiées ?
L’ impact sur les
bénéficiaires ultimes
(la population,
l’entreprise)
1
2
3
4
Kirkpatrick, 1983
Objectifs
Méthodes
Formation
Intervention éducative
Evaluations
Les 3 piliers d’une formation
(ou d’une intervention éducative)
présentés comme une architecture
en 2 dimensions
Dimension 1
D
im
e
n
sio
n
2
(n
o
n
d
é
ve
lo
p
p
é
e
d
an
s
ce
co
u
rs)
La
n
atur
e
d
es
o
b
je
cti
fs
/
co
mpé
te
n
ce
s
:
Sp
écifi
q
u
es,
g
én
ér
al
es,
a
u
to
-co
gn
iti
ve
s,
d
yn
ami
q
u
es
La
satisfaction
quant au
déroulement de la
Formation (cela s’est bien
passé ? Cela correspond à
ce que vos attentes ? Vous
croyez que cela vous sera
utile ?)
Les
acquis
au terme
de la formation
(post-test portant sur les
acquis (compétences,
savoirs, savoir-faire,
attitudes, etc. ).
Sur le terrain,
plusieurs mois
plus tard, les
conduites
sont-elles
modifiées ?
L’ impact sur les
bénéficiaires ultimes
(la population,
l’entreprise)
1
2
4
5
8
Les
compétences
en situation
Simulée
Objectifs
Méthodes
Formation
Intervention éducative
Evaluations
3
Kirkpatrick, 1983
Leclercq, 2020
L’
ax
e
d
e
s
act
e
u
rs
/
b
é
n
éf
ici
ai
re
s
A
cquis
Conduites
T
errain :
Bénéfices
U
ltimes
S
atisfaction
La dimension 3
du modèle 4 x 4
des évaluations en ETP
L
a
di
m
ensi
on
4
Le patient /
l’apprenant
L’entourage /
Les parents
Les soignants /
Les professeurs
L’institution /
L’Etat
0
10
20
30
40
50
60
70
80
90
100
Vocabulaire (3905 Es 45 Qs) Syntaxe (3790 Es 12 Qs) Compréh. de Texte 3469 Es 6 Qs) Compréh. de GraphiquesMath Physique Chimie Biologie Arts Histoire
actualité & économie C e rti tu d e M o y e n n e
MOHICAN (Leclercq, 2003, 72-91)
Confiance
Imprudence
Camps pour enfants diabétiques (Metroz & Roulier, 1990)
12
Un (rare) exemple où les 4 niveaux de profondeur du modèle de Kirkpatrick ont été explorés
Les diapositives ci-après fournissent (dans des graphiques que j’ai refaits et colorés)
les valeurs numériques réelles publiés par les deux auteures dans cet article , et, en plus,
des données fictives (c’est mentionné entre parenthèses) pour donner une image complète
de ce que pourraient être des évaluations aux 4 niveaux de profondeur du modèle de Kirkpatrick.
D. Leclercq
http://www.ipco-alsace.fr/hygiene-de-vie-2/prevention-obesite-infantile-alsace/
14
Patients et méthodes
•
13 adolescents de 15 à 18 ans atteints de diabète de type 1
•
Séjour de 4 jours/3 nuits dans un gîte Vosgien
Mettons
nous au
Diapason
Séjour ETP
SENSATION
Que la
force soit
avec toi !
3 mois
Guemazi-Kheffi, Gagnayre & Leclercq (2019) Degrés de certitude et évaluation des connaissances d'adolescents diabétiques . SETE Toulouse
Résultats
PRE Camp Dr GUEMAZI-KHEFFI 2017-2018
Cohérence
0,997= r (Corrélation entre TE et DC)
Calibration ou réalisme
57
62
74
85
0
10
20
30
40
50
60
70
80
90
100
0
2
4
6
8
Ta
ux
de
r
é
ussi
te
(
%
R
C
)
Degrés de certitude SPECTRAL-PROF D. Leclercq (2015.1)50 60 80 95
Sont-ils réalistes
dans l’utilisation des
degrés de certitude ?
Oui :
leurs taux d’exactitude
sont proches des
% de certitude annoncés
(proches de la diagonale)
57
62
74
85
0
10
20
30
40
50
60
70
80
90
100
0
2
4
6
8
Ta
u
x
d
e
r
é
u
ssi
te
(
%
R
C)
Degrés de certitude
SPECTRAL-PROF D. Leclercq (2015.1)
50 60 80 95
Résultats
66,7
89,7
78,2
96,2
50
55
60
65
70
75
80
85
90
95
100
Diabète (6 QVF)
Surveillance (6 QVF)
% de réussites avant et après camp
dans 2 domaines (78 réponses chacun)
%
d
e
r
é
u
ss
ite
Avant
Avant
Après
Après
%RC
% de Réponses
Correctes
Pour les 2
domaines
en mode
Test
Spectral
Métacognitif
Effet plafond
Protocole de l’étude
Publics : 13 adolescents de 15 à 18 ans, atteints de diabète de type
Outils : Test TSM diapason
Test : Q1 à Q50 : les 50 QVF de l’AJD + DC
Q1 à Q6
Diabète
(6 questions)
Q7 à Q12
Surveillance
(6 questions)
Hypo/hyperglycémie
(12 questions)
Alimentation
(9 questions)
Insuline
(17 questions)
Méthode TSM : feedback-débat
Spectral : position en qualité spectrale
Métacognitif : autodiagnostic
Réponses INCORRECTES
Test Spectral Métacognitif (TSM). Questions de Martin et al.
(2016) par Dr F. Gemazi-Kheffi 2018 R Cert CORRECTESRéponses 95 80 60 50 1 8. On devient diabétique parce que l'on manque
d'insuline
Vrai Faux 50 60 80 95 95 80 60 50 2 17. Si j'urine souvent je pense que je manque
d'insuline
Vrai Faux 50 60 80 95 95 80 60 50 3 30. La fièvre, les émotions fortes et le stress font le
plus souvent baisser la glycémie
Vrai Faux 50 60 80 95 95 80 60 50 4 35. Une glycémie de 1.50 g/l (8 mmol/l) avant un repas
est normale
Vrai Faux 50 60 80 95 95 80 60 50 5 40. Le diabète insulino-dépendant est dû à une
alimentation trop sucrée
Vrai Faux 50 60 80 95 95 80 60 50 6 50. Quand on a un diabète on ne peut pas être vacciné Vrai Faux 50 60 80 95 95 80 60 50 7 4. L'hémoglobine glyquée doit être mesurée au moins
3 fois par an
Vrai Faux 50 60 80 95 95 80 60 50 8 10. Une hémoglobine glyquée à 10% est un bon
résultat (la valeur normale étant inférieur à 6%)
Vrai Faux 50 60 80 95 95 80 60 50 918. L'examen du fond d'œil permet la recherche d'une
rétinopathie (maladie de la rétine)
Vrai Faux 50 60 80 95 95 80 60 50 10 41. La recherche d'albumine dans les urines
(microalbuminurie) permet de dépister une maladie du rein (néphropathie)
Vrai Faux 50 60 80 95 95 80 60 50 11 42. Pour faire une glycémie je pique généralement le
milieu du doigt
Vrai Faux 50 60 80 95 95 80 60 50 12 45. Plus j'équilibre mon diabète plus je retarde les Vrai Faux 50 60 80 95
Qu'est-ce que le diabète ? Surveil-lance 95 80 60 60 95 95 95 95 95 95 95 Réponses INCORRECTES
Test Spectral Métacognitif (TSM). Questions de Martin et al.
(2016) par Dr F. Gemazi-Kheffi 2018 R Cert CORRECTESRéponses 95 80 60 50 1 8. On devient diabétique parce que l'on manque
d'insuline
Vrai Faux 50 60 80 95 95 80 60 50 2 17. Si j'urine souvent je pense que je manque
d'insuline
Vrai Faux 50 60 80 95 95 80 60 50 3 30. La fièvre, les émotions fortes et le stress font le
plus souvent baisser la glycémie
Vrai Faux 50 60 80 95 95 80 60 50 4 35. Une glycémie de 1.50 g/l (8 mmol/l) avant un repas
est normale
Vrai Faux 50 60 80 95 95 80 60 50 5 40. Le diabète insulino-dépendant est dû à une
alimentation trop sucrée
Vrai Faux 50 60 80 95 95 80 60 50 6 50. Quand on a un diabète on ne peut pas être vacciné Vrai Faux 50 60 80 95 95 80 60 50 7 4. L'hémoglobine glyquée doit être mesurée au moins
3 fois par an
Vrai Faux 50 60 80 95 95 80 60 50 8 10. Une hémoglobine glyquée à 10% est un bon
résultat (la valeur normale étant inférieur à 6%)
Vrai Faux 50 60 80 95 95 80 60 50 918. L'examen du fond d'œil permet la recherche d'une
rétinopathie (maladie de la rétine)
Vrai Faux 50 60 80 95 95 80 60 50 10 41. La recherche d'albumine dans les urines
(microalbuminurie) permet de dépister une maladie du rein (néphropathie)
Vrai Faux 50 60 80 95 95 80 60 50 11 42. Pour faire une glycémie je pique généralement le
milieu du doigt
Vrai Faux 50 60 80 95 95 80 60 50 12 45. Plus j'équilibre mon diabète plus je retarde les Vrai Faux 50 60 80 95
Qu'est-ce que le diabète ? Surveil-lance 95 80 60 60 95 95 95 95 95 95 95
Pourquoi si peu sûr alors que RC
?
Contributeurs :
En France,
Guemazi-Kheffi, Gagnayre & Leclercq (2019) Degrés de certitude et évaluation des connaissances d'adolescents diabétiques . SETE Toulouse
Remerciements
• Remi Gagnayre et tous les collaborateurs du
LEPS de Bobigny, Paris 13
• Dieudonné Leclercq
• Mes équipes hospitalières et du réseau
• Mes jeunes patients et leur famille…
66,7
89,7
78,2
96,2
50
55
60
65
70
75
80
85
90
95
100
Diabète (6 QVF)
Surveillance (6 QVF)
% de réponses correctes avant et après séjour
%
d
e
r
é
p
o
n
ses
co
rr
e
ct
e
s
Avant
Avant
Après
Après
Résultats : TSM gain relatif
Pour les 2
domaines
en mode TSM
Résultats : degré de certitudes
Pré Séjour :
Certitude Moyenne 83,2 %
Imprudence 75,5 %
Confiance 85,4 %
Post Séjour :
Certitude Moyenne 80,7 %
Imprudence 74,78 %
Confiance 88,9 %
24
L ’expérience Metroz-Dayer et Roulier (Genève) et les 4 échéances d’évaluation
Pourcentages (fictifs) de réponses TB au
questionnaire (fictif) du dernier jour du camp
87
62
89
42
96
0
20
40
60
80
100
Les jeux
Les repas
Les moniteurs
Les copains
Les cours
1. satisfaction
1. satisfaction
Taux de participation
(ex. fictif)
1986 1987 1988 1989 1990
50
40
30
20
10
0
A
ttitudes
D
écision
Gains de connaissance de 29 enfants
(6-11 ans) à la fin du cam p (1990) d'enfants
diabétiques
34
22
61
53
67
28
83
49
0
10
20
30
40
50
60
70
80
90
100
G
én
ér
al
ité
s
Pr
at
iq
ue
Di
ét
ét
iq
ue
A
da
pt
. I
ns
ul
in
e
PRE POSTcognitifs
motivationnels
L
’expérience
Metroz-Dayer et Roulier
(Genève) et les 4 niveaux d’évaluation selon Kirkpatrick
C
onnaissance
A
ttitudes
2
.
Les acquis (progrès)
Sur 9 enfants (6-11)
Sur 9 enfants (6-11)
Sur 9 enfants (6-11)
Sur 10 Ados (12-16)
Sur 10 Ados (12-16)Sur 10 Ados (12-16)
Motivations (après le camp) à se soigner soi-même
28
44
51
80
82
66
0
10
20
30
40
50
60
70
80
90
pcq obligatoire
pour le médecin
pour les parents
12-16 ans (10)
6-11 ans (9)
Sur 9 enfants (6-11)
Sur 9 enfants (6-11)
Sur 9 enfants (6-11)
Sur 10 Ados (12-16)
Sur 10 Ados (12-16)Sur 10 Ados (12-16)
26
Equilibre métabolique de 10 participants au
camp de 1990
10,9
9,6
10,5
6
8
10
12
Début
Fin
3 mois après
H b A 1 c ( % ) s a n g u i n
valeur de référence à atteindre
Autonom ie dans le traitem ent à dom icile
d'enfants de 11 ans qui ont vécu (8) ou
non (7) un cam p d'enfants diabétiques
41
62
10
20
30
40
50
60
70
80
90
100
NON OUI3
. Les conduites sur le terrain
4
. L’impact sur l’objectif ultime
L ’expérience Metroz-Dayer et Roulier (Genève) et les 4 niveaux d’évaluation selon
Kirkpatrick
H
abitudes
B
iologique
Pas
vécu
le camp
ont
vécu
le camp
28
Noms (codes) Patient / soignant / Institution : Modèle 4 X 4 de l'évaluation en Educaction Thérapeutique du Patient (ETP) D. Leclercq (2015)
Satisfaction
Bénéfices ultimes
Auto-éval DEP INT -=+ en quoi Auto-éval DEP INT -=+ en quoi Auto-éval DEP INT -=+ en quoi Auto-éval DEP INT -=+ en quoi
indices / incidents révélateurs
su par su par su par su parBiologique
++
Glycémie
(hb glyquée)
ORR
elationnel entourage soignants, institutionsParents soulagés de la prise en charge
Habitudes
++
ORAttitudes
++
Satisfaction Taux de participation QCM ODSavoir-Faire
Cognition
++
Test de
connaissances
QRO
Image de soi
Décision
QCM
Volonté
Normes
Matériel
Motivations à se soignerAutonomie
Acquis immédiats PRE-POST
Comportements sur le terrain
indices / incidents révélateurs
indices / incidents révélateurs
modifications résultantespatient
Pourcentages (fictifs) de réponses TB au questionnaire (fictif) du dernier jour du camp
87 62 89 42 96 020406080100 Les jeux Les repas Les moniteurs Les copains Les cours Taux de participation (ex. fictif) 1986 1987 1988 1989 1990 50 40 30 20 10 0
Gains de connaissance de 29 enfants (6-11 ans) à la fin du camp (1990) d'enfants
diabétiques 34 22 61 53 67 28 83 49 0 10 20 30 40 50 60 70 80 90 100 Génér alités Prat ique Diété tique Adapt . Insul ine PRE POST
Motivations (après le camp) à se soigner soi-même
28 44 51 80 82 66 0 10 20 30 40 50 60 70 80 90 pcq obligatoire pour le médecin pour les parents
12-16 ans (10) 6-11 ans (9) Sur 9 enfants (6-11) Sur 9 enfants (6-11) Sur 9 enfants (6-11) Sur 10 Ados (12-16) Sur 10 Ados (12-16) Sur 10 Ados (12-16)
Autonom ie dans le traitem ent à dom icile d'enfants de 11 ans qui ont vécu (8) ou non (7) un cam p d'enfants diabétiques
41 62 0 10 20 30 40 50 60 70 80 90 100 NON OUI
Equilibre métabolique de 10 participants au camp de 1990 10,9 9,6 10,5 6 8 10 12
Début Fin 3 mois après
H b A 1 c ( % ) s a n g u i n
valeur de référence à atteindre
Simulations
Jeux de rôles
https://www.google.fr/search?q=trains+distance+sociale&source=lnms&tbm=isch&sa=X&ved=2ahUKEwjz3ZmmoKTpAhUDyaQKHeQmDKwQ_AUoAXoECAsQAw&biw=1131&bih=595#imgrc=X8vONoPQ6n_5UM
E
xamens
C
liniques
O
bjectifs
Étudiante jouant
le rôle de
pharmacienne
Pharmacienne jouant
le rôle de cliente
Evaluatrice
42
CHU et RTBF. "Le cœur de Cathy » (Immelen, de la RTBF)
film interactif
www.
sauveunevie
.be
Pas de témoin
Diffusion
de responsabilité
Influence sociale
normative
Témoins passifs
(plurastic ignorance)
Test à l’effort (arrête quand il veut)
= simulation
Privation sensorielle
(arrête quand il veut)
48
L’
ax
e
de
s
ac
teu
rs
/ béné
fi
cia
ir
es
A
cquis
Conduites
T
errain :
Bénéfices
U
ltimes
S
atisfaction
La dimension 3
du modèle 5 sur 5
des évaluations de formations
L
a
d
im
e
n
si
on
4
S
imulation
Conduites
Le
P
atient /
l’apprenant
L’
E
ntourage /
Les parents
Les
S
oignants /
Les professeurs
N
ational : L’Etat
Santé-Education
L
ocal : le service
,
l’hôpital
/
L’école
1
2
3
4
5
Leurs
Changements
d’
H
abitude
Leur Qualité de vie
professionnelle
(A
),
leurs temps de
travail (
M
),
Ce qu’ils ont
C
ompris,
appris, changé dans leur
A
ttitude, leurs
S
avoir-Faire, etc.
Ce que l’entourage
a appris, changé
dans son
A
ttitude,
ses
C
onnaissances,
ses
S
avoir-faire, etc.
Ce que
l’entourage a
changé dans ses
H
abitudes
Leur Qualité
de vie (
A
),
leurs finances
(M
)
Ce que le patient
a appris ou changé
dans son
A
ttitude,
ses
C
onnaissances,
ses
S
avoir-faire, etc.
Ce que le patient
a changé dans ses
H
abitudes
Ses paramètres
B
iologiques, sa
Qualité de la vie (
A
),
ses
R
elations, ses
finances
(M
)
Ce que les
autorités ont
changé dans leurs
H
abitudes,
N
ormes
(règlements)
Paramètres
de population
B
iologiques, Qualité
De sa vie (
A
), ses
N
ormes,
Ce que l’Etat ou
l’hôpital a
C
ompris,
appris, changé dans
son
A
ttitude, ses
Modèle 4 x 4 de l'évaluation dans et de l'ETP D. Leclercq (2015)
