24 PSYAPP 2021 E de CEBOMERIOR Modèle 5 sur 5 d'Evaluations d'interventions-formations

(1)

D. Leclercq 2021

d.leclercq@ulg.ac.be

http://orbi.uliege.be

Un modèle 5 sur 5

pour classer les évaluations

d’interventions éducatives

EA 3412

01 Le pilier « Evaluation » en perspective

et Kirkpatrick amélioré

(2)

Objectifs

Méthodes

Formation

Intervention éducative

Evaluations

Les 3 piliers d’une formation

1

(ou d’une intervention éducative)

présentés comme une architecture

en 2 dimensions

Dimension 1

(l’alignement Objectifs-Méthodes-Evaluations)

D

im

e

n

sio

n

2 (n

o

n

d

é

ve

lo

p

é

e

d

an

s

ce

co

u

rs)

La

n

atur

e

d

es

o

b

je

cti

fs

/

co

mpé

te

n

ce

s

:

Sp

écifi

q

u

es,

g

én

ér

al

es,

a

u

to

-co

gn

iti

ve

s,

d

yn

ami

q

u

es

(3)

Objectifs

Méthodes

Formation

Intervention éducative

Evaluations

Les 3 piliers d’une formation

(ou d’une intervention éducative)

présentés comme une architecture

en 2 dimensions

Dimension 1

D

im

e

n

sio

n

2 (n

o

n

d

é

ve

lo

p

é

e

d

an

s

ce

co

u

rs)

La

n

atur

e

d

es

o

b

je

cti

fs

/

co

mpé

te

n

ce

s

:

Sp

écifi

q

u

es,

g

én

ér

al

es,

a

u

to

-co

gn

iti

ve

s,

d

yn

ami

q

u

es

(4)

La

satisfaction

quant au

déroulement de la

Formation (cela s’est bien

passé ? Cela correspond à

ce que vos attentes ? Vous

croyez que cela vous sera

utile ?)

1 Kirkpatrick, 1983

Objectifs

Méthodes

Formation

Intervention éducative

Evaluations

Les 3 piliers d’une formation

(ou d’une intervention éducative)

présentés comme une architecture

en 2 dimensions

Dimension 1

D

im

e

n

sio

n

2 (n

o

n

d

é

ve

lo

p

é

e

d

an

s

ce

co

u

rs)

La

n

atur

e

d

es

o

b

je

cti

fs

/

co

mpé

te

n

ce

s

:

Sp

écifi

q

u

es,

g

én

ér

al

es,

a

u

to

-co

gn

iti

ve

s,

d

yn

ami

q

u

es

(5)

La

satisfaction

quant au

déroulement de la

Formation (cela s’est bien

passé ? Cela correspond à

ce que vos attentes ? Vous

croyez que cela vous sera

utile ?)

Les

acquis

au terme de

la formation (post-test

portant sur les acquis

(compétences, savoirs,

savoir-faire, attitudes,

etc. ).

1

2 Objectifs

Méthodes

Formation

Intervention éducative

Evaluations

Les 3 piliers d’une formation

(ou d’une intervention éducative)

présentés comme une architecture

en 2 dimensions

Dimension 1

D

im

e

n

sio

n

2 (n

o

n

d

é

ve

lo

p

é

e

d

an

s

ce

co

u

rs)

La

n

atur

e

d

es

o

b

je

cti

fs

/

co

mpé

te

n

ce

s

:

Sp

écifi

q

u

es,

g

én

ér

al

es,

a

u

to

-co

gn

iti

ve

s,

d

yn

ami

q

u

es

(6)

La

satisfaction

quant au

déroulement de la

Formation (cela s’est bien

passé ? Cela correspond à

ce que vos attentes ? Vous

croyez que cela vous sera

utile ?)

Les

acquis

au terme de

la formation (post-test

portant sur les acquis

(compétences, savoirs,

savoir-faire, attitudes,

etc. ).

Sur le terrain,

plusieurs mois

plus tard, les

conduites

sont-elles modifiées ?

1

2

3 Kirkpatrick, 1983

Objectifs

Méthodes

Formation

Intervention éducative

Evaluations

Les 3 piliers d’une formation

(ou d’une intervention éducative)

présentés comme une architecture

en 2 dimensions

Dimension 1

D

im

e

n

sio

n

2 (n

o

n

d

é

ve

lo

p

é

e

d

an

s

ce

co

u

rs)

La

n

atur

e

d

es

o

b

je

cti

fs

/

co

mpé

te

n

ce

s

:

Sp

écifi

q

u

es,

g

én

ér

al

es,

a

u

to

-co

gn

iti

ve

s,

d

yn

ami

q

u

es

(7)

La

satisfaction

quant au

déroulement de la

Formation (cela s’est bien

passé ? Cela correspond à

ce que vos attentes ? Vous

croyez que cela vous sera

utile ?)

Les

acquis

au terme de

la formation (post-test

portant sur les acquis

(compétences, savoirs,

savoir-faire, attitudes,

etc. ).

Sur le terrain,

plusieurs mois

plus tard, les

conduites

sont-elles modifiées ?

L’ impact sur les

bénéficiaires ultimes

(la population,

l’entreprise)

1

2

3

4 Objectifs

Méthodes

Formation

Intervention éducative

Evaluations

Les 3 piliers d’une formation

(ou d’une intervention éducative)

présentés comme une architecture

en 2 dimensions

Dimension 1

D

im

e

n

sio

n

2 (n

o

n

d

é

ve

lo

p

é

e

d

an

s

ce

co

u

rs)

La

n

atur

e

d

es

o

b

je

cti

fs

/

co

mpé

te

n

ce

s

:

Sp

écifi

q

u

es,

g

én

ér

al

es,

a

u

to

-co

gn

iti

ve

s,

d

yn

ami

q

u

es

(8)

L’

ax

e

d

e

s

act

e

u

rs

/

b

é

n

éf

ici

ai

re

s

A

cquis

_Conduites

T

errain :

Bénéfices

U

ltimes

S

atisfaction

La dimension 3

un modèle 4 x 4

des évaluations en ETP

L

a

di

m

ensi

on

4 Le patient /

l’apprenant

L’entourage /

Les parents

Les soignants /

Les professeurs

L’institution /

L’Etat

(9)

La

satisfaction

quant au

déroulement de la

Formation (cela s’est bien

passé ? Cela correspond à

ce que vos attentes ? Vous

croyez que cela vous sera

utile ?)

Les

acquis

au terme

de la formation

(post-test portant sur les

acquis (compétences,

savoirs, savoir-faire,

attitudes, etc. ).

Sur le terrain,

plusieurs mois

plus tard, les

conduites

sont-elles

modifiées ?

L’ impact sur les

bénéficiaires ultimes

(la population,

l’entreprise)

1

2

4

5 Les

compétences

en situation

Simulée

Objectifs

Méthodes

Formation

Intervention éducative

Evaluations

3 Leclercq, 2020

(10)

(11)

Plus on s’éloigne (dans le temps) de la

formation plus sont nombreux les

autres facteurs pouvant

expliquer les bénéfices ultimes

Les impacts dûs au

soignant-éducateur

Les impacts dûs au patient ou ses proches

D. Leclercq (2020) HygièneS, vol. 27, n°5.

Soignante éducatrice

patient

Soignante éducatrice

(12)

https://pro.guidesocial.be/articles/actualites/article /comment-devenir-aide-soignant-e photo ttps://www.google.fr/search?q=formatrice &tbm=isch&ved=2ahUKEwiJw9DsqqDvAhX UtKQKHVVMAwEQ2-cCegQIABAA&oq=formatrice&gs_lcp=CgNp bWcQAzICCAAyAggAMgIIADICCAAyAggAM gIIADICCAAyAggAMgIIADICCAA6BQgAELED OggIABCxAxCDAToECAAQQ1CApBVY9LsVY NDIFWgAcAB4AIABfogB1gSSAQM5LjGYAQ CgAQGqAQtnd3Mtd2l6LWltZ8ABAQ&sclie nt=img&ei=4-dFYMnFEtTpkgXVmI0I&bih=602&biw=114 0#imgrc=tdfuFxlVe3E45M photos

(13)

L’

ax

e

d

es

act

eurs

/

b

éné

fi

ci

aire

s

A

cquis

Bénéfices

U

ltimes

S

atisfaction

La dimension 3

L

a

di

m

ensi

on

4 Le patient /

l’apprenant

L’entourage /

Les parents

Les soignants /

Les professeurs

L’institution niveau

Le service

L’hôpital

Local

L’institution niveau

Conduites en

T

errain

S

imulé

R

éel

Distinguer ces deux niveaux est utile dans la mesure où

des intérêts locaux ne correspondent pas forcément à

(14)

L’

ax

e

de

s

act

eur

s

/ bé

né

fi

ci

ai

re

s

A

cquis

_Conduites

T

errain :

Bénéfices

U

ltimes

S

atisfaction

Modèle 5 sur 5

S

imulation

Conduites

Le

P

atient /

l’apprenant

L’

E

ntourage /

Les parents

Les

S

oignants /

Les professeurs

N

ational : L’Etat

Santé-Education

L

ocal : le service

,

l’hôpital

/

L’école

1

2

3

4

5

(15)

?

Alcoolisme

Diabète

(16)

Camps pour enfants diabétiques (Metroz & Roulier, 1990)

(17)

Un (rare) exemple où les 4 niveaux de profondeur du modèle de Kirkpatrick ont été explorés

Les diapositives ci-après fournissent (dans des graphiques que j’ai refaits et colorés)

Les valeurs numériques réelles publiés par les deux auteures dans cet article , et, en plus,

des données fictives (c’est mentionné entre parenthèses) pour donner une image complète

(18)

L ’expérience Metroz-Dayer et Roulier (Genève) et les 4 échéances d’évaluation

Pourcentages (fictifs) de réponses TB au

questionnaire (fictif) du dernier jour du camp

87

62

89

42

96

0

20

40

60

80

100 Les jeux

Les repas

Les moniteurs

Les copains

Les cours

1. satisfaction

_{1. satisfaction}

Taux de participation

(ex. fictif)

1986 1987 1988 1989 1990

50

40

30

20

10

0 A

ttitudes

_D

_écision

(19)

Gains de connaissance de 29 enfants

(6-11 ans) à la fin du cam p (1990) d'enfants

diabétiques

34

22

61

53

67

28

83

49

0

10

20

30

40

50

60

70

80

90

100 s

e

PRE POST

cognitifs

motivationnels

L

’expérience

Metroz-Dayer et Roulier

(Genève) et les 4 niveaux d’évaluation selon Kirkpatrick

C

onnaissance

A

_ttitudes

2 .

Les acquis (progrès)

Sur 9 enfants (6-11)

Sur 10 Ados (12-16)

Motivations (après le camp) à se soigner soi-même

28

44

51

80

82 pcq obligatoire

pour le médecin

pour les parents

Sur 9 enfants (6-11)

Sur 10 Ados (12-16)

(20)

Equilibre métabolique de 10 participants au

camp de 1990

10,9

9,6

10,5

6

8

10

12 Début

Fin

3 mois après

H b A 1 c ( % ) s a n g u i n

valeur de référence à atteindre

Autonom ie dans le traitem ent à dom icile

d'enfants de 11 ans qui ont vécu (8) ou

non (7) un cam p d'enfants diabétiques

41

62

20

30

40

50

60

70

80

90

100

NON OUI

3 . Les conduites sur le terrain

4 _{. L’impact sur l’objectif ultime}

L ’expérience Metroz-Dayer et Roulier (Genève) et les 4 niveaux d’évaluation selon

Kirkpatrick

H

abitudes

B

iologique

Pas

vécu

le camp

ont

vécu

le camp

(21)

Noms (codes) Patient / soignant / Institution : Modèle 4 X 4 de l'évaluation en Educaction Thérapeutique du Patient (ETP) D. Leclercq (2015)

Satisfaction

Bénéfices ultimes

Auto-éval DEP INT -=+ en quoi Auto-éval DEP INT -=+ en quoi Auto-éval DEP INT -=+ en quoi Auto-éval DEP INT -=+ en quoi

indices / incidents révélateurs

su par su par su par su par

Biologique

++

Glycémie

(hb glyquée)

OR

R

elationnel entourage soignants, institutions

Parents soulagés de la prise en charge

Habitudes

++

OR

Attitudes

++

Satisfaction Taux de participation QCM OD

Savoir-Faire

Cognition

++

Test de

connaissances

QRO

Image de soi

Décision

QCM

Motivations à se soigner

Autonomie

Acquis immédiats PRE-POST

Comportements sur le terrain

indices / incidents révélateurs

modifications résultantes

patient

Pourcentages (fictifs) de réponses TB au questionnaire (fictif) du dernier jour du camp

87 62 89 42 96 020406080100 Les jeux Les repas Les moniteurs Les copains Les cours Taux de participation (ex. fictif) 1986 1987 1988 1989 1990 50 40 30 20 10 0

Gains de connaissance de 29 enfants (6-11 ans) à la fin du camp (1990) d'enfants

diabétiques 34 22 61 53 67 28 83 49 0 10 20 30 40 50 60 70 80 90 100 Génér alités Prat ique Diété tique Adapt . Insul ine PRE POST

Motivations (après le camp) à se soigner soi-même

44 51

80 pour le médecin

pour les parents

Sur 9 enfants (6-11)

Sur 10 Ados (12-16) Sur 10 Ados (12-16)

Autonom ie dans le traitem ent à dom icile d'enfants de 11 ans qui ont vécu (8) ou non (7) un cam p d'enfants diabétiques

41 62 0 10 20 30 40 50 60 70 80 90 100 NON OUI

Equilibre métabolique de 10 participants au camp de 1990 10,9 9,6 10,5 6 8 10 12

Début Fin 3 mois après

H b A 1 c ( % ) s a n g u i n

valeur de référence à atteindre

(22)

Les changements

d’Habitude des

soignants

Leur Qualité de vie

professionnelle (A),

leurs temps de travail (M),

Ce qu’ils ont

C

ompris,

appris, changé dans leur

Attitude, leurs Savoir-Faire,

etc.

Ce que l’entourage a

appris, changé dans son

Attitude, ses

C

onnaissances,

ses Savoir-faire, etc.

Ce que l’entourage a

changé dans ses

H

abitudes

Leur Qualité de vie (A),

leurs finances (M)

Ce que le patient

a appris ou changé dans son

Attitude, ses

C

onnaissances,

ses Savoir-faire, etc.

Ce que le patient a

changé dans ses

H

abitudes

Ses paramètres

B

iologiques, sa Qualité

de la vie (A),

ses

R

elations sociales,

ses finances (M)

Ce que les autorités

ont changé dans leurs

Param.de population

Locale :

B

iologiques,

Quali. de sa vie (A), ses

N

ormes, Les coûts (M)

pour l’Hôpital

Ce que l’Etat ou l’hôpital

a

C

ompris, appris, changé

Modèle 4 x 4 de l'évaluation dans et de l'ETP D. Leclercq (2015)

Satisfaction

Acquis

Comportements _{sur le terrain}

Bénéfices ultimes

Donne son avis sur le

déroulement (ambiance

relationnelle, durée, coût,

fatigue, etc.

BRH - ASCID-VMEN

Ce que le patient en a dit.

Ce que cela a coûté (le

conduire, l'attendre, son

absence), ses réactions

avant et après.

BRH - ASCID-VMEN

Donne son avis sur le

déroulement (ambiance

relationnelle, durée, coût,

fatigue, etc.

BRH - ASCID-VMEN

AADOPEASE

BRH - ASCID-VMEN

AADOPEASE

BRH - ASCID-VMEN

AADOPEASE

Les retours d'opinions de

patients (plaintes, éloges).

L'opinion des responsables

sur l'ETP.

Ce qui revient (filtre) vers

les responsables à partir

de l'ETP de ce(s)

patient(s)

Ce que les autorités

ont changé dans leurs

habitudes, textes,

règlements

Critères

-santé publique (morbidité /

mortalité) -organisationnels

-financiers -moraux

-communication

entourage

soignants

institution

patient patient Modèle 4 x 4 de l'évaluation dans et de l'ETP D. Leclercq (2015)

Satisfaction

Acquis

Bénéfices ultimes

Donne son avis sur le

déroulement (ambiance

relationnelle, durée, coût,

fatigue, etc.

BRH - ASCID-VMEN

Ce que le patient en a dit.

Ce que cela a coûté (le

conduire, l'attendre, son

absence), ses réactions

avant et après.

BRH - ASCID-VMEN

Donne son avis sur le

déroulement (ambiance

relationnelle, durée, coût,

fatigue, etc.

BRH - ASCID-VMEN

AADOPEASE

BRH - ASCID-VMEN

AADOPEASE

BRH - ASCID-VMEN

AADOPEASE

Les retours d'opinions de

patients (plaintes, éloges).

L'opinion des responsables

sur l'ETP.

Ce qui revient (filtre) vers

les responsables à partir

de l'ETP de ce(s)

patient(s)

Ce que les autorités

ont changé dans leurs

habitudes, textes,

règlements

Critères

-santé publique (morbidité /

mortalité) -organisationnels

-financiers -moraux

-communication

entourage

soignants

institution

patient patient Modèle 4 x 4 de l'évaluation dans et de l'ETP D. Leclercq (2015)