EL CONTEXT DE LA RECERCA
3.3. ELS MODELS D’AVALUACIÓ DE PROGRAMES
3.3.9. Dissenys d’avaluació etnogràfica
167 a) Model de Guba, Lincoln i Fetterman (1989)
És un model d’avaluació qualitativa que es caracteritza perquè l’avaluació s’elabora de manera gairebé personalitzada amb els participants i tothom participa en l’avaluació de manera molt dinàmica. És d’estil constructivista.
Aplicació en la nostra recerca:
Aquest model consistiria a preparar l’avaluació amb cadascun dels agents, recollir les històries de cada estudiant i preparar unes accions molt personalitzades i individualitzades.
Valoració:
És un model que no podem aplicar per manca de mitjans, però que si tinguessin recursos ens interessaria molt per poder fer un seguiment personalitzat dels estudiants.
En general intentarem que en les activitats del programa segueixin en la mesura del possible un enfocament constructivista perquè és un dels enfocaments teòrics que també tenim en compte en la recerca (vegeu l'apartat 3.5), però no el podem aplicar en l’avaluació de tot el programa.
A Espanya, també hi ha orientadors que han proposat sistemes d’avaluació. En aquest treball, destaquem els d’Alonso Tapia (1995), Rodriguez Espinar (1993) i les propostes de l’obra coordinada per Álvarez Rojo (2002).
A la figura 3.14 que trobareu a continuació s'esmenten els models analitzats i es resumeixen els motius per triar o descartar cada model.
168 Models
d’avaluació de programes
Dissenys basats en objectius (Tyler, Lombana)
Adoptem la inclusió en l’avaluació del grau de mesura de consecució dels objectius després de la realització del programa, però ens limitem a aquesta avaluació.
Dissenys basats en el mètode científic (Suchman)
Adoptem la metodologia científica, però estem oberts a l’anàlisi de dades obtingudes d’altres maneres.
Dissenys més orientats a la presa de decisions (Cronbach, Stufflebeam)
Adoptem sobretot el model d’Stufflebeam perquè ens interessarà prendre decisions sobre la millora i el futur del programa.
Dissenys de crítica artística (Eisner)
Descartem aquests models perquè no són viables en el nostre context.
Dissenys contraposats (Owens)
Descartem aquests models perquè no són viables en el nostre context.
Dissenys sense fites (Scriven)
Adoptem la idea d’avaluar una sèrie d’elements del programa, però incloem també els objectius.
Dissenys de negociació (Parlett i Hamilton, Stenhouse, Stake) Descartem aquests models perquè no són viables en el nostre context.
Dissenys globals (Atkinson, Furlong i Janoff)
En certa manera, la nostra evaluació recull les bases de la filosofia dels dissenys globals, però preferim seguir la metodologia d’Stufflebeam.
Dissenys d’avaluació etnogràfica (Guba, Lincoln, Fetterman) Descartem aquests models perquè no són viables en el nostre context.
Figura 3.13 Resum dels models d’avaluació de programes. Font: Elaboració pròpia.
169 3.4 ELS MODELS APLICATS DE QUALITAT
Quality has to do with nuance, with detail, and with the subtle and unique things that make a difference
between the points on a standardized scale.
Patton, 2002
Com hem esmentat, nosaltres aplicarem el model de consulta mitjançant programes.
Tanmateix, ens interessa completar aquest model amb aportacions de models de qualitat. Actualment moltes institucions educatives estan adoptant models de qualitat per establir sistemes de millora de la qualitat i, com veurem, tenen punts en comú amb els programes. Així, en aquest treball us presentem què entenem per qualitat i quins models de qualitat s’apliquen normalment a les institucions educatives perquè volem que el nostre programa compleixi criteris de qualitat. No adoptarem un model de qualitat en concret perquè formalment és diferent del model de programes, però sí que incorporarem en el nostre model de consulta per programes els elements que ens interessin dels models de qualitat que hem estudiat.
Paral·lelismes entre els programes i la qualitat
Patton (2002) comenta que la fase d’avaluació d’un programa i el control de qualitat van evolucionar com a disciplines d’àmbits diferents i ara, gràcies a l’ampliació d’aquests àmbits, els seus propòsits, mètodes i aplicacions, de vegades se solapen i tenen funcions que es podrien integrar en un sol sistema d’informació de programes. Avui dia, l’avaluació dels programes ha passat també de concentrar-se en només l’avaluació sumativa, és a dir, l’avaluació dels resultats, a una avaluació més formativa, que inclou la millora del programa, i això significa que el programa és en realitat un sistema amb moltes coincidències amb els sistemes de qualitat.
Vegem primer, segons Patton (2002), quines són algunes de les semblances entre l’avaluació de programes, que acabem de presentar (v. 3.3) i el control de qualitat:
Els dos sistemes es preocupen per la millora del procés i recopilen informació útil.
170
Abans, només es feia control de qualitat per controlar un procés, però ara es busca la manera de millorar-lo. De la mateixa manera, en l’evolució de programes, abans s’avaluava el procés i els resultats, i ara s’intenta també millorar el procés. En aquest punt, hi ha una conversió entre l’avaluació de programes i la millora de la qualitat.
Els sistemes de qualitat inclouen una fase de recollida de dades i uns procediments d’avaluació per deixar constància i garantir el compromís que es compleixin una sèrie d’estàndards d’excel·lència. En els programes, per la seva banda, també s’inclou la fase de recollida de dades i s’estableixen uns procediments de treball.
Els sistemes de qualitat posen èmfasi en la detecció de problemes, en la correcció de les deficiències i en la reducció d’errors. Els programes, com hem vist, també incorporen a la fase d’avaluació la idea de la millora contínua i l’observació contínua a fi de fer els canvis que calgui en el programa.
En aquest paral·lelisme també cal definir molt bé els conceptes. En qualitat, també farem bé de saber diferenciar entre els conceptes “control de qualitat” (quality assurance) i “millora de la qualitat” (quality improvement). El “control de qualitat” se centra bàsicament en els resultats. En canvi, la “millora de la qualitat” se centra en l’excel·lència, és a dir, en uns nivells que estiguin per sobre dels mínims establerts. El control de qualitat permet mesurar els resultats, però hem d’admetre que la millora de la qualitat és més difícil de mesurar. En el cas dels programes, ens interessa incorporar el concepte de control de qualitat en l’anàlisi dels resultats, per veure la relació entre els objectius i els resultats. També ens interessa incorporar el concepte de “millora de la qualitat”, perquè en l’avaluació del programa, com veurem, no ens interessen només els resultats sinó també la millora del propi programa.
Vegem també les diferències principals entre programes i sistemes de qualitat segons Patton (2002):
Avaluació de programes Control de qualitat
Èmfasi en el processos i els resultats Èmfasi en els processos i resultats de
171
dels programes persones individuals
Recopila dades en grup Estudis de casos individuals
Es valora en funció dels objectius S’avalua en funció de la valoració dels professionals
És per als responsables que prenen decisions
És per a les persones que l’apliquen
Més endavant veurem com el nostre programa supera les deficiències d’aquests plantejaments per separat i en realitat, els integra i combina.
El sistemes de qualitat
L’avaluació no és un fi en si mateixa. La qualitat hauria de ser entesa com un element inherent a l’ètica professional de tots els que treballem a la universitat: PD, PAS, estudiants
Lluís Jofre, 19983
Senlle (1996) presenta un símil entre una orquestra i un sistema de qualitat. De la mateixa manera que l’èxit d’una orquestra rau en el fet que cada músic sap perfectament què ha fer, com i quan, un sistema de qualitat té com a objectiu principal fer que l’empresa funcioni en sincronia. D’aquesta manera es podrà garantir que els serveis segueixen unes especificacions i, per tant, compleixen uns estàndards de qualitat que s’han fixat prèviament.
El sistema comporta l’elaboració d’un mètode de treball (uns processos) que queda reflectit en la redacció d’uns documents (procediments). Senlle (1996: 32) defineix un procés com “una serie de actividades que cuando se ejecutan conjuntamente producen un resultado valioso para la empresa”. Aquestes activitats s’han de definir i també els recursos humans i materials que es necessiten per executar-les. Per últim, s’ha d’establir un sistema de control d’aquests processos i que avaluï també que amb tot això s’aconsegueix la satisfacció del client.
Al llarg de la història del control de qualitat hi ha hagut diferents models de qualitat.
Està fora de l’àmbit del nostre treball presentar un estudi exhaustiu dels models de
3 Lluís Jofre, a l’informe “L’avaluació de la qualitat universitària” elaborat a Girona, del 15 al 17 de setembre de 1998 de l’Agència per a la Qualitat del Sistema Universitari a Catalunya.
172
qualitat, tanmateix, esmentarem els més importants i aportarem fonts de consulta on es poden estudiar i comentarem els models que volem tenir en compte per a la nostra recerca.
3.4.1. Els models de l’Organització Internacional per a la Estandardització (ISO)