•L'epistemologia és... constructivista i dialèctica
•La implicació dels participants és... interactiva
•La problemàtica analitzada basada... en situacions concretes
•La metodologia utilitzada és... quantitativa i/ o qualitativa
•El disseny de la recerca és... flexible
•Es valora a partir de...múltiples mesures específiques
•L'avaluador actua com a... facilitador
•Ell control de l'avaluació és mediat per... participants interns
•Al servei... dels grups participants
121 programa avaluat i proposar millores. És aquí on descriu l’avaluació participativa com aquella on s’implica als participants locals a identificar problemes, col·laborar en el disseny del procés avaluatiu, a recollir les dades i a analitzar-les. Segons Weeks- Vaglianai (1993), cal formació per a millorar la capacitat dels participants a involucrar-se en el procés avaluatiu, per aconinvolucrar-seguir adreçar actituds prèvies, coneixements i habilitats i el context organitzatiu, en relació a l’avaluació. Els mètodes de recollida de dades que es proposen són la revisió de documents, l’observació participada, pluges d’idees,... Una avaluació on els participants en el procés avaluat hi juguen un paper destacat, serveix per valorar-ne l’obtenció dels objectius/ resultats desitjats, identificar els punts febles i proposar millores, guiar la planificació i la presa de decisions i reforçar l’efectivitat del programa avaluat, entre d’altres. Finalment, esmenta la necessitat d’introduir l’avaluació participada a nivell de les institucions.
Aquesta diferenciació entre avaluació convencional i participativa també la trobem en autors com Robottom (1985), el qual anticipa un canvi similar al proposat per McDuff pel que fa a l’avaluació en l’educació ambiental. En el seu cas, confronta una avaluació científica amb una avaluació crítica. O a nivell nacional, Sureda, Oliver i Castells (2004), que també diferencien una avaluació participativa on hi ha una experiència d’aprenentatge entre els qui hi participen activament, davant una avaluació dirigida per experts externs, basada en el control.
D4.1.3- Els models d’avaluació en EpS
Mayer (2000, 2006), en els seus treballs sobre els enfocaments en educació ambiental introdueix l’avaluació com una dimensió clau per a caracteritzar-los.
L’autora elabora una classificació dels paradigmes de l’Educació per la Sostenibilitat i en destaca les característiques de l’avaluació associada (taula 7):
- Per una banda, el paradigma positivista, on la realitat és objectiva i es pot descobrir la seva naturalesa a partir de la metodologia experimental. L’avaluació és una mesura i la problemàtica la trobem en identificar les principals variables i garantir la necessària validesa i objectivitat. L’avaluador juga un rol tècnic. Els objectius de l’avaluació són enunciats prèviament per experts o autoritats que necessiten l’avaluació. En el camp educatiu, es correspon amb una avaluació basada en la valoració de l’adquisició de competències. En contextos avaluatius en escoles, on es porten a terme estudis de processos educatius amb una gran mostra de població, l’avaluador, a més de mesurar, descriu: la realitat continua sent objectiva, però cal descriure-la per a tenir-la en compte. La garantia de validesa, ve donada pels mètode i els instruments utilitzats, així com pel propi avaluador.
122
- Per altra banda, el paradigma interpretatiu o relativista, basat en les il·lusions de la ciència i la tecnologia com a solucions a tot. La realitat objectiva no existeix, però és construïda subjectivament, com passa amb el coneixement. L’objectiu és explorar els punts de vista d’aquells que prenen part en l’acció educativa.
L’avaluador no té uns criteris per jutjar l’efectivitat d’una acció i només pot clarificar els diferents punts de vista i fer-los visibles a través de l’observació i el diàleg. En aquest paradigma, l’avaluador fa de negociador, és extern al projecte avaluat, es mou vers la resta de posicionaments a través de l’empatia, però no dóna opinions personals. Té l’objectiu de treure a la llum valors i conflictes i intentar resoldre’ls a través de la reflexió. La interacció amb els demès participants, permet construir una visió conjunta que pot mantenir les diferències de punts de vista, per finalment, arribar a un consens al voltant del tipus d’avaluació a realitzar i les mesures a prendre. La metodologia és qualitativa. L’avaluació actua com un judici, ja que no només es mesura i es descriu, sinó que també es prenen decisions. Per tant, l’avaluació no pot ser buida de valors i s’han d’acceptar els diferents punts de vista que comporten diferents valors i visions del món. Han de ser tots els que prenen part en el procés educatiu que es valora, els que formin part de l’avaluació.
- Un tercer paradigma seria el socio- crític, el qual intenta integrar les posicions dels dos anteriors amb una visió més complexa de la realitat on els significats i les representacions canvien segons circumstàncies socials i històriques. En aquest paradigma, el coneixement és socialment construït. La teoria està íntimament relacionada amb la pràctica. L’avaluació és un instrument de canvi que tracta sobre processos i resultats. L’avaluador no evita el rol de jutge, però el judici es basa en criteris compartits a través de la negociació amb tots els participants implicats en el desenvolupament del programa que s’avalua. Segons el context i el tipus de procés, els mètode utilitzats seran quantitatius o qualitatius. Es tracta d’una avaluació participativa que encoratja l’autoavualuació i els processos de formació. El rol de l’avaluador és el d’agent social per al canvi i els seus punts de vista i valors garanteixen la imparcialitat. L’estratègia que se segueix és posar l’atenció en emergències no previstes i l’objectiu és comprendre les accions per tal de poder-les canviar.
123
Taula 7- Tipologies i característiques dels paradigmes avaluatius de l’Educació ambiental (Elaboració pròpia a partir de Mayer ,2006)
En el seu treball, Mayer descriu la necessitat de la qualitat, la complexitat i l’ avaluació, tant en l’educació ambiental com en l’educació per a la sostenibilitat. Per què això sigui efectiu, cal un canvi de visió del món tecnològic cap a una visió que reconegui la complexitat de la realitat i del coneixement i que accepti la incertesa. Aquesta noció d’incertesa ha d’anar acompanyada de la de democràcia, en un context de reflexió crítica. Per tant, proposa una avaluació que sigui consistent amb la cultura de la complexitat. El fet de ser conscients de les limitacions del nostre coneixement, de la impredictibilitat i incertesa del futur, fa que l’avaluació cada cop sigui més acurada, tant orientada a la naturalesa complexa i dinàmica de l’educació, com de les qüestions ambientals. En definitiva, ha de ser un procés que assigni valor (no neutral) i que sigui un instrument de canvi sobre processos i resultats, amb el judici basat en criteris explícits i compartits a través de la negociació. Seria una avaluació participativa, ja que l’avaluador negocia amb els participants el procés avaluatiu, per tant actuaria com un agent social de transformació (Mayer, 2003)
Avaluació Mesura Judici de valors Criteris de qualitat
Avaluador Expert Extern, fomenta la
negociació Extern/ intern
Metodologia Quantitativa Qualitativa Quantitativa/
qualitativa
124
D4.2- El model d’avaluació: de la primera a la quarta generació d’avaluació.
En aquest apartat s’intentarà caracteritzar el model general d’avaluació que inspira la recerca realitzada en aquesta investigació.
D4.2.1- Com definim avaluació?
Shaw, Greene i Mark (2006), en el capítol introductori de “The SAGE Handbook of evaluation”, defineix l’avaluació com a:
“un tipus de recerca disciplinada que es realitza per a determinar el valors d’alguna entitat (ja sigui l’avaluand, un programa, una representació,...), per tal de millorar-lo (avaluació formativa) o per posar en valor el seu impacte (avaluació sumativa)”.
Els autors també inclouen la definició que fa Patton (1997), sobre l’avaluació de programes:
“és una col·lecció sistemàtica d’informació sobre activitats, característiques i resultats de programes, per a fer-ne judicis, millorar-ne l’efectivitat i/o informar de decisions sobre la programació futura”
Els autors caracteritzen l’avaluació com a democràtica, al servei d’informació de la comunitat on el programa avaluat hi té incidència. Hi reconeixen el pluralisme i que tothom hi estigui representat. En aquest punt hi coincideixen Clavijo et al. (2005), quan citen a O’Sullivan (2004), per informar que en una avaluació, com més involucrats estiguin els participants, més empoderats acabaran sent, ja que tindran una major comprensió de les conclusions i ho podran aplicar millor a la seva pràctica. El fet de reexaminar programes amb la participació activa dels que els desenvolupen, demostra la validesa i la importància de l’avaluació. En la mateixa línia, Huerta (2013), remet als articles de Zint i Montgomery (2010) i d’Allen, Kilvington i Horn (2002), per afirmar que l’avaluació ha de ser un procés inclusiu, que tingui en compte les persones que estan implicades d’alguna manera en el programa avaluat, per així assegurar la inclusió de tots els punts de vista. L’enfocament participatiu és una manera d’aprofitar l’avaluació com a eina d’aprenentatge, amb la incorporació d’informació que incideix sobre el programa d’acció, incidint amb l’adaptació dels objectius i dels mètodes utilitzats durant el desenvolupament de l’avaluació. I fins i tot Jorba, Martí i Parés (2007), que descriuen l’avaluació participativa, com aquella on els participants hi prenen part activament, a més de ser un espai d’aprenentatge i una forma d’involucrar-se en el procés. El seu
125 desenvolupament pot servir per a millorar les relacions entre la ciutadania i les administracions.
Shaw, Greene i Mark (2006) continuen caracteritzant l’avaluació com una pràctica social compromesa amb la gent que hi participa, dels seus programes, polítiques i pràctiques, tant a nivell social, com relacional, polític i ètic. La veuen com un judici per a valorar la qualitat d’un programa, una política o una pràctica. Es tracta d’un procés basat en les relacions que es produeixen entre els participants i l’avaluador, en contextos determinats, a través d’una negociació que es mou entre els límits del context, els interessos públics i la metodologia emprada. Precisament, les metodologies que es porten a terme venen influenciades per les característiques socio-polítiques i econòmiques del context on es porta a terme l’avaluació, de com són les interaccions que es produeixen entre participants i de les polítiques i valors que formen part d’un model avaluatiu determinat. Els autors diferencien entre el paradigma quantitatiu i el qualitatiu de l’avaluació (taula 8):
Paradigma quantitatiu Paradigma qualitatiu Models Centrats en els objectius Centrats en la interpretació del
món social
Representació En números i dimensions
ordenades En paraules, imatges o símbols
Valors
Punt de vista a llarg termini, amb els valors estudiats empíricament, sinó queden fora dels límits de la ciència i més
Taula 8- Diferències entre els paradigmes quantitatius i qualitatius de l’avaluació (adaptat de Shaw, Greene i Mark, 2006)
Finalment una darrera definició d’avaluació aportada per Jorba, Martí i Parés (2007):
“l’avaluació és un procés sistemàtic d’obtenció d’informació orientat a emetre judicis de valor respecte uns criteris establerts prèviament i definint una estratègia sistemàtica per obtenir i analitzar la informació”.
Especifiquen que cal una planificació sobre el què es vol mirar, a on i com fer-ho. Cal reflexionar sobre els objectius i determinar els criteris a utilitzar, la informació que es farà servir, quina serà la millor metodologia per a obtenir-la, qui farà el rol d’avaluador, així com es relacionarà amb el procés avaluatiu.
126
Pels autors, els resultats de l’avaluació s’ha de concretar a dos nivells:
- Per una banda, amb una discussió on es considerin els punts febles del procés i les seves causes, així com les fortaleses i com poden ajudar a reforçar les debilitats detectades.
- I per l’altra banda, a partir de la discussió, fer unes propostes de millora, ja sigui per aplicar durant el desenvolupament del procés avaluat o com a recomanació per a futures vegades, depenent del moment on es porti a terme l’avaluació.
Aquests resultats es poden recollir en un document de compromisos, on s’especifiquin criteris, metodologies, resultats i accions.
Es conclou que l’avaluació no pot ser una activitat puntual i que si es pretén convertir-la en un espai d’aprenentatge i millora, ha d’aparèixer al llarg del procés avaluat.
L’avaluació ha de ser prou flexible per a permetre el seu ús en diferents contextos.
Per altra banda, els autors descriuen quatre maneres d’aproximar-se a l’avaluació (fig.
4), inspirades en el treball de Guba i Lincoln (1989),:
- L’avaluació orientada als resultats, on l’objectiu és quantificar l’impacte dels resultats d’un procés, en relació a uns objectius establerts prèviament. S’utilitzen uns criteris quantitatius que reflecteixen l’objectivitat i la neutralitat dels resultats i que en permeten la replicabilitat en d’altres contextos. Amb aquest tipus d’avaluació, no s’identifiquen les causes que fan que els resultats desitjats s’obtinguin o no. En aquest cas cal un anàlisi dels processos per a poder-los millorar.
- Això s’aconsegueix en part amb l’avaluació com a gestió, on el focus avaluatiu es col·loca entre els objectius prefixats i el com s’ha arribat a assolir-los. No es descriuen resultats, s’identifiquen factors que han ajudat a assolir-los. Com en l’avaluació de resultats, l’avaluador no s’implica en el procés.
- Un pas endavant el tenim en l’avaluació com a judici, aportant una òptica normativa; en aquest cas es valoren el resultat i el procés, partint d’uns ideals polítics previs. L’avaluador actua com a jutge que emet judicis de valor sobre la qualitat del que s’avalua.
- Finalment, arribem a l’avaluació com a negociació i construcció conjunta de coneixement. Els objectius i criteris a avaluar venen definits pels participants en el procés, que en valoren l’èxit. Es tracta d’una avaluació col·lectiva i constructivista, on es té en compte la diversitat de punts de vista. L’avaluador actua com a mediador, confrontant valors i necessitats. Es tracta d’un tipus
127 d’avaluació difícil de portar a terme, amb les mateixes característiques, en d’altres contextos.
És a partir de l’aproximació a l’avaluació com a negociació, que es pren com a referència del model teòric d’avaluació d’aquesta recerca. Per això, en el següent apartat, es descriuran detalladament els preceptes d’aquest tipus d’avaluació, realitzada per Guba i Lincoln i batejada com a 4a generació d’avaluació.
Figura 4- Aproximacions a l’avaluació (adaptat de Jorba, Martí i Parés, 2007)
D4.2.2- La quarta generació d’avaluació: el nostre model
Guba i Lincoln (1989), en el seu model, incorporen el caràcter social, polític i orientat als valors de l’avaluació. Està organitzat en quatre generacions:
• Avaluació com a
128
- La primera generació: la mesura. Els tests escolars. S’ensenya el coneixement veritable i els infants han de demostrar que l’han après en tests de memòria i se’ls hi dóna una nota.
- La segona generació: la descripció. S’avalua el model escolar i es fa una diagnosi de si serveix per a complir els objectius proposats o no.
- La tercera generació: els criteris/ judicis. Avaluador com a jutge, amb funcions tècniques i descriptives. Calen uns estàndards per a poder jutjar.
Existeixen problemàtiques associades a aquestes generacions prèvies: la manipulació per part dels client de l’avaluació tant a nivell de resultats com de la manera com es porta a terme, no hi ha pluralitat en els valors ja que parlem d’una valuació amb una metodologia científica lliure de valors, existeix una dependència de les dades quantitatives, els resultats no són negociables, i no es troben influenciats pels valors.
En definitiva, el mètode científic limita les interpretacions de l’avaluador, que no té control sobre els resultats de l’avaluació un cop l’ha realitzat.
- La quarta generació: és responsiva perquè els/ les participants a l’avaluació en negocien els límits i els paràmetres, que en anteriors generacions, ja venen establerts a priori; també és constructivista ja que s’utilitza una metodologia alternativa al paradigma científic. Les demandes, preocupacions i qüestions dels/
de les participants són el focus organitzatiu de l’avaluació. Aquests han de tenir l’oportunitat de tenir accés als resultats de l’avaluació que els afecta, per a poder exercir un control sobre els seus interessos. Segons els autors, el propòsit de l’avaluació és refinar i millorar, a part de jutjar. Si els/ les participants a l’avaluació entren dins el procediment, es focalitzen les energies del grup a situacions on hi ha desacord. Els/ les participants a la quarta generació d’avaluació s’eduquen mútuament a participar en el procés, ja que es confronten diferents punts de vista sobre els resultats per tal de reconstruir pròpies interpretacions per acomodar-hi les diferències o contra arguments. L’investigador veu el món real des d’una diversitat de perspectives que són les que aporten els/ les participants a l’avaluació. Finalment, es basa en un procés hermenèutic/ dialèctic que requereix de construccions que s’enfronten a d’altres construccions, i que guien cap a successives millores de les construccions avaluades, reconsiderant posicions prèvies, fins arribar a un consens. L’únic però a la metodologia constructivista és que li costa donar resposta a la generalització, és molt concreta.
Cada nova generació d’avaluació inclou a les anteriors. En una avaluació es generen constructes significatius que donen sentit a la situació on es troben, per part tant de
129 l’avaluador com dels participants a l’avaluació. Són constructes lligats al context físic, psicològic, social i cultural que els envolta i que cada participant li dóna el seu sentit, a través del consens. D’aquesta manera, no parlem d’una avaluació plenament mediatitzada per l’avaluador i el client, sinó que en el producte de l’avaluació tothom si sent representat i és fa a través de la negociació. A la quarta Generació, les realitats no són objectivables, són construïdes per la gent, sempre sota la influència de factors socials i culturals. Al final, el que s’obté no són unes conclusions o recomanacions, sinó una agenda de negociació de qüestions no resoltes. L’objectiu és crear un judici consensuat entre els/ les participants que partien d’unes construccions emic (amb un significat pels/ per les participants), diferents i fins i tot conflictives.
Guba i Lincoln caracteritzen el seu model d’avaluació amb els següents principis:
- L’avaluació és participativa i educativa. Dóna poder tant pels seus aspectes procedimentals com pel fet de compartir informació.
- L’avaluació és un procés socio-polític. Els elements culturals i polítics s’incorporen al procés avaluatiu
- L’avaluació és un procés col·laboratiu on s’evolucionen les construccions consensuades.
- L’avaluació és un procés d’Ensenyament- Aprenentatge. Cada participant és educador i aprenent a l’hora quan comparteix les seves construccions amb els/ les altres.
- L’avaluació és un procés continu, recursiu i divergent. Les construccions que en surten resten obertes al canvi i al poder.
- L’avaluació és un procés emergent i impredictible. No se sap quines construccions s’avaluaran al principi, ni la nova informació que s’anirà abocant al procés.
- L’avaluació és un procés que crea realitat.
- L’avaluació i l’acció formen part del mateix procés, tot i que es trobin separats en el temps i l’espai.
Per altra banda l’avaluador té un rol tècnic, d’especialista en la mesura, tant de metodologies qualitatives més constructivistes, com de qualitatives. Però també té un rol de descriptor, no només relatant quins objectius s’assoleixen i quins no, sinó també descrivint el context i els factors descoberts. L’avaluador també juga un rol de jutge, com a mediador del procés de judici. Ajuda als/ a les participants a arribar a un consens en les construccions que conformen les conclusions i recomanacions
Però l’avaluador també adquireix nous rols a la quarta generació:
130
- Passa de ser controlador a col·laborador. Un rol polític que facilita la participació de tothom.
- Rol d’aprenent i d’ensenyant: aprendre quines són les construccions més competents i ensenyar-les als/ a les participants.
- Formador de la realitat, més que un descobridor. És un tècnic que facilita el procés, però que actua com a actiu participant que conforma el producte final.
- Passa d’observador passiu a rol d’agent de canvi: crea una realitat nova i més complexa, a través d’unes construccions amb implicacions directes cap a l’acció.
Finalment, el procés de la quarta generació d’avaluació inclou:
- Contactes amb qui organitza l’avaluació.
- Tria dels participants.
- Cada grup de participants amb qüestions que volen posar en joc.
- Creuar les dades entre grups de participants.
- Generar consens al voltant de les construccions.
- Preparar una agenda de negociació al voltant dels ítems on no s’ha arribat a un consens.
- Recollida de la informació generada a l’agenda de negociació.
- Crear un fòrum de representants dels/ de les participants per tal de donar una nova volta a les construccions on no s’ha arribat a un consens.
- Comunicar les troballes.
- Reiniciar l’avaluació per a resoldre les construccions on encara no s’ha arribat a un consens
- Reiniciar l’avaluació per a resoldre les construccions on encara no s’ha arribat a un consens