Introducció
Aquest apartat del marc teòric corresponent al model d’avaluació, s’organitza en quatre àmbits: l’avaluació en Educació per a la Sostenibilitat, el model d’avaluació centrat en la quarta generació d’avaluació de Guba i Lincoln, la manera com s’entén el llenguatge avaluatiu en aquesta investigació a través de la Teoria de la Valoració, i finalment es fa referència a una recerca on també s’utilitza aquesta teoria per avaluar el llenguatge, en el context de l’Educació per a la Sostenibilitat.
Primer de tot es descriurà el model d’avaluació en EpS. Es respondrà a la pregunta de perquè avaluar en aquest àmbit a partir dels raonaments de Thomas (1990) i de Mulà i Tilbury, en aquest cas, més en l’àmbit institucional. Tot seguit es farà un petit repàs a com a evolucionat aquest camp a l’educació ambiental en les darreres dècades. Es continuarà caracteritzant les tipologies d’avaluació, comparant la convencional amb la participativa (Tilbury, 1998; Mc Duff, 2002). Finalment, es descriuran els models d’avaluació en EpS: positivista, interpretatiu i socio- crític (Mayer, 2006).
El següent punt que es tractarà, serà el model d’avaluació general. Es definirà que entenem per avaluació de programes, descrivint les seves característiques i comparant les metodologies quantitatives de les qualitatives (Patton, 1997; Shaw, Greene i Mark, 2006). Ja per acabar amb aquest subapartat, es farà referència al treball de Jorba, Martí i Parés (2007) i a les seves quatre aproximacions a l’avaluació, inspirades en el treball de Guba i Lincoln (1989). Això ens portarà a definir la quarta generació d’avaluació d’aquests autors, amb una descripció de les tres generacions prèvies i una caracterització en profunditat de la quarta (principis, rols de l’avaluador, procés).
El tercer subapartat explicarà com s’entén el llenguatge avaluatiu a través de la Teoria de la Valoració (White, 1998, 2000; Kaplan, 2004). Es fonamentarà la teoria amb la Lingüística Sistèmica Funcional de Halliday (1994), explicant les diferents metafuncions del llenguatge i les dimensions dialògiques de la interacció (Bakhtin, 1981). Finalment es descriuran els dominis semàntics de la valoració des de la Teoria de la Valoració:
Actitud, Compromís i Gradació, així com de les seves corresponents categories i subcategories.
Per últim, es farà referència a un ús de la Teoria de la Valoració en l’àmbit de l’EpS, més en concret en l’avaluació d’una Xarxa d’EDS a nivell europeu (Sabio, 2015)
117 D4.1- L’Avaluació en Educació per a la Sostenibilitat (EpS)
La pregunta inicial seria: Perquè cal avaluar en EpS? Thomas (1990) incideix en les raons per a realitzar una avaluació: que sigui una guia per a successius estadis del programa avaluat, per a valorar-ne l’efectivitat, per a determinar què es fa bé i què malament, per seguir les directius dels administradors, per a la promoció del programa,...
Es cita a Bennet (1974), per relacionar la necessitat d’avaluar programes d’educació ambiental en relació a l’escola, com una forma de contribuir als seus objectius educatius.
En aquest cas, Thomas proposa l’avaluació d’estudi de casos com a manera de saber el com i el perquè. El què, el qui i l’on, es deixen per a mesures més quantitatives.
A nivell d’organismes públics, la UNESCO, a través d’un dels documents de revisió del desenvolupament del Decenni de l’Educació per al desenvolupament Sostenible (DESD), enumera una sèrie de mecanismes per a fomentar l’Educació per al Desenvolupament Sostenible a nivell nacional. Un d’aquests mecanismes és una avaluació on hi participi tothom implicat, i que generi consciència i sentit de pertinença, on es fomenti la participació. Es recomana crear processos de seguiment i avaluació que valorin la qualitat dels processos d’aprenentatge i les experiències en relació a l’Educació pel Desenvolupament Sostenible, i no exclusivament els seus productes (Mulà i Tilbury, 2011).
Per altra banda, Jensen (2005) en una conferència al voltant de l’Educació pel Desenvolupament Sostenible (EDS), alerta de la importància de l’avaluació per a millorar la qualitat i que els valors siguin ben visibles en l’EDS, per tal de desenvolupar les competències de l’acció i l’empoderament.
Finalment, Soler (2008), cita a Thomson i Hoffman (2002) quan descriu la necessitat de formar educadors/-es ambientals en les tècniques de l’avaluació, ja que serà la manera de millorar la qualitat dels programes d’educació ambiental.
D4.1.1- Una mica d’història
Ja als anys 90 del segle passat sorgeix la necessitat de canviar la manera d’avaluar els programes d’educació ambiental. En un document corresponent als Seminarios permanentes de Educación Ambiental organitzats pel Ministerio de Medio Ambiente d’Espanya (1996), ja es parla de que l’avaluació no només té la finalitat de conèixer si un programa té èxit o no, sinó que cal una diagnosi del procés, per tal de modificar i adaptar el programa, ja que existeixen pertorbacions o aspectes que no s’hi contava a priori i que provoquen canvis en els programes educatius. Una bona avaluació ha
118
d’ajudar a que aquests canvis inesperats enriqueixin el procés. En aquest document s’explicita que l’avaluació ha d’aconseguir adaptar el programa a les necessitats de l’alumnat, valorar la consecució dels objectius i l’eficiència de mètodes de treball, recursos i temporització i potenciar els aspectes positius tot modificant els que siguin millorables, entre d’altres. Un altre aspecte que es remarca és la necessitat d’implicar a tots/-es els/ les participants, ja siguin els destinataris dels programes d’educació ambiental, com dels que els elaboren i executen, fins i tot de les institucions que hi estan implicades. En aquest cas, si que es comenta que el nombre de participants no ha de ser un criteri de qualitat i que la transformació social i ambiental que provoca el programa educatiu seria el que caldria analitzar, sense anar més enllà. S’enumeren una sèrie de criteris de finalitats i d’aspectes només ambientals. També hi ha criteris per avaluar l’avaluació d’aquest programes educatius (a qui implica, què s’avalua –canvis en participants i en el medi- , el tipus d’avaluació i amb quines tècniques es desenvolupa, que se’n fa dels resultats generats,...). Quan anomenen com ha de ser la metodologia a utilitzar en aquests programes d’educació ambiental, es comenta que cal partir dels interessos dels individus a qui es dirigeix l’acció, en relació a problemàtiques que afectin a la comunitat, que l’alumnat s’impliqui en la presa de decisions de les problemàtiques ambientals a treballar, potenciant el treball en equip, treballant la resolució de conflictes com a metodologia per a fer evolucionar coneixements i actituds,... L’avaluació d’aquests programes d’educació ambiental, encara acaba basant-se en l’adquisició de coneixements i el pas endavant el fan en relació als resultats obtinguts en relació a la modificació de comportaments i hàbits i en la incorporació de nous valors. Tot i així, estableixen que l’avaluació ha d’incloure tots/-es els/ les participants (ser democràtica) i respectar-ne les opinions i vivències en relació a l’acció avaluada, així com permetre l’accés d’aquests/-es participants als resultats de l’avaluació (sigui negociada).
Aquesta manera de fer avaluació també la trobem en treballs coetanis a l’anterior, que l’estructuren de la següent manera: una planificació d’un programa d’educació ambiental, una avaluació inicial i una de final, de l’aprenentatge, una avaluació del programa on es reflexiona de forma global en relació al procés educatiu i una avaluació final dels efectes ambientals provocats per l’acció del programa educatiu (Benayas, 1996). El mateix autor explicita com entenia la UNESCO l’avaluació en aquella època, com a un procés on l’eficàcia i l’eficiència en són els principals baluards: aconseguir canvis en el coneixement i en el comportament de l’alumnat amb l’ús de mitjans el més eficients possibles, en relació a cost i temps necessari d’aplicació. Per sort, la recerca en aquest camp ha evolucionat molt, i fins i tot rígides institucions internacionals canvien
119 la seva manera d’enfocar l’avaluació, tal i com s’ha demostrat recentment en el desenvolupament de la DESD (UNESCO, 2009, 2015).
A nivell del tipus de recerca que es fa al voltant de les activitats d’aprenentatge fora de l’aula (Rickinson et al., 2004), descriuen estudis de principi de la dècada dels 90 del segle passat, on hi ha un predomini de les metodologies quantitatives, on s’avalua l’impacte del programa educatiu, mitjançant tests abans i després de la intervenció. Més endavant, es veu com existeixen debilitats en aquest tipus de recerca, ja que cal una major comprensió d’aspectes de les activitats fora de l’aula, que depenen més d’una metodologia qualitativa. Tot i així, la recerca és mixta, utilitzant-se els dos tipus de metodologies. Ja a principis del segle XXI, van apareixent cada cop més els estudis qualitatius, sense deixar de banda els mixtes, al voltant de les expectatives dels estudiants o les variacions en els resultats d’aprenentatge, entre d’altres. Emergeixen investigacions que són més crítiques al voltant de qüestions conceptuals i teòriques a les activitats fora de l’aula.
D4.1.2- Tipus d’avaluació en EpS
En el document dels Seminarios permanentes abans esmentat, es descriuen dos grans models d’avaluació de programes d’educació ambiental: els experimentals i els qualitatius. Els primers serveixen per mesurar l’eficiència del programa educatiu, si s’han acomplert els objectius, és a dir una avaluació sumativa que avalua els resultats. Són avaluacions realitzades per personal extern al fenomen i que els resultats no són compartits amb els principals actors; és una funció de control i d’inclusió de millores en el programa en un futur. En contraposició, els models qualitatius analitzen el funcionament del programa per tal de detectar punts forts i aspectes a millorar i fer propostes per corregir possibles disfuncions; es tracta d’una avaluació formativa, tot i que també és sumativa. La metodologia avaluativa utilitzada en aquests programes sol ser la observació de les activitats, entrevistes amb guió preestablert als principals actors del fenomen educatiu que s’avalua, l’anàlisi de documentació associada a l’activitat i l’anàlisi de tasques per tal de conèixer les intencions educatives de la pràctica portada a terme.
Altres autores, com Tilbury (1998) ja es preguntaven perquè avaluar en educació ambiental i de no només centrar-se en l’èxit dels programes educatius, sinó en millorar-ne la qualitat i l’eficàcia i reorientar-los estratègicament, com una mamillorar-nera de donar-los visibilitat per atreure inversions en aquest camp. Aquesta autora també ens defineix les tipologies d’avaluació: les que identifiquen necessitats al principi del procés; d’altres que s’apliquen al final per avaluar els objectius que s’aconsegueixen. Poden ser avaluacions
120
internes, formatives, realitzades al mig del procés educatiu i que afavoreixen l’autoaprenentatge dels que les porten a terme. En canvi les avaluacions que només valoren si els recursos s’han destinat correctament i s’han assolit els propòsits planificats, solen ser realitzades per agents externs al final del procés educatiu. També hi ha l’avaluació participativa que permet que els/ les participants avancin en el procés de construcció d’accions d’Ensenyament- Aprenentatge més efectives i adaptades a determinats contextos.
Altrament, McDuff (2002) parla de l’ús de l’avaluació participativa com a eina per avaluar programes d’educació ambiental. L’autor confronta el que seria una avaluació convencional respecte una de participativa (fig. 3).
Figura 3- Diferències entre avaluació convencional i participativa (adaptat de McDuff, 2002)
En les primeres, són els experts els que les porten a terme, considerant als participants locals només com a fonts de dades. Solen ser avaluacions amb una alta pressió de les administracions que les paguen i no responen a les necessitats reals dels participants.
Aquestes avaluacions mostren tenir una inexistent difusió de resultats, tal i com expliciten Cousins i Earl (1992), a l’article de McDuff on també cita Jacobson (1987), quan descriu l’avaluació com a procés continu, amb l’objectiu de mesurar l’impacte del