M ÉTODO DEL E STUDIO

La presente investigación se enmarca en la formación a docentes sobre evaluación auténtica que denominamos Proyecto GAPPISA (Mejías y Monereo, 2018), coincidiendo con el acrónimo que da nombre al instrumento principal, Guía para el Análisis de Pruebas desde la perspectiva PISA (Álvarez-Bernárdez y Monereo, 2016; Duran y Monereo, 2008; Monereo, Castelló et al., 2009; Monereo y Morcillo, 2011). Aunque en el marco teórico ya hemos descrito en profundidad esta formación sobre evaluación auténtica, a continuación, vamos a recordar los aspectos principales.

El objetivo de la formación fue dotar de estrategias y recursos a los docentes para que pudieran modificar y diseñar actividades evaluativas que cumplieran los criterios característicos de la autenticidad, fundamentales para la evaluación de competencias. La formación consistió en el diseño y validación de pruebas de evaluación competenciales, inclusivas y formativas, mediante el análisis del conocimiento teórico, el uso de instrumentos auto-formativos, la aplicación en actividades de evaluación reales y la mediación directa de un asesor especializado en evaluación. La actividad principal consistió en que los docentes eligieran una de las pruebas de evaluación que utilizasen más asiduamente, la modificaran para hacerla más auténtica, la aplicasen en una situación de evaluación real con su grupo de alumnos y reflexionaran sobre los resultados logrados.

Para llevar a cabo esta formación docente, el Proyecto GAPPISA se organizó en cuatro fases: un primer momento en el que los profesores participaron de forma presencial en unas jornadas de formación teórico-práctica sobre la evaluación auténtica y la transformación de pruebas evaluativas; una segunda fase en la que analizaron sus pruebas y las re-elaboraron en base a las características principales definidas en la teoría sobre evaluación auténtica; una tercera fase en la que los profesores aplicaron la prueba diseñada en una situación real; y una última fase donde se reflexionó sobre los cambios producidos a consecuencia de la aplicación y se presentaron los resultados y la evaluación de la formación. La duración del

151

curso fue anual de forma que las diferentes actividades formativas se distribuyeron a lo largo de los tres semestres escolares con el propósito de que se pudieran realizar las actividades progresivamente.

Durante este proceso, además de los materiales formativos diseñados y puestos a disposición de los participantes mediante una plataforma didáctica con actividades, recursos, ejemplos etc., los asesores pidieron evidencias sobre los productos realizados. De esta manera, los docentes debían enviar la prueba original de partida, la primera versión de la prueba autentificada y la prueba final, aplicada a su grupo de clase. A su vez, el asesor enviaba una retroalimentación individualizada de cada prueba elaborada para que los docentes pudieran mejorarla.

2.2.2. Participantes.

El Proyecto GAPPISA se llevó a cabo durante dos cursos escolares consecutivos en una red de escuelas privadas distribuidas por diferentes comunidades autónomas de España -Andalucía, País Vasco, Zaragoza, Navarra, Castilla y León y La Rioja-. Los participantes se inscribieron de forma voluntaria, con un mínimo de cinco personas por centro, que superamos con creces en muchos casos, así que partían todos de un claro interés por mejorar sus prácticas de evaluación. Contamos con una muestra final de 206 participantes, pertenecientes a 17 centros educativos, con las siguientes características: 60% mujeres y 40% hombres; estaban representadas todas las materias educativas, dominando las lenguas, matemáticas y ciencias sociales -aproximadamente un 70%-; los cursos escolares iban de infantil hasta educación secundaria obligatoria, con una mayor representación de esta última etapa -58,8%-; el 52% de los docentes tenía una experiencia profesional menor a 15 años y el 64% una experiencia mayor a 15 años.

2.2.3. Procedimiento.

Los momentos de recogida de datos coincidieron con las fases de implementación del proyecto de formación. En la primera fase, los docentes enviaban la versión original de la prueba de evaluación sobre la que querían trabajar. Cada profesor elegía la prueba que deseaba modificar en función de dos parámetros: que fuese muy relevante para alcanzar los objetivos de la asignatura y que no fuese

152

competencial. En la segunda fase, recogimos la primera versión de su prueba original. Esta prueba era la prueba original modificada después de analizarla con la Guía GAPPISA e introducir cambios recomendados en la teoría sobre evaluación auténtica trabajada con anterioridad; a este proceso le llamamos “proceso de autentificación de la prueba” y a esta segunda versión recogida prueba autentificada. En una tercera fase, después de la retroalimentación realizada por el asesor sobre la segunda versión, recopilamos las últimas versiones de la prueba que denominamos prueba fina, que a posteriori deberían aplicar en su grupo clase ese mismo año.

2.2.4. Instrumentos.

Seguidamente pasamos a describir los instrumentos de formación y evaluación utilizados: la Guía GAPPISA y la Rúbrica de evaluación de pruebas auténticas.

Como hemos comentado anteriormente, el instrumento principal es la Guía GAPPISA, la cuál parte de trabajos anteriores donde se desarrolló e implementó durante un asesoramiento a profesores con el objetivo de que reformularan sus pruebas y exámenes tradicionales (Monereo y Lemus, 2009; Monereo, Castelló et al., 2009).

Actualmente está compuesta por diez características que, desarrolladas en mayor o menor grado, determinan la autenticidad de la prueba de evaluación o actividad que diseñe el docente según su competencialidad, potencial formativo e inclusividad. En el capítulo de introducción se expone una tabla (ver Tabla 18) en la que describimos cuáles son las categorías principales, las preguntas que orientan la transformación y una breve descripción de estas. Además, en el Anexo 1 se encuentra la versión de la Guía GAPPISA en papel.

Sobre la rúbrica de evaluación de pruebas auténticas (disponible en el Anexo 2), esta se utilizó para la revisión de pruebas por parte del equipo de asesores con el fin de realizar una retroalimentación a los participantes. Está elaborada en base a las categorías que conforman el modelo de autentificación de pruebas evaluativas, agrupando el alcance de cada característica en cuatro niveles distintos de adquisición según los cambios realizados. De esta manera, con el instrumento

153

podemos determinar la puntuación de cada característica y del total de la prueba según el nivel de logro alcanzado. Además, incluye una puntuación punitiva en cada una de las dimensiones, la cual indica que el cambio no se está haciendo en la dirección correcta, es decir, que se está malinterpretando la característica e introduciendo cambios que, en lugar de resultar positivos, pueden ser irrelevantes, superficiales o perjudiciales.

2.2.5. Análisis de datos.

Para analizar las pruebas, empleamos la rúbrica de evaluación de pruebas auténticas en la comparación de las dos pruebas de las que disponíamos en cada momento -prueba original con prueba autentificada y prueba autentificada con prueba final-. De esta manera, examinamos los cambios introducidos y si estos tendían o no hacia una mejora en tanto que cumplían los criterios de la rúbrica. Este análisis se realizó a dos niveles, un primer nivel, en el que se examinaban las dimensiones de forma independiente y, un segundo nivel, en el que se relacionaban las dimensiones entre sí para considerar la prueba en su totalidad. La propia rúbrica nos permitió cuantificar los cambios.

En la Tabla 22 mostramos una relación de las variables analizadas y los indicadores utilizados.

Tabla 22

Relación entre las dimensiones, las categorías y los indicadores de análisis del estudio

Dimensión Variable Indicadores

Categoría GAPPISA

Competencialidad

Puntuación obtenida en (0-1 punto por apartado):

1. Característica situación inicial auténtica

2. Característica actividades auténticas 3. Característica complejidad cognitiva y

emocional

4. Característica condiciones de resolución de la prueba

Inclusividad

Puntuación obtenida en (0-1 punto por apartado):

5. Característica formato heterogéneo de las preguntas.

6. Característica formato heterogéneo de las respuestas.

154

8. Característica evaluación del proceso.

9. Característica criterios de corrección compartidos. representados agrupados en: Educación Infantil, Educación Primaria y Educación Secundaria Obligatoria.

Asignatura Matemáticas, Lengua, Lengua extranjera, Ciencias Naturales, Ciencias Sociales.

Años de experiencia docente

Agrupado en dos rangos: rango de menos de 15 años de experiencia docente y rango de más de 15 años de experiencia docente.

Variables

formativas Retroalimentaciones

Agrupado en número de

retroalimentaciones recibidas por los formadores (de 1 a 3)

Obtuvimos puntuaciones en cada una de las versiones de las pruebas y con respecto a las tres variables de la Guía GAPPISA valoradas: nivel de competencialidad, nivel de potencial formativo y nivel de inclusividad. Los datos fueron tratados con el programa SPSS, versión 19, aplicando concretamente las pruebas de Correlacion de Pearson, Anova y prueba de muestras independientes -Prueba de Leven y -Prueba T-. De esta forma, comparamos las puntuaciones inter-pruebas y en relación con las variables docentes para establecer la significatividad estadística de los cambios.