Parte 2: Evaluación de la educación en derechos humanos – un proceso por etapas
4.9 Definición del propósito: ¿Por qué se evalúan la transferencia y el impacto?
El principal propósito de las evaluaciones de la transferencia y el impacto es valorar los
resultados de la sesión o del programa de capacitación a mediano y largo plazo. Esta evaluación abarca lo siguiente:
• Recopilar datos relativos a los cambios en el comportamiento de los alumnos, a mediano y largo plazo;
• Valorar si con la sesión de capacitación se ha abordado el problema o la carencia que se identificó en la evaluación de las necesidades de formación;
• Determinar cómo se ha transferido el aprendizaje a grupos, organizaciones y comunidades;
• Establecer cuáles han sido las lecciones aprendidas y formular recomendaciones encaminadas a nutrir futuros proyectos;
• Realizar el seguimiento del progreso hacia el logro de los resultados a largo plazo;
• Establecer qué factores contribuyen a un cambio social más generalizado;
• Rendir cuentas a las partes interesadas y a los donantes.
Las evaluaciones de la transferencia y el impacto se realizan a intervalos predeterminados una vez finalizada la formación en derechos humanos, por lo general transcurridos 3 ó 6 meses y, de nuevo, a los 12 ó 24 meses. La evaluación de los resultados a largo plazo se puede llevar a cabo una sola vez, tras la formación, o en distintas ocasiones, de acuerdo con el propósito de la evaluación, las preguntas que se planteen y los recursos disponibles. Este tipo de evaluación se centra tanto en el alumnado como en su entorno.
Se deben tener en cuenta las siguientes preguntas fundamentales:
• ¿Qué cambios se han producido?
• ¿Qué papel desempeñaron en estos cambios los alumnos que asistieron a la formación?
• ¿Cómo incidió la formación en la capacidad de los alumnos para impulsar el cambio?
Las evaluaciones de la transferencia y el impacto amplían la visión de los educadores en derechos humanos en cuanto a los resultados de una sesión de capacitación. Estas evaluaciones proporcionan a los educadores en derechos humanos una nueva visión de los alumnos que va más allá de las primeras reacciones y del aprendizaje para captar cómo éstos ponen en práctica activamente los nuevos conocimientos de la formación en sus entornos laborales y sus comunidades.
Evaluar con un propósito claro es tan importante en la evaluación de la transferencia y el impacto como en cualquier otra índole de evaluación. Hay una infinidad de preguntas que se pueden investigar. No obstante, tenemos que ser selectivos en las preguntas que formulamos y centrarnos en el propósito previsto pues, de lo contrario, se produciría una cantidad de datos imposible de gestionar.
Propósito Preguntas Respuestas Análisis Acción
Parte 2
4.10 Formular preguntas para obtener respuestas:
Recolección de datos para evaluar la transferencia y el impacto
A fin de evaluar los cambios a través del tiempo, debemos referirnos a los datos recopilados a través del tiempo. Si nos aseguramos de la coherencia de las preguntas que formulamos a lo largo del proceso de evaluación, – desde la evaluación de las necesidades de formación hasta la evaluación sumativa y las evaluaciones de la transferencia y el impacto – podemos seguir los cambios y determinar si hay evidencia del progreso hacia los resultados positivos. De este modo, las preguntas relevantes que debemos formular al evaluar la transferencia y el impacto suelen ser variantes de algunas de las preguntas que ya hemos formulado en las distintas etapas del proceso de evaluación.
El nivel 3 (transferencia) y el nivel 4 (impacto) del modelo de Kirkpatrick esclarecen qué tipo de cambios buscamos evaluar al analizar la transferencia y el impacto.
La transferencia se refiere al grado en que mejoran el comportamiento y la capacidad del alumnado, así como a la implementación o aplicación del aprendizaje en el contexto laboral, por ejemplo, ¿Han podido los alumnos aplicar lo aprendido en su trabajo? En caso afirmativo, ¿cómo? En caso negativo, ¿por qué no?
El impacto se refiere a los efectos del aprendizaje en el entorno más general, por ejemplo, ¿Ha contribuido el alumno, como resultado de la capacitación, a cambios en su comunidad o sociedad?
Los educadores en derechos humanos pueden recopilar información sobre los resultados a mediano y largo plazo de una sesión de capacitación llevando a cabo los siguiente:
• La evaluación de la transferencia (4.10.1)
• La evaluación del impacto (4.10.2)
Tras explorar ambas clases de evaluación, en las secciones 4.10.3 y 4.10.4 se tratan las distintas fuentes de información y las herramientas para realizar esta labor.
4.10.1 La evaluación de la transferencia
Evaluar los cambios en el comportamiento y la transferencia del aprendizaje es un aspecto fundamental de la evaluación de la transferencia, pues es en esta etapa que podemos medir lo que hicieron los alumnos con sus nuevos conocimientos una vez de vuelta en su grupo, organización o comunidad. La información sobre la transferencia se recopila durante un periodo de tiempo predeterminado después de la formación, usualmente pasados algunos meses. La evaluación a nivel de la transferencia se centra en el alumno y en su entorno. Por lo general, la evaluación de la transferencia abarca los siguientes aspectos:
• La aplicación del aprendizaje en el entorno sociolaboral y socio comunitario del alumno;
• Los cambios que percibe el alumno como resultado de su capacitación en derechos humanos;
• La transferencia de conocimientos, aptitudes y actitudes a otras personas;
• La utilidad y la pertinencia de la formación.
Por lo general, la evaluación de la transferencia es la que revela la primera evidencia tangible del cambio. Cuando los participantes de una sesión de capacitación en derechos humanos incorporan, meses después, los conocimientos adquiridos en su trabajo y sus vidas, esto
constituye el primer paso concreto y bien encaminado hacia el logro de los objetivos de la EDH;
como educadores en derechos humanos, este aspecto evidencia nuestro aporte al fortalecimiento de la capacidad de los alumnos para contribuir al cambio social.
Propósito Preguntas Respuestas Análisis Acción
Parte 2
El seguimiento del alumnado es siempre una experiencia de aprendizaje para los diseñadores de formación en derechos humanos, dada la infinita variedad de maneras en que se transfiere el aprendizaje. A veces la evidencia de la transferencia es exactamente la prevista, por ejemplo, cuando un alumno aplica los conocimientos acerca del enfoque participativo y rediseña su sesión de formación sobre los derechos de los refugiados incorporando este enfoque. Sin embargo, la evidencia de la transferencia a veces puede ser inesperada, por ejemplo, cuando un participante en la sesión de capacitación en derechos humanos no muestra ejemplos de formación en que se incorpore el enfoque participativo, sino más bien comienza a involucrar a otros participantes en el desarrollo de una base de datos de buenas prácticas en materia de los derechos de los refugiados. Es posible que esta persona no haya aplicado el enfoque participativo como era de esperarse pero demuestra haber comprendido el enfoque a través de sus acciones, pues valora las distintas experiencias de otras personas y propicia el intercambio de conocimientos. Cabe citar aquí otros ejemplos que ilustran cómo los alumnos transfieren el aprendizaje de la sesión de capacitación en derechos humanos, a saber:
• Facilitar talleres para que otras personas empleen el material didáctico y el enfoque de la formación en la que participaron;
• Adaptar a su entorno el material didáctico que se les proporcionó;
• Diseñar sesiones de capacitación similares, sobre la base del conocimiento y las aptitudes adquiridas como resultado de la formación;
• Incorporar el aprendizaje de la formación en otros aspectos del trabajo de su organización.
4.10.2 La evaluación del impacto
La evaluación del impacto nos permite medir, a más largo plazo, los efectos en las
organizaciones, grupos y/o comunidades de los alumnos vinculados con su participación en la capacitación en derechos humanos. Las preguntas formuladas en relación con el impacto se suelen relacionar con los siguientes aspectos:
• Las conexiones que de modo razonable o plausible se pueden establecer entre el alumno y los cambios más generalizados en el trabajo de su grupo u organización;
• El aporte de la sesión de capacitación en derechos humanos a los cambios en el entorno social, mediante la labor de los alumnos, sus organizaciones y comunidades.
Como no es fácil evaluar el impacto de la EDH, hay quienes se muestran renuentes a reconocer la factibilidad de este tipo de evaluaciones y arguyen lo siguiente42:
• Lograr cambios sociales requiere mucho tiempo, por lo que es muy precipitado evaluar el impacto;
• El cambio social es tan complejo que es imposible saber qué actividades contribuyen a propiciar cambios a largo plazo.
Estos argumentos contrarios a la evaluación de los resultados plantean algunos de los desafíos de las evaluaciones de impacto. De hecho, es posible que siempre parezca “demasiado pronto” para recopilar los datos relativos al impacto. Al igual que la forma en que se propagan las ondas en el agua, las situaciones cambian constantemente y el impacto seguirá sintiéndose incluso mucho después de ocurrir un suceso. En lugar de disuadir a los educadores en derechos humanos de realizar la evaluación de impacto, el hecho de que las situaciones evolucionen constantemente pone de manifiesto la importancia de captar la situación de los alumnos en distintos momentos luego de concluir la formación en derechos humanos. Al ser realistas con respecto a los cambios
Parte 2
los educadores en derechos humanos podrán realizar el seguimiento del progreso hacia los resultados previstos. Esto ofrece a los educadores en derechos humanos la oportunidad de valorar el progreso hacia los resultados, los objetivos y las metas que se proponen lograr.
Asimismo, no deja de ser válido el argumento según el cual es imposible saber qué actividades contribuyen al cambio social; en cambio, sí es posible establecer conexiones plausibles,
analizando las vivencias personales y colectivas de los alumnos, y vinculando los ejemplos de cambios que aporta el alumnado con la capacitación en derechos humanos. Más adelante, en la sección 4.10.4, se ofrecen algunas herramientas eficaces para recopilar datos sobre el impacto.
4.10.3 Fuentes de información
La información relativa a la transferencia y el impacto se recaba de varias fuentes, todas ellas relacionadas con el alumno. Entre las fuentes más comunes para recopilar datos sobre la transferencia y el impacto, cabe citar las siguientes43:
• El alumnado: Los alumnos son la principal fuente de información sobre la transferencia y el impacto. También son útiles las perspectivas de los grupos, organizaciones, colegas, supervisores, empleadores y miembros de la comunidad, con quienes se relacione el alumno.
• Los productos o actividades del alumnado: La información que aportan los alumnos o las acciones que realizan tras finalizar la capacitación son una rica fuente de datos para evaluar la transferencia y el impacto. Por ejemplo, las experiencias, proyectos, debates, talleres, iniciativas de promoción,
materiales didácticos, publicaciones, boletines, o cambios en las prácticas y los procedimientos vinculados con el alumno pueden ilustrar el impacto paulatino de la sesión de capacitación en derechos humanos bajo evaluación.
• Los beneficiarios de las actividades de derechos humanos y EDH de los alumnos: La información que suministran las personas, los grupos y las comunidades que se beneficien de las actividades de los alumnos tras la capacitación aportan valiosos datos directos acerca de los resultados reales.
• La información de evaluación recopilada a través del tiempo: Los datos sobre el alumno, recopilados antes, durante y después de la capacitación, pueden indicar cómo ha evolucionado el alumno y cómo sus acciones pueden haber contribuido a cambios en su comunidad/sociedad.
El acceso a la mayoría de estas fuentes de información estriba en mantener una constante
relación con los alumnos y en el interés que éstos tengan de aportar información. Aunque no hay garantías de que los alumnos puedan aportar datos para la evaluación, meses o años después de la formación, siempre se pueden tomar pasos para obtener su apoyo:
• Educar acerca del proceso de evaluación, a fin de que los alumnos conozcan los métodos y sepan cuán importante es la evaluación de la transferencia y del impacto, así como otros tipos de evaluación, para fortalecer la credibilidad de la labor de EDH.
• Construir una cultura de evaluación. Desde el comienzo de la capacitación, fomente la participación del alumnado en la evaluación y anímelos a compartir sus comentarios al respecto. Cuando se propicia una cultura favorable a la evaluación, los alumnos sabrán valorar su papel y su responsabilidad de proporcionar información.
• Mantener el contacto con los alumnos y sus organizaciones. Asegúrese de tener las direcciones y los datos de contacto correctos.
43 Adaptado de Taylor-Powell y Steele, “Collecting evaluation data: an overview of sources and methods”.
Parte 2
• Crear razones válidas para mantenerse en contacto. Los alumnos se mantendrán en contacto si esto les ayudará a mejorar su trabajo en el ámbito de los derechos humanos. Por ejemplo, se puede elaborar una lista con las direcciones de correo electrónico de los alumnos para intercambiar experiencias y mejores prácticas;
no obstante, es fundamental que ustedes u otras personas de su organización participen activamente en el grupo de discusión. Usted también debe seguir compartiendo sus conocimientos, información, documentación, manuales y cualquier otra herramienta útil para el trabajo de los alumnos.
Una vez determinadas las fuentes de información más apropiadas, es hora de escoger las herramientas más indicadas para recabar la información. La sección siguiente trata de una serie de herramientas y métodos útiles para recopilar datos sobre los resultados a largo plazo de las sesiones de capacitación en derechos humanos.
4.10.4 Herramientas para recabar información
Recopilar la información pertinente para evaluar la transferencia y el impacto requiere una amplia gama de herramientas, sobre todo las que más se prestan para extraer datos cualitativos.
Para asegurar la participación de los alumnos en el proceso de evaluación a largo plazo, es importante educarles acerca de los métodos de evaluación y comunicarles la importancia del seguimiento de los resultados con el tiempo.
Los estudios sobre evaluación confirman que, aunque los métodos cualitativos requieran una mayor inversión de tiempo, personal y fondos, precisamente son éstos los que proporcionan la información pertinente para evaluar la transferencia y el impacto. Los instrumentos cualitativos nos permiten recabar los puntos de vista subjetivos de las partes interesadas acerca de los resultados a largo plazo de la formación. No cabe duda que un combinado apropiado de instrumentos cuantitativos y cualitativos continúa siendo un enfoque adecuado para evaluar la transferencia y el impacto.
La información sobre la transferencia y los cambios en el comportamiento se debe recopilar idealmente utilizando varios métodos cualitativos en distintos intervalos de tiempo. Entre los métodos de recopilación de datos a nivel de la transferencia para una sesión de capacitación que se celebre anualmente, cabe citar los siguientes:
• Cuestionarios de seguimiento, en intervalos adecuados (por ejemplo, tres o seis meses tras finalizar la formación y, de nuevo, entre los 18 y 24 meses) con preguntas abiertas, que se respondan por escrito;
• Entrevistar individualmente a los alumnos que hayan participado en la capacitación, así como a sus colegas, supervisores o empleadores;
• Reunirse con grupos de alumnos;
• Analizar los productos que elaboren los alumnos, como por ejemplo los materiales didácticos y las actividades;
• Observar las actividades de los alumnos (por ejemplo, una sesión de capacitación que imparta un alumno luego de asistir a una formación de formadores).
Asimismo, cuando se incluyen en estos métodos las preguntas apropiadas sobre los resultados a largo plazo, se pueden extraer también datos a nivel del impacto.
Parte 2
Entre los instrumentos cualitativos para la evaluación del impacto cabe citar los siguientes:
• La recopilación de relatos de impacto es un modo eficaz de generar ejemplos que ilustren las experiencias de los alumnos tras la capacitación. Si pedimos a los alumnos que nos proporcionen relatos de impacto, podemos elaborar narrativas breves para ilustrar cómo se aplicaron los conocimientos de la capacitación y cómo se lograron los resultados. Estos ejemplos nos servirán para establecer las conexiones plausibles con la sesión de capacitación en derechos humanos.
El principal obstáculo para recoger relatos de impacto es a veces la definición misma de “impacto”, ya que muchos alumnos se muestran reticentes a la hora de compartir experiencias que no consideren ideales. Al establecer el significado de la palabra “impacto” e indicar las pautas para que los alumnos redacten sus relatos de impacto, podremos obtener la información que buscamos (véase la cuarta parte).
• Recopilar los productos que elaboran los alumnos (materiales, herramientas, planes de acción, lecciones aprendidas y buenas prácticas) y revisarlos para buscar evidencia de la transferencia y el impacto del aprendizaje es también un modo eficaz de establecer conexiones entre las sesiones de capacitación y los cambios más generalizados.
Evaluación de la transferencia
Cuadro 49
Evaluación del impacto
Los datos para la evaluación de la transferencia se pueden recopilar a través de:
• Cuestionarios • Entrevistas
• Productos elaborados por los alumnos • Observación directa
A través de la evaluación de la transferencia, podemos medir lo siguiente:
• La aplicación del aprendizaje en el entorno de trabajo y comunitario del alumno • La transferencia de conocimientos,
aptitudes, y actitudes a otras personas • Los cambios percibidos (por el alumno u
otras personas) en el entorno de trabajo, atribuibles a la capacitación
• Información sobre diferencias en los resultados entre hombres y mujeres
Los datos para la evaluación del impacto se pueden recopilar a través de:
• Cuestionarios • Entrevistas
• Revisión de documentos
• Casos exitosos/relatos de impacto • Lecciones aprendidas
• Buenas prácticas
A través de la evaluación del impacto, podemos medir lo siguiente:
• El aporte de la capacitación en derechos humanos a cambios más generalizados, a través del trabajo de los alumnos
• Las conexiones entre las acciones y las actitudes de los alumnos y los cambios más generalizados en el trabajo de una organización o grupo, o dentro de una comunidad
• Información sobre las diferencias en el impacto entre hombres y mujeres
Parte 2
En la cuarta parte del presente Manual figura una guía detallada de los instrumentos más comunes para evaluar la transferencia y el impacto de la EDH, además de muestras que fácilmente se pueden adaptar a diferentes contextos de formación. El cuadro 50 ilustra una combinación efectiva de herramientas para estos tipos de evaluación.
Herramientas de
evaluación/proceso Tipos de datos que se pueden recopilar Cuestionario de
seguimiento a los tres o seis meses
• Información sobre cómo aplicó el alumno los nuevos
conocimientos, las aptitudes y las actitudes en su entorno laboral y comunitario (datos relativos a la transferencia)
• Información acerca de los aspectos que dificultan o facilitan la aplicación de los conocimientos
Cuestionario de
seguimiento a los 12 o 24 meses
• Información sobre la evolución del alumno a través del tiempo
• Información sobre las contribuciones plausibles de la capacitación en derechos humanos a los cambios más amplios a nivel de los grupos, las comunidades, e incluso las sociedades (en el cuadro 24 figuran más ejemplos de los tipos de cambios previstos)
Foros de discusión en
Internet • Ejemplos de las experiencias del alumnado
• Información acerca de los problemas que hayan enfrentado los alumnos para aplicar los nuevos conocimientos y soluciones eficaces
• Información acerca de redes de colegas y actividades que desempeñan
Recopilación de relatos de impacto en materia de EDH
• Información sobre las experiencias que evidencien los resultados del trabajo del alumno en un contexto más amplio y la puesta en práctica del aprendizaje
• Información que permita establecer conexiones entre los cambios más generalizados y la formación en derechos humanos
Recopilación y revisión
de productos de EDH • Demostraciones de la aplicación del aprendizaje mediante una revisión de los productos, los materiales y los instrumentos que reflejen el aprendizaje de los alumnos dentro de un ámbito más general
• Lecciones aprendidas y buenas prácticas
• Información de utilidad para establecer vínculos con la capacitación en derechos humanos
Entrevistas exhaustivas con un grupo aleatorio representativo del alumnado
• Posibilitar que los evaluadores exploren a fondo temas de interés concretos y recaben información para establecer conexiones entre los cambios más generalizados y la capacitación en derechos humanos
Entrevistas de
seguimiento con las • Información que corrobore o amplíe los datos recopilados de los alumnos con relación al impacto
Cuadro 50
Conjunto de herramientas para la evaluación eficaz de la transferencia y
Conjunto de herramientas para la evaluación eficaz de la transferencia y