Modelos de evaluación pluralista

Los modelos que hemos visto hasta aquí son modelos clásicos y de transición, es decir, modelos que desde la evaluación clásica introducen elementos como son la aceptación de pluralidad de valores, integralidad de la evaluación y participación de los actores. Con esto, el proceso evaluador se va haciendo más flexible, más amplio en relación a los elementos del programa que evalúan y más amplio también desde el aspecto funcional, ampliando las funciones de la evaluación. No obstante, cada uno de ellos parte de la idea clásica de evaluación, aunque resaltan y desarrollan alguno de los aspectos a los que nos hemos referido. En cualquier caso, estos aspectos (pluralidad de valores, globalidad, flexibilidad y participación) no son llevados hasta sus últimas consecuencias.

Nosotros consideramos que lo que caracteriza las evaluaciones pluralistas es precisamente el hecho de llevar estos elementos hasta sus últimas consecuencias de manera que se modifica la naturaleza del proceso evaluador. Lo que distingue a cada uno de los modelos pluralista es el énfasis en cada uno de estos elementos.

a) Evaluación orientada a la utilización (Patton)

Patton centra el diseño de la evaluación en resolver el problema de la falta de utilización de los resultados de las evaluaciones¹.

Ballart (1992:158) describe la secuencia del modelo evaluativo orientado a la utilización como sigue:

1. Se identifican los usuarios potenciales de la evaluación o sus representantes si se trata de un grupo numeroso para constituir una comisión de trabajo con capacidad de decisión.

2. La comisión de trabajo, con la participación del evaluador, determina el objeto de la evaluación. Esto implica también decidir si la evaluación ha de responder a cuestiones de eficacia general, de implementación o de diseño y conceptualización de la intervención.

3. En función de los acuerdos adoptados sobre el contenido y alcance de la evaluación, se decide sobre el diseño de la evaluación, métodos e instrumentos a utilizar sin excluir ninguno de los posibles: métodos cuantitativos, cualitativos, experimentales, cuasiexperimentales, etc. El criterio de selección es la utilización de la evaluación.

4. Finalmente, una vez realizada la recogida y análisis de la información, la comisión de trabajo participa en la interpretación de los resultados y se ocupa de enjuiciar el programa.

Siempre con la intervención del evaluador, el proceso culmina con la elaboración de recomendaciones y control de su implementación por parte de la comisión de trabajo.

El proceso de evaluación es dinámico e interactivo de manera que a medida que se avanza se van reconsiderando las decisiones anteriores como se muestra en el gráfico 4 tomado de Patton, 1978.

1 La referencia fundamental es Patton, M.Q. (1978).

Gráfico 4. Evaluación orientada a la utilización.

Fuente: Ballart, 1992:160.

Con este diseño se pretende incrementar las posibilidades de que los resultados de la evaluación sean utilizados por los implicados en la acción evaluada por una doble vía.

Por un lado, garantizando que los grupos y personas implicados en la acción participen en el diseño de la evaluación; por otro, haciendo de la evaluación un proceso transparente respecto de las personas implicadas, reduciendo así los temores que ésta puede despertar.

Patton (1978) definió losdiez temores principales de los funcionarios frente a la evaluación Patton:

1. Temor a que le sea asignada mayor responsabilidad sin tener mayor control o mayores recursos.

2. Temor a ser culpado: temor a que la evaluación sea utilizada para castigar.

3. Temor a ser avergonzado: temor a que se resalten las debilidades y se hagan visibles los fracasos, temor a que los investigadores puedan hacer que el interesado parezca "estúpido"

por medio de medidas y diagramas complicados.

4. Temor a mayor competencia —cuando se hacen comparaciones— y a las consecuencias de perder en la competencia.

5. Temor a que la evaluación no sea justa —p. e. a que se apliquen criterios inapropiados, a que se formulen conclusiones o se hagan juicios fuera de contexto.

6. Temor a la inseguridad: el no estar seguro de qué será incluido, qué se descubrirá o cómo se utilizarán los resultados; temor a que no se midan las cosas importantes o que se hagan ver demasiado simples.

7. Temor a no ser escuchado: la credibilidad de la evaluación es debilitada por la manera en que se impone, ordena o exige, sin involucrar o consultar al personal; temor a la arrogancia del evaluador.

8. Temor derivado de malas experiencias anteriores con la evaluación: promesas incumplidas, abusos pasados, usos indebidos, informes no pertinentes, asuntos importantes no anotados, recomendaciones sacadas de la nada, etc.

9. Temor a que el riesgo sea demasiado alto: empleos, carrera profesional, supervivencia del programa, recursos, reputación.

10. Temor a lo político: escepticismo con respecto a que las consideraciones políticas se impongan sobre las demás, y con respecto al cinismo de los dirigentes que dicen que “esta vez la cosa será diferente”.

De entre los modelos inspirados en la evaluación orientada a la utilización de Patton destaca por la existencia de un número elevado de realizaciones la Evaluación Estratégica de la gestión de programas de la CEPAL que ha venido implementando un programa de evaluación de grandes proyectos sociales en diversos países de América Latina.

El modelo de CEPAL, aplicado a la gestión de programas¹, combina la preocupación por el impacto sobre los beneficiarios y por el uso eficiente de los recursos.

Al igual que Patton, el modelo de evaluación estratégica enfatiza el papel de la propia organización en la resolución del conjunto de problemas o conflictos que genera el programa, tanto dentro de él como en el entorno en el que se desarrolla, además de los directamente relacionados con el logro de objetivos.

El modelo orientado a la utilización incorpora la participación en todas las etapas del proceso evaluador; es evaluación global ya que no parcela el proceso evaluado y se orienta por las cuestiones globales planteadas al inicio del proceso por los grupos implicados; los criterios de valor no están preestablecidos, se establecen durante la evaluación. Finalmente es un modelo flexible e interactivo que permite la revisión de cualquier decisión y de los criterios que van siendo establecidos mediante la retroalimentación entre las diferentes etapas del proceso evaluador.

1 Los programas evaluados son: Proyecto de Restaurantes Escolares Comunitarios, Medellín;

Proyecto Jóvenes, Argentina; Programa DST/AIS, Brasil; Programa de Apoyo a la Microempresa, Chile; Programa de Inversión Social, Paraguay; y el Programa Nacional de Enfermedades Sexualmente Transmisibles (DST) y Síndrome de Inmunodeficiencia Adquirida (SIDA) de Brasil.

b) La participación de los sectores involucrados: evaluación participativa

La evaluación participativa es un modelo de evaluación de carácter pluralista que, frente al paradigma clásico centrado en el cumplimiento de objetivos, se ocupa de generar sinergias y enseñanzas a partir de la implicación de los actores en la evaluación¹.

En el marco de una evaluación participativa, los principales interesados participan directamente en el establecimiento de parámetros de medida de los resultados²:

- ¿Qué evaluar?

- ¿Quién participará en la evaluación?

- ¿Cuándo se realizarán las actividades previstas?

- ¿Qué métodos son los adecuados?

- ¿Cómo reagrupar las conclusiones y cómo se realizará la comunicación de los resultados?

De manera que los sujetos implicados contribuyen directamente al análisis de los progresos realizados, a la búsqueda de soluciones para afrontar los problemas detectados, a la evaluación propiamente dicha y a la comunicación de los resultados.

De manera que la planificación de la evaluación no es previa a la evaluación misma. Sí es necesario establecer unos puntos de partida:

- ¿Quiénes son los interesados?

- ¿Cómo los interesados pueden realizar su mejor aportación?

- ¿Cuáles son los costes suplementarios de la participación?

- ¿Pueden aparecer consecuencias o resultados imprevistos?

Es un modelo de evaluación sólo susceptible de aplicación a acciones de tipo participativo, de manera que los interesados participan en la concepción, la planificación y la ejecución de los programas, proyectos, actividades de seguimiento, esto permite crear las condiciones para que participen también en las actividades de evaluación³.

La evaluación participativa es realizada por los agentes implicados en el proyecto evaluado. Se trata de hacer que la evaluación forme parte del día a día en el trabajo de las organizaciones o estructuras que ejecutan los proyectos fomentando el aprendizaje por parte de los participantes a través del propio proceso evaluativo.

Por tanto, se trata de evaluaciones internas, no es posible la realización de evaluaciones participativas desde fuera del programa evaluado.

1 Osuna (2003) recoge en este artículo una caracterización general del modelo participativo. Para profundizar en los aspectos prácticos de la evaluación participativa ver PNUD (1997). Contiene además una breve descripción de la evolución del enfoque participativo, una comparación entre la evaluación participativa y los enfoques más tradicionales de evaluación, el tratamiento del papel de la participación y la descripción del marco de una evaluación participativa.

2 Sobre el papel de los interesados y las diferentes opciones a la hora de articular la participación en la evaluación existen numerosas publicaciones. Resultan clarificadoras y profundizan en esta cuestión: Feuerstein, 1988; Fowler, Liz y Rick, 1995; Uphoff, 1991.

3 Austin, (1993) realiza una interesante reflexión del papel de la evaluación participativa en proyectos de desarrollo. La evaluación participativa está siendo muy utilizada en proyectos destinados a comunidades rurales en países del tercer mundo. Los organismos internacionales de ayuda al desarrollo y las grandes ONGs lo incorporan al modelo de monitorización de programas atorgando así carácter participativo a este modelo evaluativo. Casley, y Lury. (1982) profundizan en las cuestiones metodológicas derivadas de la incorporación de la participación al modelo tradicional de monitorización. Para el caso específico de aplicación a comunidades rurales ver Rugh, 1986.

c) Finalidad de la evaluación ampliada: Evaluación de empoderamiento

Lo que caracteriza a este modelo es el énfasis en la finalidad del proceso evaluativo. La evaluación de empoderamiento es propuesta por Fetterman¹ y se sustenta sobre el concepto de empoderamiento elaborado por Rappaport que, desde la psicología comunitaria, le confiere el sentido de “dotar de poder”².

Julian Rappaport introduce este concepto en el contexto de lo que él define como conflicto entre modelos de intervención basados en los “derechos” y modelos basados en las “necesidades” de la gente. “La prevención es la extensión de un modelo de necesidades que ve a la gente con problemas como niños; la defensa/promoción es la extensión de un modelo de derechos que ve a la gente como ciudadanos” (Rappoport 1984). El autor considera que ambos modelos son unilaterales y propone como alternativa un modelo de empoderamiento para una política social que ve a la gente como seres humanos totales.

El empoderamiento así entendido posee una doble dimensión, una individual centrada en la adquisición de capacidades para dirigir un proyecto individual, un proyecto de vida (competencia personal); otra de carácter social que se refiere a la posibilidad de participación democrática (competencia comunitaria).

Desde esta perspectiva de la intervención, el eje central del proceso evaluador son las personas. El propósito de la evaluación de empoderamiento es proporcionar a los actores implicados en el proceso a evaluar herramientas para conocer su situación, sus logros y debilidades. Es un modelo evaluativo centrado en las posibilidades del proceso evaluador para ampliar las capacidades de conducir los procesos a través del aprendizaje conjunto y del conocimiento cooperativo. El instrumento básico de la evaluación es la participación de forma que, mediante ésta, los implicados en el proyecto o programa sean capaces de conducir el proceso a partir del aprendizaje. La idea es contribuir al autoconocimiento para desarrollar capacidades. La evaluación de empoderamiento es fundamentalmente autoevaluación.

Fetterman define evaluación de empoderamiento o empoderadora como el “uso de conceptos, técnicas y conclusiones de la evaluación para ayudar a los participantes en un programa a evaluarse a ellos mismos y a sus programas, con el objetivo de mejorar esos programas y promover la autodeterminación. Utiliza tanto técnicas cuantitativas como cualitativas. Es una actividad grupal, no individual, porque un evaluador no puede empoderar a otros, sino que la gente se empodera a sí misma, aunque necesite ayuda de otros o un entrenamiento” (Fetterman, 1998:1).

En la práctica, la evaluación de empoderamiento es muy utilizada en la actualidad para proyectos dirigidos a poblaciones especialmente desfavorecidas o grupos minoritarios (mujeres y minorías étnicas), así como para evaluar intervenciones de desarrollo endógeno o desarrollo local en zonas empobrecidas. La CEPAL trabaja desde esta perspectiva en la elaboración de manuales de evaluación y monografías metodológicas. La Agencia Española de Cooperación para el Desarrollo también promueve este modelo evaluativo.

Larrú Ramos, en “Empoderamiento y participación en la evaluación de acciones de cooperación al desarrollo: del discurso teórico a la práctica española” (2003), analiza cuál

1 Fetterman 1994, 1995 y 1998; Fetterman, Kaftarian y Wandersman 1996.

2 Los términos ingleses to empower y empowerment han dado lugar a los actuales neologismos. El Diccionario académico recoge el verbo empoderar(se), con marca de “desusado” e incluye también apoderamiento y apoderar con la acepción que nos interesa también con la misma marca. No obstante, el sustantivo empoderamiento se recoge en el Diccionario de uso del español actual CLAVE, con el siguiente significado: “adquisición de poder, emancipación o autonomía por parte de un grupo desfavorecido”.

es la situación actual de la práctica evaluativa desde los proyectos españoles de cooperación¹.

La evaluación de empoderamiento es participativa, es autoevaluación y se caracteriza porque el propósito es empoderar a los sujetos o grupos evaluados. Por tanto, es un tipo de evaluación centrada en las personas y aplicable a un modelo de intervención específico centrado en el enfoque de los derechos.

d) Evaluación democrática

La evaluación democrática está conformándose recientemente de manera pujante fundamentalmente desde América Latina en el contexto de las agencias internacionales de desarrollo, tanto UNICEF², como el Banco Interamericano de Desarrollo; las agencias de cooperación bilaterales y las grandes ONGs optan claramente por este modelo evaluativo.

El segundo campo de acción en el que existe ya una experiencia acumulada de este modelo evaluativo es la evaluación educativa en el que se atribuye a Barry Mac Donald³ el planteamiento original de la evaluación democrática. En este ámbito son numerosos los trabajos teóricos y aplicaciones evaluativas. La referencia fundamental es el libro de Helen Simons (1999) en el que encontramos una muy interesante reflexión teórica sobre la evaluación democrática. Se trata de un extenso estudio de la teoría y la práctica de la evaluación democrática en el que se analizan las posibilidades de establecimiento de este tipo de evaluaciones en el seno de instituciones escolares. Una de las aportaciones interesantes de este trabajo se refiere a lo que puede significar en el seno de una entidad determinada este modelo como freno eficaz a la privatización y centralización de la información, y como apoyo a la democratización de las instituciones docentes⁴.

Son evaluaciones democráticas aquellas en las que tanto los métodos aplicados como la información generada en el proceso evaluador son abiertos y posibles de ser discutidos y reelaborados.

Este modelo supone un cambio radical en la forma de entender el alcance y significado de la evaluación. La evaluación democrática es el resultado de la fusión de dos modelos evaluativos ya mencionados: la evaluación orientada a la utilización de Patton y la evaluación de empoderamiento.

Representa una nueva perspectiva que modifica la función de la actividad evaluadora desde una concepción de medición de cambio hacia la idea de la evaluación como motor de cambio. La evaluación como proceso, no como producto. Pone el énfasis en las implicaciones políticas y sociales de las evaluaciones, tanto en la forma de realizarlas como en los resultados obtenidos y en las consecuencias que de ellos se puedan derivar.

Dos grandes cuestiones son afrontadas por este tipo de evaluación. Por un lado, una cuestión relativa a las personas: quién debe realizar las evaluaciones, quién debe juzgar el valor de los programas y quién debe tener acceso a los recursos y a los resultados

1 El papel de la evaluación en acciones de desarrollo es analizado por Lewis, et al. 1988; Rowlands, 1995; Werner 1988, Diaz-Albertini, 1990.

2 La Oficina Regional para América Latina y el Caribe define un Marco Conceptual Regional para Monitoreo y Evaluación en el que se opta por la implementación de la evaluación democrática utilizando como modelo evaluativo de base la monitorización de programas.

3 MacDonald y Walker 1974.

4 En la última década la investigación sobre evaluación democrática en el campo de la educación se ha intensificado: Apple y Beane 1997; Arias, Flores y Porlán 2001; Gil Villa, 1995; Arnal et al.

1992; Soler 1999.

obtenidos. Por otro lado, la evaluación democrática se realiza desde un posicionamiento previo respecto de los derechos, las obligaciones y libertades de los actores involucrados en la acción.

“Si podemos aceptar el concepto de que la democracia es una visión del mundo, una manera de pensar, sentir y actuar para practicarla y vivirla, una perspectiva para comprender y mejorar las relaciones humanas y sociales, entonces la evaluación democrática es una nueva manera de abordar la función evaluativa, en la cual las metas son comprender, aprender, responder ante sí mismo, y mejorar nuestro propio desempeño, eficiencia y eficacia; y también es un proceso de empoderamiento, en el cual los interesados tienen pleno control de su evaluación, en el cual ellos son los evaluadores que planifican, efectúan, internalizan y hacen el seguimiento a los resultados de la evaluación, las lecciones aprendidas y las recomendaciones” (Segone, 1998:28).

La evaluación democrática es evaluación de empoderamiento: la evaluación es entendida como un proceso que incrementa la capacidad de los actores de comprender y realizar su propia autoevaluación para mejorar sus condiciones de vida.

Se trata de evaluar desde la perspectiva de los derechos. Se sustenta sobre el enfoque de derechos. Desde este enfoque aplicado al desarrollo, “la participación es un derecho básico y el empoderamiento una estrategia ganadora” (Segone, 1998:28). La evaluación democrática es el enfoque más efectivo para la evaluación de proyectos de desarrollo.

Para la implementación de un sistema de evaluación de estas características es requisito imprescindible la existencia de una cultura común de evaluación entre los participantes del proyecto. Es preciso construir un marco conceptual común, basado tanto en los intereses comunes como en las discrepancias que también son propiedad del grupo.

Es preciso también una comprensión común y un entorno institucional capaz de habilitar a los actores. No es un modelo de evaluación que se pueda sustentar sobre el mayor o menor conocimiento o habilidades técnicas del evaluador.

Es un enfoque centrado en la utilización de los resultados, pero llevado mucho más lejos que el modelo de evaluación de Patton. La utilización de resultados va orientada a empoderar a los participantes. “El objetivo es transformar la evaluación…en una herramienta administrativa democrática nueva que está a disposición de todos los miembros de la institución para que puedan comprender mejor el entorno institucional y aprender de la experiencia pasada, ser más responsables ante si mismos, y ser más eficientes” (Segone, 1998:6).

Otro de los elementos que sustentan la evaluación democrática es la supremacía del aprendizaje sobre la responsabilidad. El aprendizaje requiere un ambiente de confianza.

Es necesario que los actores se sientan capaces de informar sobre las deficiencias, incluso los propios errores, sin sentir temor, estos temores, a los que ya hemos hecho referencia a través de la caracterización de Patton.

En este sentido, una propuesta interesante para solventar la tensión existente entre responsabilidad y aprendizaje, se trata de separar dos aspectos inherentes a la responsabilidad: la “responsabilidad ante si mismo” y la “responsabilidad convencional”.

Se trata de trasladar el enfoque de “responsabilidad convencional” a la función de auditoria y el enfoque de “responsabilidad ante sí mismo” a la función de evaluación.

El punto de partida es la propuesta que Marco Segone atribuye a E. Kushner, desde el

El punto de partida es la propuesta que Marco Segone atribuye a E. Kushner, desde el