Evaluación de la ejecución

Se trata de evaluar la marcha del programa. Contempla fundamentalmente elementos relacionados con el funcionamiento interno pero también permite constatar, en función del tipo de programa, la consecución de objetivos parciales, posibles desviaciones en el impacto, cobertura, etc. El objetivo es, por tanto, detectar las posibles discrepancias de procedimiento entre lo proyectado y lo implementado para tomar decisiones correctoras. También para detectar debilidades o posibles desviaciones respecto de los objetivos previstos, en cuyo caso se pueden corregir incidiendo sobre los procesos o estrategias implicados en esas desviaciones.

En definitiva, el propósito de la evaluación de la ejecución es emitir juicios de valor sobre el funcionamiento del programa para tomar decisiones que corrijan o mejoren los procesos y acciones puestas en marcha. Respecto del grado de ejecución del programa, lo habitual es realizar la evaluación durante la implementación del mismo, ya sea mediante una evaluación continua, como es el caso de la monitorización, o simplemente mediante una evaluación intermedia.

El SEPI se integra en el sistema de seguimiento y coordinación del Plan Integral de manera que, como decíamos al principio, la evaluación forma parte del día a día en el trabajo de las organizaciones y estructuras que ejecutan los proyectos. De esta manera, la realimentación evaluación-acción es lo suficientemente fluida para la corrección de desviaciones, tanto en los resultados como en los procesos, que van siendo detectadas. Del mismo modo, los aprendizajes se transmiten de uno a otro actor, de uno a otro elemento del Plan de manera cotidiana.

En 2003 comienza la fase de ejecución del Plan Integral constituido por nueve planes parciales que se ejecutan de forma coordinada.

Los elementos que conforman el organigrama del Plan son cinco: nueve Comisiones de trabajo que desarrollan y ejecutan los nueve Planes; un Comité Director en el que están representadas las Comisiones, el Equipo Técnico, la Oficina Técnica y entidades públicas;

el Equipo Técnico que ejerce funciones de asesoramiento e impulso en cada uno de los órganos del Plan; una Oficina Técnica que se ocupa de las cuestiones administrativas, de la gestión de la información y realiza labores de apoyo a las comisiones para la ejecución de los proyectos; y, finalmente, la Asamblea en la que participan todas las entidades adheridas al Plan.

Gráfico 5. Órganos participativos: Comisiones, Comité Director y Asamblea.

Los órganos participativos del Plan (Comisiones y Comité Director) son los que realizan, en reuniones mensuales, la evaluación continua de la ejecución de cada uno de los Planes a la vez que realizan el seguimiento y proponen las modificaciones necesarias para corregir procesos o efectos no deseados.

S a lu d S e g u r id a d

El Equipo Técnico y la Oficina Técnica participan en la evaluación continua desde las Comisiones y el Comité Director de los que forman parte.

La Asamblea realiza una evaluación anual.

En 2005, tras dos años de ejecución, se ha realizado una evaluación externa mediante unas jornadas participativas abiertas al conjunto de la Ciudad. En ella se han revisado tanto el diagnóstico, como el diseño del plan y la ejecución del mismo.

Venimos aplicando este sistema durante cinco años para la evaluación y seguimiento del conjunto del Plan, de los procesos que en él se desarrollan y de cada uno de los elementos que lo conforman. Aunque nos queda mucho por andar tanto en la definición del sistema como en su implementación, no cabe duda de que este sistema de evaluación forma ya parte de la cultura del Plan Integral y ha influido de manera muy relevante en la evolución del propio Plan y de las personas, organismos e instituciones que participan en él.

Conclusiones

Comenzábamos este trabajo planteando un doble objetivo:

- Caracterizar la situación actual en el campo de la metodología evaluativa.

Situación que hemos calificado de crisis y renovación o cambio de paradigma.

- Conocer la repercusión sobre la actividad evaluativa del cambio de paradigma sobre el que se sustenta.

Dos son las conclusiones más relevantes que quisiéramos destacar.

En primer lugar, hemos aportado una definición general de la evaluación. A nuestro entender, la evaluación se caracteriza básicamente por tres elementos: objeto, finalidad y método. De manera que definiríamos la evaluación como el “análisis de una acción finalista y planificada para emitir un juicio de valor mediante un método”.

En segundo lugar, hemos mostrado cómo la crisis del paradigma clásico en ciencias sociales se manifiesta en el ámbito de la evaluación en el cuestionamiento de la evaluación clásica y la proliferación de nuevos enfoques y modelos evaluativos: la evaluación pluralista.

Hemos mostrado a lo largo de este trabajo que lo que caracteriza las evaluaciones pluralistas es precisamente el hecho de llevar hasta sus últimas consecuencias ciertos elementos característicos como son pluralidad de valores, globalidad, flexibilidad y participación, de manera que se modifica la naturaleza del proceso evaluador. Lo que distingue a cada uno de los modelos pluralista es el énfasis en cada uno de estos elementos.

Por tanto, la evaluación pluralista:

- Renuncia a la orientación marcada por los objetivos esperados. Contempla la existencia de una pluralidad de objetivos.

- Amplia la finalidad de la evaluación contemplando una pluralidad de finalidades en función de la naturaleza del objeto evaluado.

- El método es fundamentalmente holístico y evolutivo. Se centra en las dinámicas generadoras de cambio. Contempla la acción evaluada desde una perspectiva totalizadora sustituyendo las relaciones lineales por causalidades más complejas.

En definitiva se trata de un cambio de paradigma hacia una visión sistémica y dinámica de la realidad.

Bibliografía y fuentes :

1. Alvira Martín, F. (1991): “Metodología de la evaluación de programas”, Cuadernos Metodológicos, núm. 2, CIS, Madrid.

2. Apple, M.; Beane, J. A. [comps] (1997): Escuelas democráticas, Morata, Madrid.

3. Arias, M; Flores, A.; Porlán, R. [comps.] (2001): Redes de maestros: una alternativa para la transformación escolar, Díada, Sevilla.

4. Arnal, J. [et al] (1992): Investigación educativa. Fundamentos y metodología.

Barcelona: Labor.

5. Asensio Coto, M.J. (1998): El análisis multidimensional de la realidad económica.

Una aplicación desde la concepción sistémica, Tesis de licenciatura, Departamento de Economía e Historia de las Instituciones Económicas, Universidad de Huelva, Mímeo.

6. Austin, G. (1993): The Process of Change: A Synthesis Study of Institutional Capacity Development Projects and Experience, Overseas Development Administration, Londres.

7. Ballart, X. (1992): ¿Cómo evaluar programas y servicios públicos? Aproximación sistemática y estudios de caso, Ministerio para las Administraciones Públicas, Madrid.

8. Casley, D. y Lury. D. (1982): Monitoring and Evaluation of Agricultural and Rural Development Projects, Johns Hopkins, Baltimore.

9. CIDEC (2000): “Organización y diseño de los procesos de evaluación”, Cuadernos de trabajo –formación, empleo, cualificaciones-, nş 28, CIDEC (Centro de Investigación y Documentación sobre problemas de la Economía, el Empleo y las Cualificaciones Profesionales), San Sebastián.

10. De Miguel, M. (1993) "La IAP un paradigma para el cambio social", Documentación Social, nş 92, Madrid.

11. Diaz-Albertini, Javier (1990): Development As Grassroots Empowerment: An Analytic Review of NGDO Programs in Lima, Peru, Yale University, Institution for Social and Policy Studies, Septiembre.

12. Díaz Puente, J.M. (2003): “La participación y el fortalecimiento en la evaluación del desarrollo”, III Conferencia de la SEE, Jerez de la Frontera, 12 a 14 de noviembre de 2003.

13. Díez López, M. A. (2001): La evaluación de la política regional: propuestas para evaluar las nuevas políticas regionales, Universidad del País Vasco, Mímeo.

14. Edgar Ortegón, E.; Pacheco, J.F. y Roura H. (2005): Metodología general de identificación, preparación y evaluación de proyectos de inversión pública, Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES), CEPAL, Santiago de Chile.

15. Escudero Escorza, T. (2003): “Desde los tests hasta la investigación evaluativa actual. Un siglo, el XX, de intenso desarrollo de la evaluación en educación”, RELIEVE, Revista Electrónica de Investigación y Evaluación Educativa, v. 9, n. 1, p. 11-43, http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm.

16. Fetterman, D. M. (1994): “Empowerment Evaluation”, Evaluation Practice, 15(1), pp.1-15.

17. Fetterman, D. M. (1995): “In Response to Dr. Daniel Stufflebeam's:

Empowerment Evaluation, Objectivist Evaluation, and Evaluation Standards:

Where the Future of Evaluation Should not Go and Where it Needs to Go”.

Evaluation Practice, 16(2), pp. 179-199.

18. Fetterman, D. M. (1998). “Empowerment evaluation and the Internet: A Synergistic Relationship”. Current Issues in Education (On-line), en http://cie.ed.asu.edu/volume1/number4/

19. Fetterman, D. M.; Kaftarian, S. y Wandersman, A. (1996): Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability, SAGE Publications, Thousand Oaks.

20. García Fernández M.A. (2005): “La evaluación en el proceso formativo: métodos e instrumentos”, curso de formación y actualización del profesorado universitario, Universidad de Córdoba, http//uco.es.

21. Gasper, D. (1999): “El enfoque del marco lógico más allá de los proyectos: el seguimiento y la evaluación de la ayuda humanitaria en emergencias complejas”, Revista española de desarrollo y cooperación, nş 4, verano 1999, IUDC-UCM, Madrid.

22. Gil; Villa, F. (1995): La participación democrática en los centros de enseñanza no universitarios, CIDE, Madrid.

23. Kushner, Saville. (2002). Personalizar la evaluación, Morata-Fundación Paideia Galiza, Madrid.

24. Larrú Ramos, J.M. (2000): La evaluación de los proyectos de cooperación al desarrollo de las ONGs españolas, Universidad San Pablo-CEU, Madrid.

25. Larrú Ramos, J.M. (2003): “Empoderamiento y participación en la evaluación de acciones de cooperación al desarrollo: del discurso teórico a la práctica española”, III Conferencia de la SEE, Jerez de la Frontera., 12 a 14 de noviembre de 2003.

26. Lewis, J., et al. (1988): “Strengthening the Poor: What Have We Learned?

Overseas Development Council”, U.S.-Third World Policy Perspectives, nş 10, Washington, D.C.

27. MacDonald, B. y Walker, R. (1974): SAFARI One: Innovation, Evaluation, Research and the Problem of Control. CARE, University of East Anglia, Norwich.

28. MEANS (1999): Evaluer les programmes socio-economiques, Luxemburgo.

29. Nevo, D. (1983): “The Conceptualization of Educational Evaluation: An Analytical Review of the Literature”, Review of Educational Research, 53, 1, 117-128.

30. Norris, N. (1993): Understanding Educational Evaluation, School of Education, University of East An-glia, Londres.

31. Patton, M.Q. (1978): Utilization-Focused Evaluation, Sage Publications, Thousand Oaks.

32. Paz Báñez, M.A.; Franco Ligenfert, M.I.; Asensio Coto, M.J. (Coords.) (2005a): Plan Integral Distrito V de Huelva 2000/2003, Servicio de Publicaciones de la Universidad de Huelva, Huelva.

33. Raczynski, D., Serrano, C. y Valle, M. (2002) “Eventos de quiebre de ingreso y mecanismos de protección social. Estudio en hogares de ingreso medio y bajo”, Asesorías para el Desarrollo, Informe Final para el BID, Santiago de Chile.

34. Rappaport, J. (1984): “Studies in empowerment: Introduction to the issue”, Prevention in Human Service, nş 3, pp. 1-7.

35. Rossi, P.H. y Freeman, H.E. (1985): Evaluation: A Systematic Approach, Sage, Beverly Hills, CA.

36. Segone, M. (1998): “Evaluación democrática”, UNICEF, Oficina regional para América Latina y Caribe, Documento de trabajo nş 3, mayo, Santafé de Bogota.

37. Simons, H. (1999): Evaluación democrática de instituciones escolares, Morata, Madrid.

38. Smith, E.R. y Tyler, R.W. (1942): Appraising and Recording Student Progress, Harper & Row, Nueva York.

39. Soler, J.R. (1999): La Participación Democrática de la Comunidad Educativa en la Administración-Gestión del Centro Escolar: El Consejo Escolar. Tesis doctoral.

Departamento de Pedagogía Aplicada, Facultad de Ciencias de la Educación, Universidad Autónoma de Barcelona. Mímeo.

40. Stake, R. E. (1967). The countenance of educational evaluation, Teacher College Record, 68, 523-540.

41. Stufflebeam, D.L. y Shinkfiel, A.J. (1993): Evaluación sistemática. Guía teórica y práctica, Paidós, Madrid.

42. Stufflebeam, D.L. y Shinkfiel, A.J. (1993): Evaluación sistemática. Guía teórica y práctica, Paidós, Madrid.

43. Stufflebeam, D.L. et al. (1971): Educational Evaluation and Decisión Making, Etasca, Peacock.

44. Werner, D., 1988, Increasing Community Empowerment Through Primary Health Car

De l’invention politique des “ cultures urbaines ” françaises dans la