Standards de qualification

Embora a evolução da teoria e da pratica da avaliação, desde o inicio da sua institucionalização, nos EUA, no início do século XX, até à actualidade, se tenha vindo a

121

Note-se que estas iniciativas são as que operacionalizam as políticas e os programas dirigidos para a regeneração urbana de „áreas em risco‟. Por 'políticas' entende-se o conjunto de programas ou medidas com um mesmo objectivo geral, em termos temporais e modo de gestão; por sua vez os programas operacionalizam as políticas, integrando e coordenando diferentes tipos de medidas ou acções com objectivos específicos (European Comission, 1999).

caracterizar por importantes modificações de paradigmas no que respeita aos seus pressupostos epistemológicos e metodológicos, esta continua a ser considerada uma importante actividade de apoio à tomada da decisão pública (Weiss, 1999). Conhecer os resultados das intervenções programadas e questionar e reexaminar os seus pressupostos, produzindo-se novo conhecimento que confirma ou altera o pré-existente, são alguns dos principais objectivos da avaliação de políticas públicas que, como explica Weiss (1999: 471), visa o "enlightenment" ou a "percolation of new information, ideas and perspectives into the arenas in which decisions are made".

No campo da teoria e da prática da avaliação de políticas, observaram-se, no entanto, diversas mudanças epistemológicas e metodológicas ao longo do tempo. As primeiras gerações de modelos avaliativos visavam dominantemente a melhoria da eficácia e da eficiência das políticas públicas com o objectivo de alcançar os "meios mais eficazes e mais económicos para a generalização dos processos de intervenção social" (Guerra, 2002b:177). No entanto, o optimismo generalizado que existia, nas primeiras gerações de modelos de avaliação, em relação à capacidade de procedimentos cientificamente bem fundamentados poderem produzir leis que se aplicavam à generalidade do sistema social, foi sendo substituído por um reconhecimento crescente dos limites da previsão e da medição dos fenómenos sociais, e pela necessidade de um melhor conhecimento das dinâmicas específicas dos contextos locais.

As abordagens hipotética dedutivos, que procuram encontrar leis generalizáveis a vários contextos, mediante a recolha e o tratamento estatístico de largas amostragens de dados (European Comission, 1999; Guerra, 2002b), passam progressivamente a ser substituídos por modelos de avaliação com um enfoque mais qualitativo, que procura gerar nova informação sobre o modo como os diferentes elementos dos contextos locais (sociais, institucionais, culturais, políticos,...) afectam as capacidades de mobilização dos actores e recursos, públicos e privados, interferindo deste modo não só no modo como as decisões são tomadas como nos seus próprios efeitos. Deste modo, os novos modelos avaliativos passam assim a sublinhar a importância de uma multiplicidade de formas de conhecer os impactos das acções políticas, passando a incluir uma maior variedade de fontes e de formas de ajuizar os resultados dessas mesmas políticas.

Ao mesmo tempo que se defende a importância do conhecimento local, contextualizado, operam-se rupturas epistemológicas e metodológicas na avaliação, associadas ao

questionamento do papel alegadamente independente do avaliador face à realidade social, notando-se como estes não estão isentos de ideologias, nem de pressões dos poderes políticos, económicos e sociais. Deste modo a avaliação passa progressivamente a ser concebida como parte de um problema colectivo, responsabilidade de um leque alargado de actores (e não apenas de avaliadores cuja legitimidade advém apenas do seu conhecimento cientifico e técnico), passando-se a dar voz aos vários representantes de interesses da sociedade.

Assim sendo, na teoria e prática da avaliação de políticas públicas observa-se uma gradual transição de modelos de avaliação administrativos para modelos de avaliação democráticos e plurais (Quadro 8), que procuram articular as preocupações de eficiência e de eficácia, que caracterizavam os modelos anteriores, com as preocupações de uma maior colaboração e diálogo entre os interesses, tantas vezes conflituosos122, da sociedade (Hambleton e Thomas, 1995; Healey, 2003; Julnes, 2002).

Quadro 8. Modelos avaliativos de políticas públicas

Avaliação administrativa Avaliação Democrática Avaliação Pluralista

Projecto Global

Optimização de recursos públicos.

Envolvimento dos cidadãos e posterior comunicação dos resultados.

Envolvimento de diversos actores sociais para uma resolução colectiva dos problemas.

Responsáveis pela avaliação

Avaliadores

independentes (peritos)

Representantes eleitos Diversos actores sociais envolvidos na acção

Norma Objectividade Publicitação Imparcialidade

Objectivos Eficiência na gestão de

recursos e optimização de orçamentos existentes. Visa melhorar a eficiência da administração pública. Reforço do processo democrático da tomada decisão. Visa aumentar a responsabilidade dos decisores públicos face aos administrados.

Resolução colectiva dos problemas.

Visa a implementação de uma avaliação mais consensual entre as diferentes partes envolvidas no projecto.

Fonte: adaptado de European Comission (1999)

Com a transição de modelos de avaliação positivistas para modelos de avaliação construtivistas a avaliação passa a assumir um enfoque mais qualitativo e processual, e a ser

122

As relações sociais passam a ser entendidas como relações de poder que permitem incluir a análise dos conflitos, evitando as armadilhas da visão idealizada do predomínio dos consensos nas estruturas da acção colectiva.

participada por um mais vasto leque de grupos de interesses (Julnes, 2002). Assim , os novos modelos passam a procurar garantir um maior equilíbrio na representação dos diferentes grupos sociais e a procurar valorizar as suas expectativas e visões diferenciadas. No final do século XX "a avaliação torna-se mais integrada nas suas componentes operacionais e evoluiu de uma dimensão monolítica para uma pluralista" (Guerra, 2002b: 181), passando a procurar articular, de uma forma mais pragmática e coerente, uma gama mais vasta de métodos e de critérios de avaliação (Julnes, 2002; Rydin, 2007).

A natureza normativa da avaliação expressa-se progressivamente não apenas na avaliação do valor ou contributo das várias opções ou formas de actuação, mas também na definição de critérios sobre a identificação do que são 'boas práticas' ou 'projectos exemplares' de intervenção pública, procurando deste modo, através da definição de normas, princípios ou ideais de actuação, nortear práticas e rotinas de trabalho (European Comission, 1999).

A avaliação passa assim a integrar um leque mais vasto de funções, como é por exemplo a cognitiva, considerando-se a importância da produção de conhecimentos ou aprendizagens durante o processo avaliativo que depois poderão ser capitalizados, pelas instituições e pelos actores, ao nível das suas praticas de actuação diárias. Deste modo, antecipar possíveis problemas associados ao desenho e à implementação dos programas, permitindo o questionamento da eficácia e relevância dos projectos, com vista à sua maior sustentabilidade ao longo do tempo, passam a ser alguns dos seus objectivos.

Importa ainda referir que as diversas correntes que nas ciências sociais são influenciadas pela tradição marxista, como as do advocacy planning (ver Alves, 2002) ou as desenvolvidas pelos seguidores do filósofo francês Foucault (Stein e Harper, 2003), passam a contemplar e a enfatizar o "dark side" da actuação pública, começando a questionar a neutralidade e os objectivos das políticas públicas. Deste modo, com o aumento das críticas da sociedade em relação à actuação pública e com o aumento das suas exigências em relação à explicação dos pressupostos, objectivos e resultados associados ao gasto público, a avaliação passa a integrar um leque mais vasto ainda de funções, como as de garantia de transparência, de responsabilização (accountability), passando a ser encarada como um novo instrumento de legitimação da actuação pública123 (European Comission, 1999).

123

O que, em alguns casos, tem promovido a existência de grandes pressões políticas sobre a avaliação e de tentativas de apresentar iniciativas como exemplos de boas práticas ou de sucessos, sem que existam suficientes evidências científicas que

Reconhecendo a conflitualidade inerente ao funcionamento dos sistemas, começa-se assim a sublinhar a importância de uma maior reflexividade em torno dos processos de decisão e de actuação pública, para além da importância das intervenções passarem a integrar uma melhor representação dos diversos interesses sociais presentes na sociedade, assim como procurarem estabelecer novos equilíbrios e não uma reprodução de poder nos diversos sistemas.

No momento actual em que a inovação na iniciativa política passa a ser "a interacção e a cooperação programadas com vista a atingir objectivos concertados" (Guerra, 2005: 15), os modelos de avaliação evoluem ainda no sentido de procurarem acompanhar essas capacidades de promoção de consensos e de lógicas de cooperação entre diferentes grupos de necessidades e de expectativas sociais, passando-se também a avaliar-se os modos de actuação no âmbito das novas formas de organização social e institucional.

"A complexidade crescente das formas de organização social, a pulverização dos interesses e corporações, a multiculturalidade contraditória dos modos de vida aliada à fragmentação e divisão crescente dos poderes decisórios do Estado" (Guerra, 2005: 14) suscitam assim uma maior sensibilidade para a importância da dimensão social dos impactos das intervenções políticas. A avaliação destas intervenções procura crescentemente medir não só os seus resultados e impactos com vista a providenciar elementos que suportem futuras intervenções, como avaliar o modo como os diferentes grupos de interesses foram considerados e geridos ao longo do tempo, sublinhando-se ainda a importância dos elementos processuais para os resultados tangíveis e intangíveis alcançados pela actuação pública.

A título de exemplo de quadros metodológicos concebidos para a avaliação de políticas públicas importa referir o guia MEANS (European Comission, 1999)124, que apresenta as principais orientações, normas e recomendações definidas pela Comissão Europeia para a avaliação de programas de desenvolvimento socioeconómico envolvendo financiamentos comunitários. Embora neste guia se reconheça a importância do desenvolvimento de modelos de avaliação alternativos, bem como a existência de tradições e de práticas de avaliação muito diferenciadas entre os países em virtude de contextos institucionais e político-administrativos

suportem esses argumentos. "Public planning is supposed to be a positive exercise in liberal democratic societies. It is intended to be a fair and legitimate process, aiming to produce environments that are better place for living decent and healthy lives. However sometimes planning is not what it seems. " (Stein, 2003: 125)

124

MEANS – "Means for Evaluating Actions of a Structural Nature" - esta publicação é constituída por 6 volumes, abordando diferentes métodos e instrumentos de avaliação, que são ilustrados por estudos de caso concretos.

diversos (por exemplo, da avaliação britânica centrada no „value for money‟ por contraponto à Escandinava, centrada no desenvolvimento de modelos mais democráticos), o modelo de avaliação proposto pela Comissão Europeia para a avaliação dos fundos estruturais (nomeadamente para a avaliação do último período de programação) desenha-se em torno de cinco critérios chave:

- o de relevância, que analisa a conformidade entre o que são as necessidades locais (identificadas ao nível dos diagnósticos) e os objectivos definidos para a intervenção pública; - o de conformidade que compara o que foi planeado com o que se concretizou e quais foram os efeitos alcançados pelas intervenções;

- o de eficiência que procura averiguar se os resultados foram obtidos a custos razoáveis, comparando os inputs (ou os meios financeiros, materiais, organizativos mobilizados para a intervenção) e os outputs, que podem ser medidos em unidades económicas, físicas ou sociais;

- o da eficácia que relaciona os objectivos que foram traçados para o programa e os resultados (ou efeitos alcançados no imediato) e os impactos ocorridos passado um certo lapso de tempo; - por fim, ainda o de sustentabilidade que procura averiguar se os resultados e impactos alcançados perduraram ao longo do tempo.

Murtagh (2001) classifica o modelo de avaliação proposto pela Comissão europeia como dominantemente instrumental ou tecnocrático, propondo alternativamente um modelo de avaliação com maiores capacidades interpretativas e dominantemente centrado em questões mais processuais associadas a estas iniciativas. O modelo proposto por esta autora analisa questões tão diversas como (Guerra, 2006: 47):

- a identificação dos "actores que estão e não estão representados"; - a "democraticidade interna e o acesso ao sistema decisional"; - a "justiça social e a equidade contida nas decisões e acções"; - a "existência de contradições e conflituosidade entre os actores";

- ou o modo "como se processam as formas de negociação e de construção de consensos".

Influenciada pelas teorias do planeamento colaborativo e da avaliação institucional125 que, segundo Murtagh (2001), providenciam um quadro metodológico com capacidades operativas para a análise dos processos que envolvem múltiplas instituições e interesses, o modelo de

125

avaliação desenvolvido por esta autora não ignora a importância da avaliação das relações de poder que se estruturam no âmbito destas iniciativas, procurando avaliar quem beneficia o quê e porquê no âmbito dos processos de debate e negociação.