Discussion et perspectives

visão instrumental, esclarecendo, contudo, que o aspecto principal diz respeito à questão do uso restrito dos resultados do processo avaliativo. Acreditamos que a possibilidade de usos voltada para alimentar processos decisórios constitui uma alternativa legítima e possível no campo da avaliação de políticas públicas. O que pontuamos como um novo aspecto a ser considerado, em função das transformações, ora em curso no seio da sociedade civil, diz respeito à necessidade de se considerar a existência de outros ambientes decisórios, além daqueles integrados por decisores e gestores, que precisam ter acesso às informações da avaliação e, com o mesmo direito, dos interessados originais.

Propõe-se, então, como consequências dessas considerações, que os resultados de processos avaliativos possam ser utilizados por outros interessados em diferentes funções. Em que condições se viabilizam essas possibilidades de uso?

Na fundamentação dessas alternativas, visualizamos duas condições diferenciadas: i) uma de natureza política; e ii) outra, de natureza técnico-científica.

As condições de natureza política estão associadas, mais diretamente, às transformações mais recentes, em termos de organização da sociedade civil, particularmente papéis assumidos por diferentes segmentos, em termos de cobrança da ação pública e seus resultados.

A medida que a avaliação constitui uma peça integrada e inseparável do processo da política pública, os resultados de processos avaliativos passam a ser um dos meios que podem ser utilizados pela sociedade civil para verificar em que condições a ação pública está se concretizando. Diferentes autores têm trabalhado na discussão dessas questões sobre a participação da sociedade civil na administração pública (ver especificamente PEREZ, 2006).

Nesse sentido, buscam-se, através do conceito de accountability, presente na tradição americana do direito e da gestão pública, os elementos fundamentais para explicar as transformações que são requeridas aos decisores e avaliadores, em termos de compromissos na difusão de informações referentes aos resultados de processos avaliativos (ver as considerações em AFONSO (2009); CAMPOS (1990); CENEVIVA (2007); ETZIONI (2009); HEIDEMANN (2009A); MOKATE (2000); TIANA FERRER (1997), dentre outros). Não há porque se manter uma postura restritiva com relação à destinação dos resultados de processos avaliativos.

As condições de natureza técnico-científica estão relacionadas diretamente às transformações no campo das disciplinas de avaliação e avaliação da política pública, principalmente levando-se em conta as mudanças de natureza política.

Tomam-se como ponto de partida, as críticas à visão de uso restrito dos resultados de processos avaliativos e suas consequências sobre o campo das disciplinas. O uso restrito constitui em fonte de dúvidas e de questionamentos sobre a real utilidade da avaliação e de suas contribuições para o aperfeiçoamento das políticas públicas, notadamente em função das dificuldades em poder apresentar as evidências sobre resultados da avaliação, usos e suas consequências.

Autores os mais variados (BUSTELO RUESTA (2003); MOKATE (2000); TIANA FERRER (1997); VEDUNG (2001); WEISS, (1978), dentre outros) têm demonstrado como diferentes interessados, a medida que têm acesso aos resultados da avaliação, podem utilizar essas informações, de forma diferenciada, contribuindo de alguma maneira para o aperfeiçoamento das políticas públicas. Salientam, além do mais, quanto à possibilidade de uma série de outros efeitos, geralmente não detectados, mas que se supõem de alguma utilidade para segmentos da sociedade.

Assim sendo, ampliar as possibilidades de uso dos resultados da avaliação constitui um desafio a ser assumido, conjuntamente, por avaliadores, decisores, gestores e outros interessados, que acreditam na importância da informação avaliativa como um recurso importante para melhorar o acompanhamento da ação pública e a qualidade decisória da sociedade civil. Salienta-se, inclusive, do ponto de vista do desenvolvimento do campo da avaliação, as contribuições que podem ser buscadas em dois aspectos, ainda pouco discutidos, mas que nos ajudam a quebrar parte das resistências com relação à visão do multiuso.

um aspecto está associado com ao conceito de padrões e normas em avaliação, definido com base nas iniciativas do Joint Committee, em que é possível visualizar determinadas recomendações que reforçam as possibilidades de usos múltiplos dos resultados da avaliação. Dentre essas se destacam aquelas relacionadas à identificação dos interessados e à ampliação de usos dos resultados;

a discussão do conceito de negociação presente nas relações entre decisores e gestores, marcando os fundamentos e a operacionalização do processo avaliativo, em relação a usos dos resultados de processos. O conceito originário, refletindo as transformações em curso na concepção da avaliação, constitui uma peça decisiva para ajustar as relações entre avaliadores e decisores.

Há uma série de iniciativas em curso que, de uma forma ou outra, tendem a reforçar esse papel da avaliação e suas contribuições no campo da avaliação de políticas públicas. Destacamos duas evidências de situações em que se podem visualizar mudanças em curso, no que respeita à possibilidades de se ampliar a disseminação de informações referentes a resultados de processos avaliativos.

o conceito de institucionalização da avaliação, presente nas discussões do campo de políticas públicas de saúde;

a crescente importância que assume a divulgação dos resultados das avaliações de larga escala, realizadas em educação, possibilitando formas diferenciadas de uso dos resultados. Citam-se, inclusive, as iniciativas relacionadas à política de responsabilização da educação, que vem se tornando uma das expressões de accountability presentes no País, em que os resultados da avaliação têm se tornado uma importante ferramenta de trabalho.

A importância dessas iniciativas e suas consequências para o campo da avaliação de políticas públicas são de inegável importância para as discussões acerca do conceito de multiuso.

Para trabalhar na viabilização dessas condições, há três aspectos a serem considerados: primeiro, com relação à identificação de quem seriam os interessados nos resultados de processos avaliativos numa perspectiva de multiuso. Como seriam identificados e em que condições deveriam ter acesso aos resultados da avaliação? Há uma sugestão preliminar, em que a identificação deve ser buscada, inicialmente, a partir das discussões relacionadas com a natureza da política pública, seus objetivos e beneficiários;

um segundo aspecto a ser ressaltado diz respeito a pensar em que condições se deve estruturar o processo de difusão das informações avaliativas, como viabilizá-lo e os meios e recursos a utilizar;

por fim, identificar quem seriam os responsáveis pela difusão das informações e o mapeamento de suas principais consequências.

Estabelecidos os parâmetros da análise, como iremos trabalhar essas questões na discussão do objeto de estudos?

O primeiro aspecto a ser considerado diz respeito à questão dos interessados. Quem são os interessados nos resultados dos processos avaliativos e como identificá-los?

Em parágrafos anteriores, sinalizamos o principal referencial para possibilitar a identificação desses interessados, a partir da qualificação da política pública. Consideram-se, em linhas gerais, como interessados, aquelas pessoas que visualizam alguma forma de utilização desses resultados, quer seja no propósito de demonstrar a importância do programa, quer seja no sentido de aperfeiçoá-lo ou simplesmente como fonte de informações. Identifica-se um interesse claro e explícito com relação à utilização dos resultados.

Apesar dos interessados se distinguirem em função dos níveis de responsabilidade com relação aos resultados do processo avaliativo e do programa, todos, sem distinção, visualizam alguma utilidade para os resultados do processo avaliativo. Trata-se assim de uma condição que é a razão de ser da disciplina e um de seus pilares, em termos da estruturação enquanto campo científico e profissional. Nesse sentido, o que importa é identificar quais são os usos possíveis a serem visualizados e quais são as decisões a serem tomadas, a partir desses resultados, conforme as considerações levantadas por WEISS (1978, p. 32).

Tradicionalmente, nos campos da administração e da política, usa-se o conceito de stakeholders, para identificar os agentes interessados na política, gestão e seus resultados, estendendo-se esse entendimento para outras áreas, inclusive políticas públicas e avaliação. As pessoas identificadas como os stakeholders são consideradas, geralmente, os principais interessados, podendo ser: gestores em geral, decisores, políticos, financiadores, dirigentes públicos com interesses na área e até mesmo os próprios avaliadores.

Nos países de língua espanhola, associa-se a figura de stakeholders à de “interesados”. Ver, por exemplo, em Villa (1998, p. 30), que define “Los interesados (‘stakeholders’): indivíduos o grupos que pueden estar implicados o ser afectados por la evaluación de un programa”. Pode-se até mesmo distinguir, nesse amplo campo de interessados, certo perfil, diferenciando os usuários ou, até mesmo, clientes que estão demandando os resultados do processo avaliativo para utilizá-los com determinados propósitos, de outros, que têm interesses nesses resultados, por outras razões.

Em geral, quando falamos dos interessados no campo da avaliação de políticas, estamos nos referindo a uma determinada categoria, que pode ser identificada como usuários, ou seja, aqueles interessados nos resultados do processo avaliativo, para utilizá-lo com determinado propósito. Contudo não se trata de um conjunto homogêneo. Pode-se distingui-los, classificando-os, primeiro, em termos da identificação de quem está interessado nos resultados de processos avaliativos; segundo, o que esperam obter com esses resultados.

FERNANDEZ-BALLESTEROS (2001, p. 37) e WEISS (1978, p. 27) listam algumas categorias de possíveis interessados, distinguindo-os conforme a posição que ocupam na estrutura institucional/organizacional e, consequentemente, qual a necessidade de uso dos resultados de processos avaliativos:

dirigentes superiores trabalham com questões mais gerais sobre o programa;

os dirigentes do programa trabalham com questões mais específicas, em termos estratégicos e operacionais;

os gestores do programa trabalham também com questões operativas mais específicas;

financiadores e políticos em geral;

dirigentes públicos que atuam em áreas e programas assemelhados;

público em geral, interessado em saber como os recursos públicos estão sendo aplicados.

Na maior parte das situações, o interesse em ter acesso aos resultados do processo avaliativo diz respeito às possibilidades de uso, voltadas para subsidiar a tomada de decisão com relação ao programa avaliado. Essa tomada de decisão pode se basear em questões mais gerais, ou, até mesmo em aspectos mais específicos do programa.

Contudo, nem todo interesse com relação aos resultados de processos avaliativos dizem respeito à tomada decisão. É possível que outros atores tenham interesse nos resultados de processos avaliativos com vistas a: melhorar a qualidade das informações sobre aquele campo em particular; desenvolver um programa de conteúdo assemelhado;

comparar os resultados com outros programas; criticar uma determinada teoria utilizada etc.

O importante a ressaltar é que os avaliadores precisam dedicar toda atenção à figura dos interessados, não só pelo que significa o uso das informações produzidas em processos avaliativos, mas, principalmente, porque a avaliação concretiza sua missão técnico- científica, a medida que atende às necessidades de seus diferentes usuários.

Nesse sentido, o avaliador não pode visualizar seu papel como uma atividade restrita à última etapa do processo da política pública. Em nossa concepção do trabalho avaliativo, a participação do avaliador deve se dar desde o instante em que se discute a concepção e a formulação da política, durante sua implementação e até a materialização dos primeiros resultados. Essa participação é importante, tanto para disponibilizar o instrumental técnico-metodológico avaliativo a serviço do aperfeiçoamento da política, como, também, para poder identificar claramente as necessidades de uso da avaliação, em termos do processo.

Entendemos que uma das atribuições-chave do avaliador, no exercício da atividade avaliativa, deva ser no sentido de identificar claramente quem são os interessados na realização da atividade avaliativa e quais são as razões que os orientam na manifestação dessa demanda. Acreditamos, inclusive, que, em alguns casos, parte desses interessados só irão se manifestar posteriormente, o que exige, de certa forma, atenção redobrada para visualizarmos os interessados potenciais nos resultados do processo avaliativo. Contudo, há uma questão a ser considerada, no que respeita à delimitação da responsabilidade dos avaliadores com relação ao processo avaliativo e aos resultados. Não há dúvidas de que essa responsabilidade é plena com relação ao planejamento, formulação e operacionalização da metodologia avaliativa, a qualidade dos resultados e o respeito aos prazos negociados. Entretanto, o consenso se esgota nesse ponto. Alguns acreditam que a responsabilidade se encerra quando o avaliador entrega os resultados aos interessados, outros, que a responsabilidade permanece e que o avaliador deve participar e/ou acompanhar a discussão sobre usos dos resultados do processo avaliativo, avaliando as repercussões da tomada de decisão sobre o programa.

Entende-se, dessa forma que, se os resultados do processo avaliativo têm qualidades e atendem as necessidades dos usuários, o seu uso terá repercussões positivas com relação ao programa, o que fortalece a imagem do campo profissional dos avaliadores. Nessa perspectiva é que visualizamos os avaliadores também como partes interessadas, tanto nos resultados do processo avaliativo como, também, nos usos.

Essa condição traduz-se em algo relevante para o desenvolvimento do campo de trabalho, não só porque a questão de usos constitui um dos pilares de estruturação da disciplina, mas porque é importante sabermos qual foi a destinação e a contribuição efetiva dos resultados do processo avaliativo, e quais foram as consequências de seu uso. Colocamos, assim, os avaliadores como componentes interessados nos resultados do processo avaliativo e, de certa forma, também como corresponsáveis pelo seu uso. Definidos os critérios a serem utilizados na identificação dos interessados, é preciso decidir em que condições as informações oriundas do processo avaliativo poderão ser acessadas. Tais considerações dizem respeito à questão da difusão de informações como garantia para viabilizar as possibilidades de uso na dimensão do multiuso.

Autores como TIANA FERRER (1997); VEDUNG (2001); WEISS (1978), dentre outros, enfatizam a importância dessa etapa no processo da avaliação e discutem, como elementos centrais à questão da difusão, dentre outros aspectos, os meios e os recursos a serem utilizados.

TIANA FERRER (1997, p. 37) coloca, de forma muito clara, como a questão da difusão tem uma importância capital para o campo da avaliação.

En efecto, frente a la idea extendida de que el evaluador termina su tarea com la emisión del informe final, hoy em dia tiende cada vez más a considerarse que esse momento constituye um hito importante pero no clausura el proceso de evaluación. Por una parte, ha de asegurarse que los principales resultados de la evaluación son devueltos a las audiencias implicadas em la misma; por outra, ha de sacarse el maximo provecho de la informacion obtenida, com vistas a la mejora de actividad educativa. Y para ambos propósitos, la difusion constituye una pieza clave. (TIANA FERRER, 1997, p. 37 ) Ampliar a difusão dos resultados da avaliação constitui uma iniciativa decisiva, a medida que possibilita que diferentes segmentos da sociedade possam utilizar as informações produzidas, numa série de propósitos diferenciados.

A importância do conceito de difusão aumenta, porque não se está pensando apenas em disseminar as informações através de publicações específicas, de forma vaga, sem identificação do público a atingir, mas em divulgar para públicos específicos, estimulando usos e conseguindo identificar quais foram as consequências. (TIANA FERRER (1997).

Observa-se, então, que a questão da difusão constitui um aspecto crítico para a disciplina. Se não divulgo os resultados de processos avaliativos e, em assim sendo, impeço que as pessoas tenham acesso a evidências, como fazê-las acreditar que a disciplina tem contribuições a oferecer, e que pode oferecer informações ajudando a entender melhor determinadas questões? Como acreditar em algo, se não consigo ter acesso a evidências, se não consigo visualizá-las?

Diante das considerações relacionadas à difusão de informações e sua importância na viabilização da agenda de multiuso, por que razão o avaliador não pode tornar público os resultados de processos avaliativos? Por que não pode divulgá-los?

As respostas a essas questões podem estar associadas à discussão do papel da avaliação e à questão da autonomia do avaliador. Além do mais, a medida que parte dos argumentos que justificam a limitada divulgação dos resultados da avaliação decorre das características da visão instrumental, também pressupõe a concordância dos avaliadores.

Segundo algumas correntes em avaliação, o acesso aos resultados da avaliação deve ser restrito, porque será utilizado exclusivamente pelos gestores e decisores para prover o aperfeiçoamento do programa. A divulgação ampla dessas informações expõe gestores e decisores, a medida que esses resultados refletem também a gestão do programa e, consequentemente, podem criar dificuldades para sua manutenção. Trata-se, assim, de

atender a determinados usuários, que são os demandantes e contratantes da avaliação, conforme regras previamente definidas e, ao mesmo tempo, cuidar da imagem dos mesmos, evitando pôr em risco a gestão do programa. Colocado nesses termos, o compromisso da avaliação diz respeito apenas aos interesses dos decisores e gestores da política pública.

Como, então, pensar na questão da autonomia técnico-científica da atividade e de sua expressão profissional, o avaliador. Como se coloca o avaliador do ponto de vista da autonomia profissional?

Já discutimos, em capítulo anterior, as bases teóricas da avaliação e destacamos as características do campo, objeto e método da disciplina. Apesar de ser de natureza essencialmente prática, seu processo de operacionalização tem características bastante específicas e diferenciadas. Há quem ressalte que, dadas as características metodológicas da avaliação, essa autonomia teria algumas limitações, a medida que, “a avaliação não visa conhecimento como um fim em si mesmo, mas como um meio para a ação. É importante, que o material de avaliação, seja usado em processos de tomada de decisão”, conforme afirmam categoricamente Ala-Harja e Helgason (2000, p. 25). Colocado nesses termos, o sentido instrumental da avaliação parece ter sido formulado para atender apenas aos gestores e decisores de programas, o que justificaria a postura dos avaliadores em não se responsabilizar pelas decisões de uso dos resultados de processos avaliativos e até mesmo das consequências.

Contudo, esse tipo de postura tem implicações para o campo da avaliação, a medida que, sem ter os resultados referentes a usos, não tendo as evidências, como demonstrar a importância e as contribuições que a disciplina é capaz de prover? Como responder às questões com relação a usos e consequências em termos de desenvolvimento da atividade?

Tem-se, assim, um dilema a ser enfrentado pelo avaliador, pois, a medida que sua autonomia se torna subordinada, tal postura tem consequências, afetando o desenvolvimento do próprio campo. Como enfrentar essas questões?

Primeiro, considerar que, independentemente das características metodológicas da avaliação, a questão da autonomia é algo indiscutível, pois constitui um dos elementos de referência central a balizar a condução dos trabalhos de natureza técnico-científica. Não há como renunciar. Mas qual é o nosso entendimento do conceito de autonomia? Qual a relação a ser estabelecida entre autonomia e a discussão sobre usos?

No dicionário do Aurélio (1995, p. 74), autonomia quer dizer: “faculdade de se governar por si mesmo. Direito ou faculdade de se reger (uma nação) por leis próprias. Liberdade ou independência moral ou intelectual”. Autonomia, nos termos apresentados no dicionário, sinaliza para a ideia da não subordinação, da capacidade de se posicionar por igual diante de outros.

Considerando esses significados, a ideia de autonomia pode nos ajudar na fundamentação de outro conceito, relacionando avaliação e políticas públicas, que é o de usos múltiplos. O pressuposto de multiuso dos resultados da avaliação só se concretiza a medida que ambos, gestores e avaliadores, podem exercitar sua autonomia, negociando usos, fazendo escolhas, criticando, questionando, dialogando etc. Acredita-

se que essa condição amplia sobremaneira as possibilidades de aperfeiçoamento das políticas públicas.

Abbagnano, no Dicionário de Filosofia (2007, p. 111), oferece-nos uma formulação do conceito de autonomia, colocando que:

Termo introduzido por Kant para designar a independência da vontade em relação a qualquer desejo ou objeto de desejo e a sua capacidade de determinar-se em conformidade com uma lei própria, que é a da razão. Kant contrapõe a autonomia, à heteronomia, em que a vontade é determinada pelos objetos da faculdade de desejar. Os ideais morais de felicidade ou perfeição supõem a heteronímia da vontade porque supõem que ela seja determinada pelo desejo de alcançá-los e não por uma lei sua. A independência da vontade