DES AIDES PUBLIQUES ?
3.1. Les quatre cas de figure distingués par la Commission
A concretização da visão instrumental da avaliação tem uma história que foi de capital importância para o desenvolvimento e o fortalecimento da disciplina.
A ideia da avaliação como instrumento de gestão começou a ser construída num dado momento histórico dos EUA, nos anos de 1960, em decorrência da grande expansão de investimentos sociais, realizados através de políticas públicas, principalmente nas áreas de educação, saúde e assistência social, dentre outras. Diante da amplitude das ações e do volume de gastos, segmentos da sociedade americana começaram a cobrar os resultados dessas políticas, exigindo que fossem avaliados.
Num primeiro momento, imaginou-se que a antiga avaliação firmada nos fundamentos tyleristas, centrada em objetivos e medidas de natureza descritiva e diagnóstica, poderia dar conta dos desafios. Progressivamente, foi se constatando que a disciplina, além de não possuir os recursos técnico-científicos necessários para dar as respostas na escala pretendida, também não possuía pessoal qualificado e em quantidade suficiente para enfrentar esses desafios. A crise experimentada pela avaliação tornou-se algo dramático, ensejando inclusive dúvidas sobre as suas possibilidades e sua qualidade técnico- científica.
Não tendo como reagir às cobranças feitas para que se apresentassem os resultados da ação pública e não conseguindo dar conta dos desafios, a disciplina foi progressivamente questionada por outros campos, inclusive em termos de sua utilidade33.
As críticas formuladas ao campo da avaliação, em função dos resultados que apresentava, questionavam inclusive sua credibilidade. Fruto dessas condições, novas disciplinas surgem, destacando-se a investigação avaliativa, que parece emergir como uma nova avaliação, agora, porém, ricamente fundamentada na utilização dos procedimentos metodológicos quantitativos da pesquisa científica.
Diante desse cenário, alguns pensadores, particularmente Scriven, Stake, Sttuflebeam e Cronbach, dentre outros, fazem um esforço que busca repensar a disciplina, no sentido de recriá-la, incorporando novos elementos de natureza teórica e metodológica, e visando torná-la mais convincente. Ao mesmo tempo, porém, se buscava reagir à visão clássica da avaliação, avaliação por objetivos, a medida que essa fundamentação não conseguia mais atender as demandas que eram colocadas, ver as considerações de IZQUIERDO, (2009). Nesse período já se defendia a necessidade de que os resultados da avaliação tivessem uma utilização efetiva.
DIAS SOBRINHO (2003, p. 22-23) faz um interessante comentário a partir das considerações levantadas por Cronbach, considerado o primeiro autor a relacionar usos com a tomada de decisão, no início dos anos de 1960, preocupado com as limitações apresentadas pela disciplina.
Cronbach, em 1963, propunha uma superação da idéia de que os objetivos são os organizadores da avaliação. Para ele, a avaliação deve se orientar pela noção do tipo de decisão que se pretende que ela sirva. As decisões a serem tomadas constituem, pois, o centro da avaliação. Por isso, avaliar as estruturas específicas de um programa é mais importante que fazer comparações com outras unidades externas; o processo interno é muito importante e as decisões de mudanças podem ser tomadas durante o desenvolvimento, não necessariamente depois de terminado o programa ou curso. (DIAS SOBRINHO, 2003, p. 22-23).
Através de iniciativas mais diretas, Sttuflebeam, em meados de 1966, num evento realizado no organismo que, na época, coordenava a avaliação das políticas de
33 No capítulo anterior, na subseção 2.3. avaliação de políticas públicas, destaca-se tópico que discute a
educação34 nos EUA, através de artigo publicado numa revista de circulação nacional35, defendeu uma nova postura para o campo da avaliação (Stufflebeam e Shinkifield, 1987, p. 179), sinalizando “que la evaluacion fuera redefinida como un proceso mediante el cual se proporcionara información útil para la toma de decisiones”. Com base nessa colocação apontava-se para uma direção possível a ser perseguida pela disciplina36, centrada na questão da utilidade.
Nos anos seguintes, em várias oportunidades, inclusive através de artigos publicados, a proposta de Stufflebeam foi sendo refinada, focando principalmente a necessidade de que os avaliadores ouvissem as demandas dos gestores das políticas e que trabalhassem no sentido de tornar a avaliação algo útil37. Os resultados desses esforços dão origem aos fundamentos do modelo CIPP, 1968, iniciais dos quatro modos possíveis de se realizar a avaliação (contexto-insumo-processo-produto), coroando assim todo um conjunto de iniciativas que repensam a ideia do trabalho avaliativo. (STUFFLEBEAM E SHINKIFIELD (1987); VIANNA (2000), dentre outros)
Tem-se, assim, o modelo CIPP como primeiro modelo ordenado de avaliação, centrado na questão de usos e na tomada de decisão.
Em paralelo a essas iniciativas, a Phi Delta Kappa/PDK, instituição centenária nos EUA na área de educação, cria, em 1969, um comitê nacional para estudar a situação da avaliação, presidido por Stufflebeam. No diagnóstico apresentado, reconhece-se a situação crítica vivenciada pela disciplina, as limitações dos modelos utilizados e se adotam o modelo CIPP e seus procedimentos como uma alternativa para repensar a disciplina.
O Comitê estabeleceu como propósitos principais: a) repensar uma definição mais adequada para o trabalho de avaliação; b) firmar a ideia do trabalho de avaliação como algo articulado à tomada de decisão; c) estabelecer claramente qual a dimensão de valores e a importância dos critérios; d) atentar para a necessidade de atender adequadamente aos diferentes níveis de interessados nos resultados de processos avaliativos, levando em conta os diferentes níveis em que atuavam; e e) diferenciar o trabalho de avaliação do trabalho de pesquisa, ver as considerações em (Stufflebeam e Shinkifield, 1987, 182-183).
Observa-se um movimento amplo de transformação da disciplina avaliação, destacando- se, como uma das linhas principais, a ação proposta ao Comitê: “firmar a ideia do trabalho de avaliação como algo articulado à tomada de decisão”.
Fruto desses esforços, ainda, segundo o indicado por Stufflebeam e Shinkifield (1987), os resultados do trabalho do Comitê possibilitaram, em 1971, o lançamento do livro “An Introduction to the PDK book: Educational Evaluation and Decision-Making”, de
34 Identificado como ESEA – America’s Elementary and Secondary Education Act.
35 O artigo A depht study of the evaluation requirement, em português: “Requisitos para estudo em
profundidade da avaliação”, publicado na revista Theory into Practice, em 1966, provocou grande impacto junto às comunidades acadêmicas e profissionais.
36 Já vimos, contudo, que o pioneiro na associação entre avaliação e a tomada de decisão foi Cronbach,
em 1963, como fundamento do processo de crítica aos modelos avaliativos utilizados na época (ver Stufflebeam e Shinkifield, 1987, p. 73).
37 Assim, em meados de 1969, publica um novo artigo “Evaluation as enlightenment for decision
autoria de Stufflebeam e outros. Esse livro sinaliza para uma nova metodologia de trabalho em avaliação e indica a retomada das iniciativas em prol da reestruturação do campo. Coroando essas ações, ainda em 1971, Stufflebeam publica o artigo “The relevance of the CIPP evaluation model for educational accountability”, apresentando o modelo CIPP em sua versão mais definitiva.
Dessa forma, institucionaliza-se o modelo CIPP como o primeiro instrumental metodológico voltado para utilizar os resultados de processos avaliativos na tomada de decisão, segundo as considerações formuladas por Stufflebeam e Shinkifield (1987). Os resultados dos trabalhos desenvolvidos, sob o amparo do PDK e as iniciativas de vários pensadores do campo da avaliação nessa época, dentre os quais se destacam Hammond, Provus, Guba, Merriman, Stake, Sttuflebeam, dentre outros, além de firmarem as bases de estruturação e análise da avaliação em torno da visão instrumental, usos e a tomada de decisão, conduzem os avaliadores à reflexão sobre a questão das normas e padrões, como condição para fortalecer a dimensão de qualidade e compromisso do trabalho avaliativo.
Em decorrência das diferentes iniciativas tomadas, é criado, em fins de 1975, o Joint Committee on Standard for Educational Evaluation/Joint Committee, envolvendo doze organizações, nos EUA, voltado para estabelecer as normas e os padrões que deveriam orientar a realização do trabalho de avaliação de programas educacionais.
O Comitê, presidido por Stufflebeam, trabalha durante cinco anos, e, em 1981, apresenta os resultados, com base num conjunto de padrões e normas, no documento “Standard for Evaluations of Educational Programs, Projects and Material”. São trinta recomendações, distribuídas por quatro atributos: utilidade, viabilidade, legitimidade e precisão (ver as considerações em Villa, 1998 e Sttufflebeam e Shinkfield, 1987, p. 27)38.
Nesses atributos, define-se uma série de procedimentos normativos e recomendações, sinalizando como uma avaliação de qualidade deveria ser conduzida e como os seus resultados deveriam ser trabalhados. Na identificação dos atributos categóricos, envolvendo as trinta orientações, destacam-se, em termos de intenções gerais:
utilidade – uma avaliação deve ser útil, esta é a primeira condição; deve servir para atender às necessidades dos interessados. Oito normas compõem esse atributo; viabilidade – uma avaliação deve empregar procedimentos viáveis e factíveis, passíveis de serem utilizados de forma realística. Três normas compõem esse atributo;
38 Dada a forma como as normas passaram a ser utilizadas nos EUA e em outros países, o Joint
Committee resolveu revisá-las, em 1989, e, a partir de 1991, ampliou o horizonte de usos, passando a
adotá-las como normas voltadas para a avaliação de programas, cobrindo outros campos de conhecimento, além da educação. A partir de 1991, adota-se, então, um novo conjunto de normas, atualizando as originais com as sugestões que levantadas nos anos oitenta do século passado, denominado “Padrões para a Avaliação de Programas” (ver Sttufflebeam e Shinkfield, 1987).
legitimidade39 – uma avaliação deve estar baseada em compromissos explícitos que assegurem a clareza com que foi realizada, viabilizando a necessária cooperação e respeito aos interessados e afetados, atenta aos padrões éticos. Oito normas compõem esse atributo;
precisão – uma avaliação deve descrever com clareza o objeto da avaliação e seu contexto, deixando claro como foi conduzido o processo avaliativo. Doze normas compõem esse atributo.
Observa-se que esses atributos e as recomendações que os fundamentam compõem uma referência geral, comprometendo o campo da avaliação e o avaliador, em termos da funcionalidade e utilidade, num esforço de qualidade e competência, buscando fazer o melhor.
Firmado o papel da avaliação com base na função instrumental, avança-se no trabalho de divulgação, ampliando a utilização das normas e padrões como um recurso que fortalece o campo da disciplina. Assim sendo, pode-se afirmar que esses atributos e as normas indicadas constituem-se em elementos de referência para se analisar e qualificar um dado processo avaliativo, inclusive a questão de uso dos seus resultados. São elementos de qualificação do trabalho avaliativo. Essa intenção, inclusive num período posterior, veio a se constituir no elemento que fundamentou a estruturação dos processos de meta-avaliação.
O que é importante ressaltar, contudo, foi o quanto a discussão sobre padrões e normas conseguiu contribuir no propósito de renovar e destacar o campo da avaliação como um instrumento a serviço da sociedade, a partir dos anos de 1970. Evidentemente, uma das consequências dessa transformação foi a de consolidar a visão instrumental da avaliação numa posição dominante. Não há dúvidas sobre a dimensão de utilidade, presente na relação entre usos e tomada de decisão.
Passados já mais de quarenta anos do desencadeamento daquele processo, em diferentes campos da atividade técnico-científica, na gestão pública, na academia, nas empresas e na sociedade em geral, percebe-se que esse jogo racional não é tão racional assim, e, o que é pior, o papel da avaliação, desenhado de forma tão objetiva, tornou-se quase que imperceptível. Não se consegue identificar facilmente as evidências do trabalho avaliativo, quer sejam nos resultados do processo avaliativo, de uso desses resultados e de suas consequências.
Apresentadas essas considerações, qual seria a relação entre esses elementos e o objeto de estudos?
Há vários aspectos a serem observados, além das questões relacionadas à discussão sobre usos e tomada de decisão, mas destacamos, principalmente, as implicações da
39 O termo original em inglês é propriety, que alguns autores espanhóis traduziram para propriedad,
legitimidad etc., conforme indicações das fontes utilizadas, Sttufflebeam e Shinkfield (1987), além de
Villa (1998). Dessas indicações, em função da diversidade de significados em português, considerei “legitimidade”, como o termo mais adequado, em função dos significados possíveis: qualidade de legítimo, fundado no direito, na razão e na justiça, baseado na lei, autêntico, genuíno, algo que é legal, (Aurélio, 1988).
visão instrumental sobre os usos da avaliação e o problema da divulgação dos