The map from

A dificuldade na busca do uso instrumental permanece no levantamento do uso conceitual, que se dá quando os usuários não têm condições de utilizar instrumentalmente os achados, mas tais

resultados mudam sua percepção sobre o programa e seus efeitos. Eles obtêm, assim, novas idéias e insights; podem aprender sobre os pontos fortes e fracos e possíveis linhas de ação. Quando as condições de contexto tornam-se mais favoráveis, é possível que esse conhecimento e esse novo entendimento transformem-se em ações e o uso se dê de modo instrumental (WEISS, 1998). Um exemplo disso pode ser o uso que algumas unidades das universidades federais fazem a partir da auto-avaliação, componente do SINAES. Ainda que, por falta de autonomia administrava, não possam mudar, formam uma idéia sobre o que precisa ser mudado (RIBEIRO, 2009). A categoria uso conceitual aproxima a utilização da avaliação do conceito de influência, apresentado na subseção anterior.

Além da muito falada ausência de autonomia no nível micro (universidade e escolas), a falta de uso conceitual, assim como no uso instrumental, pode ser associada à carência de capacidade instalada nas instâncias governamentais envolvidas com a educação. No caso dos resultados das avaliações em larga escala, o que se vê é uma distância tão grande entre o nível ideal e o real que as escolas e as secretarias ficam paralisadas. Seu repertório é insuficiente para propor mudanças e, embora reconheçam o nível precário da educação pública em seus sistemas e micro-sistemas, não têm a menor concepção de como devem contribuir para mudá-lo.

Em estudos sobre o uso conceitual, um outro problema se coloca: para seu levantamento é essencial que se busque o relato das fontes, mas as respostas obtidas podem ser fruto de um comportamento “conformado”. No caso das escolas, há uma incorporação do jargão de avaliação no seu discurso corriqueiro, sem que isso implique mudança de percepção ou de atitude (DANTAS, 2005). Ao responder questionários sobre os usos potenciais da avaliação em seus ambientes de trabalho, vários usuários optam por responder “a resposta certa”, em lugar de apresentar seu real posicionamento.

A ritualização poderia ser classificada como uma estratégia de sobrevivência da “burocracia ao nível da rua” (LIPSKY, 1980) na escola pública que, a cada mudança de governo, vê-se às voltas com a implementação de novos programas e novos projetos, sem necessariamente terem relação com suas crenças e com suas práticas (DANTAS, 2005). Em lugar de contestar essas imposições dos órgãos centrais, as escolas implementam tais políticas de maneira ritual ou conformada, como explicado por Meyer e Rowan (1991), citados por Libório e Costa (2004:698):

[...] as organizações incorporam os procedimentos definidos por forças institucionais exteriores, tais como a opinião pública, os sistemas educativos, as leis, os tribunais, as profissões, as ideologias, as tecnologias e as estruturas reguladoras. Ao incorporarem os procedimentos provenientes dos vários

meios institucionais, as organizações aumentam a sua capacidade de sobrevivência e a sua legitimidade, independentemente da eficácia dos procedimentos adoptados. Assim a legitimidade organizacional depende não da eficácia dos procedimentos, mas da conformidade com os meios institucionais. Nesta perspectiva, as técnicas, as políticas e programas que se institucionalizam nas organizações funcionam como “mitos racionais”, adoptados cerimonialmente, o que permite a conformidade com as regras culturais dominantes. Deste modo, as organizações garantem a sua legitimidade e aceitação social, ou seja, a sua sobrevivência.

Seria muito importante que, no Brasil, estudos aprofundados fossem conduzidos sobre o uso conceitual, não só junto aos usuários-fim, mas também aos formuladores das políticas educacionais, stakeholders-chave que, em diversas ocasiões, estão apenas praticando a pseudo- avaliação (STUFFLEBEAM, 1974; VIANNA, 1998; RAVELA et alii, 2008). A ritualização pode ocorrer também com os formuladores, quando propõem avaliação apenas para responder à pressão social por maior transparência, por exemplo, sem uma função real.

Há variações dos usos conceituais. Dentre elas, Weiss refere-se ao uso persuasório, simbólico, que se dá quando os resultados permitem apoio a uma determinada posição que o stakeholder já detém sobre mudanças que precisam de implementação no programa. Frequentemente o gestor do programa e seus implementadores conhecem os erros e o que deve ser feito para corrigi-los. Eles utilizam a avaliação para legitimar sua posição e conseguir adeptos. A avaliação torna-se, assim, um instrumento de persuasão (WEISS, 1998). É interessante perceber que, no Brasil, várias políticas são implementadas a partir de indicadores que não estão nem remotamente relacionados com seu objeto. Seria o caso, por exemplo, da utilização do IDH para justificar ações da educação especial ou ainda dos resultados do SAEB na persuasão de comunidades para novas políticas de EJA.

Por fim, dentre os usos conceituais, Weiss propõe ainda o uso informativo (“enlightenment” kind of use), que se dá “extra-muros”, para além do programa sob avaliação. O uso informativo é o que aproxima a avaliação da pesquisa científica, por contribuir para o corpo de conhecimento existente. É o que ocorre com meta-análise, quando uma experiência de avaliação é analisada em conjunto com outras similares e fornece um panorama geral de um determinado objeto. Muitas vezes, a meta-análise é feita por revisão qualitativa. Os relatos das avaliações acabam disseminados pelo campo e podem influenciar as redes de avaliadores e estudiosos de políticas públicas, alterar paradigmas de políticas, mudar a agenda política, e/ou afetar crenças de determinados grupos em instituições. O conhecimento é uma das forças na formulação das políticas e dos programas. Quando a avaliação contribui para o acúmulo de conhecimento, pode

afetar movimentos teóricos que, eventualmente, resultarão em ações. De acordo com Weiss (1998), já houve uma série de estudos sobre esse tipo de uso que mostram que tal categoria não deve ser negligenciada. Há inclusive uma linha de pensamento de avaliação voltada para a teoria, que incentiva o uso informativo na essência.

Um dos exemplos de uso informativo se dá quando os avaliadores consultam experiências anteriores para levantar possíveis “efeitos colaterais” para o novo desenho a propor. Por exemplo, a determinação da matriz avaliativa educacional em nível nacional pode trazer enrijecimento de currículos e, em muitos casos, isso é considerado efeito colateral. Concorda-se com Sousa (2003) quando diz que, na verdade, esse tipo de efeito é intrínseco ao delineamento e, nesse caso, é possível prevê-lo se se acessam experiências avaliativas anteriores.

Usos conceituais e instrumentais não originalmente pretendidos muitas vezes estão distantes da finalidade avaliativa, mas não necessariamente são maus usos ou abusos, apenas usos não previstos. Patton (1988b apud SHULHA; COUSINS: 1997:202-204), em um outro arcabouço teórico, opõe utilização a não utilização e não má utilização a má utilização, sendo a intencionalidade a variável que distingue as duas últimas. Propõe-se aqui que o uso ritual seja tratado como uma não utilização (e não uma má utilização).

O primeiro passo na promoção de um diálogo com os stakeholders sobre a má utilização x não má utilização pode ser encorajar o relato de pontos não antevistos de decisão e conseqüências não previstas nos planos de ação quando se conduzem estudos sobre uso. Nessa linha, para Bamberger, Ruth e Madry (2006), o mau uso pode ser intencional, mas pode também ser decorrente da incapacidade de interpretação de dados e resultados por parte dos usuários e stakeholders, ou ainda pela má comunicação dos mesmos. Moura Castro, em artigo de 2001 escrito para o INEP (CASTRO, 2001), mostra, por exemplo, o desserviço prestado pela imprensa ao divulgar resultados do Provão, o que pode vir a causar interpretações errôneas com conseqüências nefastas, especialmente quando se considera a escolha de uma determinada universidade pela pontuação obtida em uma avaliação.

A leitura de muitos dos estudos sobre os usos e a utilidade da avaliação mostra que não há um modelo único para abordá-los. Como acontece no geral no campo da avaliação, a área de conhecimento do pesquisador (bem como sua experiência profissional) favorece uma ou outra abordagem. Nesse trabalho, optou-se por criar uma categoria Uso em duas dimensões: uso

instrumental e uso conceitual, a partir da discussão apresentada anteriormente. A Ilustração 06 a seguir sintetiza os indicadores de Uso utilizados na presente pesquisa.

Ilustração 6: Síntese da categoria Uso como utilizada no presente trabalho de pesquisa.

Com a síntese da categoria Uso, encerra-se aqui a apresentação da Fundamentação Teórica utilizada para o estudo em tela. O foco da investigação é a política de avaliação de aprendizagem (AA), formulada em 1999 pela Secretaria da Educação do Estado da Bahia, como o elemento de avaliação em um programa de reforma educacional. A AA foi implementada pela Universidade Federal da Bahia, com aplicações de provas a partir de 2001. Os stakeholders principais foram as escolas públicas estaduais e municipais localizadas nas áreas urbanas de municípios envolvidos na referida reforma, promovida até 2004. A descrição da política foco abre, a seguir, o capítulo 3. Metodologia para que, na seqüência, sejam apresentados a lógica da pesquisa e os quadros de análise e operacional empregados.

Uso Instrumental Atingimento de metas do objeto Tomada de decisões

Uso