Relation to

• Mantém contato com o público-alvo.

• Envolve stakeholders ao longo da avaliação.

• Incentiva e apóia stakeholders na utilização dos achados.

• Demonstra aos stakeholders como utilizar os achados em sua

prática/trabalho.

• Prevê e endereça usos potenciais dos achados. • Provê relatos parciais.

• Assegura que os relatórios sejam abertos, francos e concretos. • Suplementa comunicação escrita com comunicação oral contínua. • Conduz workshops de feedback para rever e aplicar os achados.

• Organiza-se de modo a oferecer follow-up aos usuários na interpretação e

utilização dos achados.

Os itens de verificação do indicador U7 – Impacto da Avaliação apontam para o estabelecimento de uma relação próxima entre avaliador e stakeholders como elemento de qualidade em uma experiência avaliativa. Respostas aos itens de verificação desse indicador (que seria melhor denominado “efeito da relação do avaliador com os stakeholders no uso da avaliação”) podem ser buscados nos documentos dos programas de avaliação que tratam dos encontros avaliador x stakeholders, da análise dos relatórios e outras peças de comunicação, das programações dos encontros e workshops conduzidos pelos stakeholders principais ou pelos avaliadores.

Como ocorreu nos seis outros indicadores do JCSEE, há sobreposição dos itens de verificação do U7 com outros discutidos anteriormente. É o caso, por exemplo, dos itens que tratam de relatórios. Esse aspecto já foi abordado antes pelos indicadores U5 e U6, o que mostra que a crítica de Widmer (2005) é pertinente para todos os indicadores da categoria Utilidade. Também da mesma forma que ocorreu com os outros seis indicadores, é possível a utilização dos itens verificadores do U7 para análise de políticas de avaliação. Entretanto, tal transposição deve considerar ajustes quanto à abrangência quando o foco são avaliações em larga escala. A discussão é a mesma apresentada no U1: o que é representativo quando se lida com um grupo de, por exemplo, 2.000 escolas? Autores preocupados com o uso da avaliação argumentam que o envolvimento dos stakeholders no processo, em contínuo diálogo, aumenta a probabilidade de uso. Como posto por Abramowicz (1994:81), “a ligação entre avaliadores e quem toma decisões

contribui, decisivamente, para a utilização eficiente dos resultados da avaliação”. Como avaliar a proximidade de contato avaliador – stakeholder nesses casos?

A relação avaliador x stakeholder(s) deve ser verificada ao longo do processo e não só ao final. Um exemplo de estabelecimento da relação avaliador x stakeholders no início do processo é o SAEB: na definição das matrizes de avaliação, o INEP envolveu representantes dos estados da Federação. Já para a definição da amostra, os estados foram ouvidos, mas as sugestões não foram incorporadas. Houve reação, especialmente dos Estados do Norte do país, por causa da exclusão das escolas rurais da amostra por dificuldades na logística de aplicação dos testes. De qualquer maneira, houve um esforço de envolvimento dos estados no delineamento da avaliação. O mesmo não ocorreu, por exemplo, com o Sistema Mineiro de Avaliação da Aprendizagem (SIMAVE) em 2000/2001. Ao contrário do SAEB, optou por construir sua matriz de referência apenas com a participação de professores da Educação Superior, sem uma consulta às escolas, o que lhe rendeu alguma crítica. Contudo, não foram encontrados estudos que mostrassem que uma e outra posição tivessem afetado o uso das avaliações.

A relação avaliador x stakeholder pode ser observada inclusive como estratégia para que a política de avaliação venha a ser implementada. Esse foi o caso do SINAES. Quando da finalização da proposta, anterior à promulgação da Lei 10.861/2004, representantes do que viria a ser a CONAES visitaram todos os Estados para discuti-la e buscar apoio. O SINAES provê um segundo exemplo de envolvimento avaliador x stakeholder, nesse caso para o refinamento do Sistema: a CONAES, em 2008, promoveu um encontro em Brasília com a comunidade acadêmica para discutir o SINAES, no qual estavam presentes os técnicos avaliadores, os coordenadores de cursos e estudiosos contratados pelo INEP.

Para complementar o quadro de itens de verificação para o U7, seria interessante que fosse adicionado o item: “Identifica o repertório para mudança dos stakeholders”. Como discutido por Weiss (1998), as condições organizacionais precisam mudar – no sentido de remoção de impedimentos, garantia de infra-estrutura e de apoio – para que os resultados sejam utilizados no melhoramento do objeto da avaliação. O stakeholder deve ter um nível de autonomia e repertório para que possa lidar com os resultados da avaliação. Nesse panorama, a relação stakeholder x avaliador é benéfica e uso-conducente. Caso contrário, o uso é mínimo, independente do esforço do avaliador. Um exemplo disso é o trabalho das Comissões Próprias de Avaliação (CPA) das universidades federais, dentro da proposta do SINAES. A auto-avaliação é conduzida, os resultados são obtidos, mas as universidades não têm autonomia que lhes permita mudar.

Apresentados os sete indicadores da categoria Utilidade, é possível perceber que nenhum deles trata dos usos reais concretizados (ainda que mencionem o atendimento da demanda) ou da percepção dos stakeholders sobre a utilidade do processo avaliativo. Como já discutido anteriormente (Subseção 2.4.1), o termo utilidade refere-se a uma percepção do indivíduo, muitas vezes mais atrelada ao atendimento de suas demandas / expectativas que à possibilidade de uso da política. Por essa razão, na adaptação do modelo do JCSEE e do checklist para a análise de políticas públicas, foi acrescido o indicador U8 – Percepção da utilidade dos stakeholders.

Os setenta itens verificadores de Stufflebeam (1999), neste trabalho reduzidos a sessenta e seis, acrescidos do U8, abordam os elementos que, de um modo ou de outro, favorecem o uso, mas não necessariamente conduzem o meta-avaliador à analise sobre o uso efetivamente concretizado. Nesse sentido, para a análise das contribuições das políticas de avaliação, a categoria Utilidade pode ser aplicada na busca por elementos preditores do uso e deve ser complementada por uma segunda categoria que permita a análise dos usos feitos. A construção dessa segunda categoria – Uso – é feita na próxima subseção a partir de discussão sobre diversos tipos de uso possíveis no contexto da avaliação.