The linearized Kashiwara-Vergne Lie algebra

• Apresenta relatórios parciais aos usuários-alvo. • Entrega o relatório final quando é necessário.

• Interage em tempo conveniente com os formuladores do programa. • Interage em tempo conveniente com o staff do programa.

• Interage em tempo conveniente com os usuários do programa. • Interage em tempo conveniente com os públicos interessados. • Interage em tempo conveniente com os meios de comunicação.

• Emprega mídia adequada para alcançar e informar os diferentes públicos. • Mantém breves as apresentações.

• Utiliza exemplos para ajudar os públicos a relacionar os achados com situações práticas.

Também nesse indicador há sobreposição de alguns itens em relação ao indicador anterior, embora o U5 trate da forma e do conteúdo do relato e o U6 se volte para quando e como esse relato atinge os stakeholders e usuários. Os itens de verificação do U6 podem ser observados exatamente nessa divisão: cinco deles tratam da conveniência de tempo da comunicação e os cinco restantes falam das estratégias utilizadas para que a comunicação alcance seu público.

Como discutido na seção sobre avaliação, os resultados de processos avaliativos são perecíveis. Por exemplo, em casos de avaliações conduzidas para que o decisor escolha se continua ou não com as ações em um determinado programa, os resultados perdem completamente sua finalidade quando são devolvidos ao público em um momento posterior àquele da tomada de decisão. Da mesma maneira, se a forma de divulgação não privilegia informações que levem à formação de um juízo de qualidade sobre o objeto avaliado, pode resultar em um resultado “oco” de significado. Essa categoria, portanto, trata de uma análise das condições básicas para a utilização dos resultados: entrega dos resultados no tempo certo e a maneira utilizada para que o(s) público(s) consiga(m) se relacionar com eles. Concorda-se com Weiss (1999) quando a autora argumenta que a disseminação das informações não é passatempo, mas uma atividade que requer tempo, raciocínio e energia para que as pessoas certas sejam atingidas.

Como ocorre nos indicadores anteriores, os itens de verificação são facilmente transpostos para uma meta-avaliação de políticas de avaliação, com uma ressalva: a definição do que sejam os formuladores, o staff e os usuários do programa. Na transposição para a avaliação de políticas de avaliação, esse item refere-se à própria avaliação. Tem-se, portanto, os clientes, os stakeholders e os usuários da avaliação. O staff é a própria equipe formuladora/implementadora da política de avaliação.

Um dos aspectos a ressaltar diz respeito à conveniência dos tempos em relação à hierarquia e à priorização das demandas dos stakeholders, cruzando, portanto o U1 com o U6. Dito de outra forma, o cliente e os stakeholders principais são os primeiros a serem informados e só então os

outros níveis hierárquicos têm acesso às informações. Esse cuidado deve ser observado tanto pelas políticas federais, quanto pelas estaduais e municipais, especialmente porque suas representações maiores, tão logo a informação esteja disseminada, serão chamadas para explicá-la e discuti-la. “Emboscar” os stakeholders principais com o lançamento de informações sem que os mesmos tenham conhecimento prévio pode criar uma resistência à política de avaliação que tornará seu uso mais difícil.

Um outro aspecto a levar em consideração diz respeito à diversidade da conveniência dos tempos quando são analisados todos os stakeholders envolvidos. Por exemplo, para uma política de avaliação que alimente a tomada de decisão dos órgãos centrais de educação, como ministérios e secretarias, as informações precisam estar disponíveis antes do momento de planejamento orçamentário do ano subseqüente. Caso contrário, quaisquer decisões para o melhoramento do objeto sob avaliação precisarão esperar até o ano seguinte, já que há sérias amarras das ações ao orçamento. Já no caso de escolas públicas como stakeholders, o tempo de informação é aquele anterior à jornada pedagógica, na qual são planejados os cursos para o ano subseqüente. Nem sempre o planejamento orçamentário dos órgãos centrais coincide com as jornadas pedagógicas. Políticas de avaliação estaduais implementadas na Bahia e no Paraná, por exemplo, resolveram essa questão ao entregar à escola o tratamento e a análise de dados (ver BONAMINO; BESSA; FRANCO, 2004). Para análises simples de dados, esse procedimento é aceitável. Para análises que impliquem utilização de abordagens de pesquisa mais complexas, como as políticas que buscam comparabilidade ao longo do tempo, essa estratégia é danosa por comprometer a validade dos resultados. Quando considerado o staff da política de avaliação, a informação deve chegar a tempo de permitir que essa equipe corrija os rumos de implementação para o atingimento dos objetivos da política, em um feedback constante.

Políticas de avaliação educacional em larga escala, como o SAEB, dada sua complexidade, normalmente divulgam resultados pelo menos um ano após a coleta de dados. Esse tempo, ainda que curto para os técnicos que processam os dados, é longo demais para os stakeholders que demandam tais informações. Esse paradoxo é discutido, dentre outros, por Lawrenz, Gullickson e Toal (2007), especialmente porque é árdua a busca do equilíbrio entre a necessidade de entrega da informação devidamente tratada e analisada, por um lado, e de entrega de informação em tempo que favoreça a utilização. Nessa busca, frequentemente elementos de precisão são perdidos. A equipe de avaliação precisa determinar qual o nível de precisão minimamente aceitável. O tratamento e a análise dos dados coletados e a transposição para relatórios demandam tempo, mas são cruciais para a qualidade da comunicação.

Ainda sobre tempo e perecibilidade da avaliação, é importante registrar que, como posto por Ferrer (1997), o fluxo de informações na experiência avaliativa é contínuo e não deve ser considerado apenas em relação aos relatórios finais, mas também aos parciais e ao projeto avaliativo. Quanto mais os stakeholders ficam informados sobre a avaliação, da concepção ao fechamento, tanto mais provável a incorporação dos conceitos e posterior uso dos resultados.

Um tópico a refletir é a interação política de avaliação - meios de comunicação, em especial a imprensa. É possível hoje acompanhar ações avaliativas pela internet, através de sites especializados, como o faz o INEP (ainda que, a partir de 2004, tenha havido pouquíssima atualização em relação a aspectos técnicos da grande parte das avaliações implementadas – ver

www.inep.gov.br – posição em fevereiro de 2009). Entretanto, o hábito de consulta a boletins on-

line ainda não está estabelecido e muitas unidades escolares, ainda que tenham computadores, não contam com acesso à rede. No Estado da Bahia, um meio muito eficaz de atingir as escolas estaduais é o Diário Oficial do Estado, recebido diretamente em muitas delas e, em outros casos, consultados nas DIREC. As redes municipais, especialmente pela quantidade de escolas na zona rural, têm o acesso mais difícil – até 2004 ainda havia escolas na rede sem eletricidade e não havia entrega regular de jornais em alguns municípios menores. Em termos da TV, pode-se afirmar que seria bem mais eficaz no atingimento do conjunto de stakeholders. A ponderação que se faz nesse sentido é o custo para a avaliação. Minutos pagos, mesmo em rede local, são caros a ponto de afetar o orçamento da avaliação. Em geral, as cadeias de televisão veiculam informações sobre a inscrição (por exemplo, no caso do ENEM), ocorrências durante as provas ou a divulgação dos resultados. Não há divulgação de orientações mais específicas ou espaço para reflexões sobre os achados.

Em relação a como as informações da avaliação chegarão aos stakeholders, uma questão – além dos itens verificadores – deve ser posta: quem é responsável pela disseminação da informação, o cliente ou o avaliador externo? Em muitas políticas, a encomenda da avaliação é finda com a entrega das informações, em seus muitos formatos, ao cliente principal, seja ele uma superintendência estadual ou uma diretoria no ministério. Em vários casos, por uma questão contratual, os avaliadores chegam a escrever releases, mas estes são encaminhados para a imprensa pelo cliente. A meta-avaliação, portanto, precisa observar quem é responsável pela disseminação dos dados (a logística dos resultados) antes de passar para a análise dos documentos de comunicação utilizados.

Os indicadores U5 e U6 referem-se a aspectos da comunicação da informação em relação aos stakeholders e usuários. O U7, último indicador da categoria Utilidade do JCSEE, trata de como as estratégias são usadas e de como é estabelecida a relação avaliador x stakeholders de modo a afetar os usos da avaliação. É sobre isso que trata a subseção a seguir.