Formal MZVs and

As mesmas perguntas que norteiam o delineamento de uma avaliação primária e os mesmos padrões de qualidade devem orientar o planejamento e a implementação de uma meta-avaliação. Contudo, quatro questões merecem um pouco mais de atenção: a escolha do meta-avaliador; a definição do momento do delineamento da meta-avaliação; as informações para o julgamento a ser feito; e o cuidado com as questões contratuais. As subseções a seguir discutem brevemente cada uma delas.

2.3.3.1 A escolha do meta-avaliador

Os elementos habitualmente discutidos para a escolha do avaliador cabem também para o meta- avaliador: as competências que o profissional deve dominar, as outras competências sobre as quais ele precisa ter algum conhecimento (ainda que não domine), o escopo de trabalho, os produtos e cronograma de trabalho, por exemplo. Um aspecto, no entanto, precisa de mais cuidado: o fato de o avaliador ser interno ou externo. Existe uma vasta discussão sobre essa escolha, que passa por resistência da equipe interna à equipe externa, dificuldade no tratamento das pressões, envolvimento com a “causa”, fontes principais ou secundárias de sustento para o avaliador externo, tempo que o avaliador externo tem contato com o objeto sendo avaliado, dentre muitas (YANG; SHEN, 2006; RAY, 2006; SHULHA; COUSINS, 1997).

Para Stufflebeam (1974), a avaliação deve ser conduzida por avaliadores internos e externos; geralmente (embora não sempre), os avaliadores internos conduzem a avaliação formativa para informar a tomada de decisões durante o processo, ao passo que avaliadores externos devem conduzir a avaliação somativa, que levará à responsabilização dos avaliadores. Essa posição leva em conta o refinamento da proposta e a responsabilização pelo trabalho, mas deixa de lado o repertório do avaliador ou da equipe da avaliação primária. Para a meta-avaliação, os contratantes deveriam contar com profissionais com espectro mais abrangente de competências e conhecimentos, externos, para que pudessem contribuir para o refinamento da avaliação primária. Parte-se da premissa de que o avaliador interno e a equipe da avaliação primária tenham usado da melhor forma o repertório que possuem para o desenvolvimento do trabalho. À equipe primária é importante um componente reflexivo durante toda a experiência que, aliás, deveria fazer parte de

qualquer condução de experiência. Mas, para a meta-avaliação poder discutir a avaliação primária, seria interessante um meta-avaliador (ou uma equipe de meta-avaliação) que pudesse questionar e contribuir para esse “repertório primário”. Por essa razão, para a meta-avaliação, recomenda-se no presente trabalho que a equipe deva ser externa.

Sua escolha não é simples, no entanto. Como de resto em qualquer avaliação, a credibilidade é um fator de peso para que os resultados da meta-avaliação sejam considerados pelos avaliadores primários. É interessante perceber, por exemplo, um certo estranhamento entre os teóricos e acadêmicos da avaliação e os seus praticantes. Para os acadêmicos, os praticantes são os que concretizam experiências avaliativas (restritas à técnica) sem uma reflexão teórica, sendo, muitas vezes, rasos e acríticos. Para os praticantes, os acadêmicos vivem em um “mundo de livros”, completamente distantes do “mundo real’. Se esses preconceitos não forem tratados minimamente durante a formação da equipe de meta-avaliação, é provável que os conflitos durante o desenvolvimento do trabalho levem a sua não utilização, em lugar de contribuir para o fortalecimento de ambas as equipes.

Além disso, o Brasil apresenta uma restrição em relação a essa escolha: sua comunidade de avaliação é incipiente, embora esteja crescendo e se capacitando. A escolha, portanto, é limitada, especialmente para a formação de equipes de meta-avaliação para as grandes políticas. Muito provavelmente, os luminares já estarão, de uma forma ou outra, envolvidos na equipe primária. Seu repertório, portanto, já terá sido colocado a serviço da avaliação primária e pode ser que, em alguns casos, seja difícil buscar alguém ou algum time de meta-avaliação cujo repertório favoreça as discussões e contribuições para a experiência primária. Em que pesem as diferenças culturais, uma sugestão é buscar meta-avaliadores fora do país, em locais onde as comunidades de avaliadores já estão mais consolidadas, como os EUA, a França ou, na América Latina, o Chile.

2.3.3.2 Definição do momento para o delineamento da meta-avaliação

Idealmente, a decisão da realização de uma meta-avaliação deve ocorrer concomitante à da avaliação, mesmo em caso de uma meta-avaliativa somativa, cujos esforços se concentrarão nas informações a serem fornecidas nos ou após os momentos finais da ação. Os delineamentos seriam então paralelos e os dados sobre a avaliação seriam produzidos e já organizados, durante sua formulação e implementação, de maneira a favorecer a meta-avaliação. Há duas vantagens nessa proposta: 1) a equipe da avaliação primária sabe, desde o início, que é avaliada e sobre quais critérios isso vai acontecer; assim não será surpreendida quando a meta-avaliação começar a buscar dados e a produzir resultados, o que reduz a resistência; e 2) o fato de os dados estarem

sendo organizados (no grau de desagregação ideal) implica otimização de recursos. O quadro a seguir ilustra esse desenvolvimento paralelo em caso de uma meta-avaliação formativa.

Etapas

Foco Planejamento Implementação

Finalização e Resultados Conclusão Foco da Avaliação Elaboração do plano de avaliação integrado ao planejamento do seu objeto. Levantamento, tratamento e

análise dos dados.

Retorno das informações aos públicos-alvo. Contribuição na tomada de decisões e outros usos. Finalização dos documentos sobre o programa. Reflexão sobre o plano implementado. Foco da Meta- avaliação formativa Elaboração do plano de meta- avaliação. Análise da consistência do plano de avaliação contrastado com o planejamento / discussão preliminar da viabilidade. Análise da metodologia empregada e dos desvios do plano.

Análise do uso feito e da credibilidade do processo; conclusão sobre custo x efetividade. Finalização dos documentos sobre a avaliação. Reflexão sobre a meta-avaliação implementada.

Quadro 3: Paralelismo nos momentos de avaliação e meta-avaliação com objetivo de otimização de recursos.

A diferença entre meta-avaliação formativa e somativa não está na definição do momento do seu planejamento ou da coleta de dados, mas nos tempos de devolução dos resultados e no grau de controle utilizado para a coleta. A desvantagem do paralelismo de implementação entre a avaliação e a meta-avaliação está na pressão exercida sobre a equipe da avaliação primária, que pode desviar seu foco do objeto sob avaliação para buscar as respostas à meta-avaliação. Ainda assim, é recomendável a decisão sobre a meta-avaliação quando do planejamento da avaliação.

Situações emergenciais, no entanto, justificam o delineamento de meta-avaliação não prevista no início do programa, na busca por validação de dados, identificação de problemas e de suas causas e, em extremo caso, até da anulação do processo avaliativo primário.

2.3.3.3 Informações para o julgamento a ser feito

O melhor cenário de trabalho para a meta-avaliação é aquele no qual os padrões e os critérios que indicam a qualidade da avaliação já foram definidos. Isso pode ocorrer, por exemplo, no texto de um edital para contratação de uma avaliação para um programa39

ou, de maneira mais abrangente

e geral, através de posicionamentos das instituições de classe ou da base legal. Não é o caso da avaliação educacional no Brasil.

Na ausência desse norte, cabe aos meta-avaliadores negociar os padrões de qualidade com os stakeholders (obviamente considerando o estado da arte da avaliação como fundamento), como primeiro passo da meta-avaliação. É preciso ter em mente que as diferentes visões do que seja qualidade da avaliação refletem as ideologias, os contextos e os campos de origem dos avaliadores. Portanto, é de crucial valor a determinação dos padrões para garantir a credibilidade do processo meta-avaliativo (COOKSY; CARACELLI, 2005).

Entretanto, habitualmente é esquecida a definição da linha de corte que separa a avaliação de qualidade daquela “sem qualidade”. Por exemplo: de um modo geral, é fácil dizer que uma avaliação deve produzir dados precisos. É mais difícil determinar o grau de precisão que fará com que a avaliação seja julgada sem qualidade. Um outro exemplo: a avaliação será meta-avaliada por meio da verificação do cumprimento de um conjunto de 10 padrões. Há algum com maior peso que outro? Há algum que, isolado, defina a qualidade do conjunto? A análise será feita de modo analítico (um a um dos dez padrões) ou holístico (uma escala única que inclua todos os dez)? É tecnicamente possível definir uma escala única para padrões diferentes? Um bom exemplo da definição de uma escala pode ser visto em Penna Firme e Letichevsky (2002).

Diante dessas perguntas, vê-se que, tão importante quanto a definição dos padrões de qualidade, é a determinação dos critérios para julgá-los. Assim como os padrões, os critérios – ainda que atrelados a questões técnicas – precisam ser negociados com os stakeholders para evitar perda de credibilidade na meta-avaliação e conseqüente não utilização de seus resultados.

2.3.3.4 Questões contratuais

A literatura mostra a importância da meta-avaliação para a formação / capacitação das equipes de avaliação; muitas vezes, isso é referido como a “construção de uma massa crítica” para a avaliação. O último dos aspectos a serem discutidos em relação ao delineamento de uma meta- avaliação é a definição do escopo do trabalho a registrar em contrato em casos de meta-avaliação externa. É fundamental que sejam definidos, desde cedo, os produtos de trabalho da equipe de meta-avaliadores. A capacitação da equipe de avaliação primária é um desses produtos ou ele é resultado do trabalho da instituição contratante sobre os relatórios da avaliação? Essa questão é de suma importância porque há um limite a ser declarado sobre o que seja meta-avaliar, o que seja capacitar a equipe, e o que seja transferir tecnologia, por exemplo. A quantidade de horas a

utilizar na capacitação tem que ser considerada quando da formação do preço do trabalho. Da mesma maneira, a transferência de tecnologia implica normalmente um custo adicional à meta- avaliação.

Um segundo aspecto contratual a ser definido é a identificação da pessoa ou do grupo de pessoas da equipe primária que receberão produtos e serviços da equipe secundária. Queixas de que a equipe externa não informou a interna sobre os processos ou não entregou a base de dados ou que, de alguma forma, reteve informações são freqüentes em políticas de avaliação. Por essa razão, a propriedade da base de dados, a política de usos, e a política de divulgação atreladas a certa experiência avaliativa (seja primária ou secundária) precisam estar definidas contratualmente, para evitar problemas posteriores.

Da perspectiva desse trabalho, são essas as quatro questões (escolha do meta-avaliador, momento de delineamento, base do julgamento a ser feito, e questões contratuais) que merecem grande cuidado no delineamento da meta-avaliação, obviamente não se tendo descartado as demais (discutidas na seção Avaliação). Ficam no ar ainda algumas preocupações: que de maneira a meta-avaliação olha para a avaliação primária? Como abordar uma experiência complexa como a avaliativa sem retalhá-la? Como diferenciar as preocupações com um ou outro aspecto avaliativo (Os instrumentos foram bem construídos? Houve tratamento dos dados brutos?, por exemplo) de preocupações mais holísticas como: O delineamento da avaliação levou em consideração as demandas dos stakeholders? Ou, a avaliação é justificável em termos de custo? Ainda em 1974, Stufflebeam (1974:5) defendia que, ao indicar uma metodologia para a meta-avaliação, era importante ter em mente um conjunto apropriado de critérios, necessários para identificar atributos básicos e suficientes nos relatórios de avaliação e nos seus delineamentos. Em 1999, propôs um checklist para a meta-avaliação de avaliações de programa, no qual identificou as subcategorias mais importantes e os scores para cada uma das quatro categorias do JCSEE, de modo a permitir identificação das avaliações que minimamente tivessem conseguido atingir tais padrões de qualidade. No recorte desta pesquisa, entretanto, o foco é dado sobre a categoria Utilidade, complementada pela categoria Uso. É sobre elas, representando no seu conjunto as contribuições das políticas da avaliação, que trata a seção a seguir.