The graph complex GC 2

A primeira etapa do trabalho, ainda no início do doutorado, consistiu no levantamento dos documentos originais do Projeto de Avaliação Externa, especialmente aqueles que trataram da AA no contexto do Programa Educar para Vencer. Os documentos foram organizados cronologicamente e separados por natureza (documentos referentes ao delineamento da política, documentos de implementação da política e relatórios técnicos). Foram também buscados os modelos de RD e dos Manuais de Aplicação (professor e diretor) da AA de 2001 a 2004, de modo que se pudesse identificar, nas bases de dados categorizadas e tabuladas pela equipe central da Avaliação e nos relatórios síntese correspondentes, as questões que trataram de percepção de utilidade ou dos usos feitos com os resultados e o processo de avaliação. A partir da leitura desses documentos, foi possível o levantamento dos objetivos e características da AA. Para a descrição do contexto no qual houve a implementação da política, foi utilizado o material já relacionado para a dissertação de mestrado desse autor.

Ainda nessa fase, uma segunda etapa de tratamento das bases de dados disponíveis foi realizada após a qualificação. Para tanto, utilizou-se o SPSS. Após redução das imensas bases da AA2004 e da AD 2004 (resultados de alunos e respostas dos diretores, com mais de 1.000 variáveis no total) aos indicadores que tratassem de uso ou de utilidade, foram nomeadas as variáveis da base AD2004 a partir de dicionário fornecido pela equipe central. As bases da AA2004 já tinham seus respectivos rótulos.

Além disso, nessa etapa foram investigados os manuais de categorização dos RD, utilizados na capacitação dos consultores responsáveis pela tabulação dos dados, para análise das informações nas bases de dados e da qualidade dos relatórios síntese de monitoramento. Após análise dos dados da AA de 2002 e 2003, optou-se por utilizar as informações já sintetizadas pela equipe da avaliação e disponíveis nos Relatórios Síntese das aplicações por unidade letiva (1ª, 2ª e 3ª, com

ênfase na 3ª unidade) e descartar o trabalho direto com essas duas bases. Por fim, por falta de padronização no trabalho de tabulação dos dados, optou-se pela não utilização das bases com dados oriundos dos RD da AA 2001.

É importante ressaltar que o feedback das escolas derivado dessas bases ou obtido dos Relatórios Síntese não representa o conjunto de unidades escolares abrangidas pela AA. Há na amostra um viés: as escolas que encaminharam os RD dentro do prazo, de alguma maneira, distinguiram-se das demais por cumprir os prazos da AA e manter a comunicação escola – equipe central (ou por terem estado ligadas a coordenações municipais que o fizeram). Houve, no entanto, opção pela sua utilização no presente estudo porque os registros dessas escolas permitem esclarecer o que ocorreu durante a implementação da AA e o uso de seus materiais por aquelas escolas que cumpriram o calendário proposto. Em um delineamento ideal de pesquisa, as escolas (e mesmo as redes municipais) não respondentes ao longo do ciclo da AA deveriam ser acompanhadas. Entretanto, isso não foi possível no contexto da AA ou do presente estudo, por razões de logística, custo e tempo. A tabela a seguir oferece o panorama de RD respondidos e encaminhados à equipe central, ao longo dos anos, que, após categorização e tabulação, formaram as bases de dados da AA.

Tabela 1: Panorama de RD enviados às escolas e encaminhados, depois de respondidos, de volta à equipe central da Avaliação entre 2001 e 2004.

Ano Relatórios do Diretor

2001 2002 2003 2004* Total geral de RD enviados às escolas / ano 3.064 8.100 7.968 8.264 Total de RD respondidos pelas escolas / ano 1.500 4.600 4.590 3.948 Percentual de RD respondidos (aproximado) 49% 57% 58% 48% Fonte: Relatório de Conclusão do Convênio 444/99 e Relatório Síntese de Monitoramento AA 2004-3ª unidade

No grupo de escolas respondentes, há unidades que enviaram os três relatórios por ano ou que enviaram os RD em uma ou outra unidade. De maneira geral, comparados os envios em um mesmo ano, percebe-se uma queda na freqüência de encaminhamento do RD na 3ª unidade letiva (DANTAS, 2005). Ao longo dos quatro anos do primeiro ciclo da AA, a tabela acima mostra que o ano de 2003 foi aquele com maior percentual de respostas pelas escolas e que esse percentual caiu em 10% quando comparado a 2004. Essa queda pode ter sido devida à entrada de novos municípios em 2004 ou ainda a um “cansaço” no envio dos RD pelas escolas que o fizeram em 55 A definição dos passos metodológicos foi feita a partir da leitura de LAVILLE, Christian e DIONNE,Jean (1999) e QUIVY, Raymond e CAMPENHOUDT, Luc van (1998).

anos anteriores. À exceção dos esclarecimentos diretos sobre dúvidas quanto ao processo de AA, não havia um benefício direto para os respondentes.

Finda a organização das bases AA e AD, foram trabalhadas – isoladamente - as bases oriundas do Censo Escolar MEC/SEC para a verificação do atingimento dos objetivos da AA. Nesse caso, por razões operacionais, optou-se pelo trabalho com as bases de 2001 e 2004 (entrada e finalização do ciclo da AA) e, em mais uma etapa de redução, a análise foi concentrada em duas séries do Ensino Fundamental, 1ª e 4ª. A 1ª série foi escolhida por ser a porta de entrada no Ensino Fundamental e aquela considerada crítica por muitos. Já a 4ª série foi escolhida por ser entendida como a finalização da primeira etapa do Ensino Fundamental (1ª a 4ª série) e, no caso em tela, do primeiro ciclo da AA. Novamente, após redução das bases para os indicadores do Quadro Operacional, foi feito uma fusão entre 2001 e 2004 e, em seguida, foram criadas novas variáveis que trataram da diferença entre as taxas de 2004 e aquelas apresentadas pela mesma escola em 2001. As bases do Censo Escolar são construídas a partir das respostas das escolas e não há uma verificação sobre a veracidade desses dados. Por essa razão, as análises oriundas dessas bases fornecem apenas um panorama geral das tendências das redes.

Nas bases finais de trabalho, as escolas foram agrupadas pelo período de envolvimento do município onde se localizam com o Programa Educar para Vencer e, mais especificamente, com a AA. Os primeiros municípios estabeleceram parcerias em 1999/2001. Um novo grupo foi adicionado ao já existente em 2002, que se manteve estável em 2003. Esse grupo foi identificado como 2002/2003. Em 2004, novos municípios estabeleceram parceria no início do ano (nominados AA 2004) e um grupo menor foi envolvido apenas para a AD2004. Dessa categorização surgiram dois grandes grupos: aqueles que deveriam ter sido impactados pela AA (os que entraram em 2003 ou anos anteriores) e aqueles que, pressupunha-se, não teriam tido tempo para sofrerem um impacto (aqueles envolvidos em 2004 ou não envolvidos). Os dados sobre a expansão da AA são detalhados na primeira subseção da Metodologia.