Modèles de référence

om o objetivo de verificar se houve uma melhoria no desempenho das escolas Pintassilgo, Canário e João de Barro, durante a implantação do PQE, conforme os critérios descritos na Seção 2 deste trabalho, analisamos os dados do Boletim da Escola divulgado pela SEE/SP nos anos de 2008, 2009, 2010, 2011 e 2012.

A publicação do primeiro Boletim da Escola ocorreu no ano de 2008, e as demais publicações nos anos de 2009, 2010, 2011 e 2012. Ele traz o percentual de alunos de cada escola distribuídos pelos diferentes níveis de proficiência estabelecidos pela SEE/SP de acordo com o desempenho por eles alcançado nas avaliações do SARESP e com a meta a ser alcançada pela escola ao término do ano letivo.

Esse boletim, de livre acesso ao público, é divulgado no site da SEE/SP geralmente até o mês de maio do ano posterior à avaliação. O resultado é dado pela SEE/SP em relação ao grupo discente, e a escola não recebe o desempenho individual de cada aluno avaliado no SARESP. Como essa avaliação é aplicada no final do segundo semestre de cada ano letivo, as equipes escolares são orientadas pela DEP a desencadearem ações de melhoria antes mesmo da divulgação dos resultados oficiais, visto que o conhecimento do nível de proficiência alcançado pelo grupo só é divulgado pela SEE/SP no ano seguinte ao da aplicação, quando esses alunos cursarão a série subsequente. Assim, as equipes podem trabalhar as dificuldades percebidas pelos professores com todos os alunos da classe avaliados ou tentar detectar quais são os estudantes que apresentaram mais dificuldades, trabalhando com eles de maneira específica, confrontando o desempenho do SARESP com as avaliações realizadas pela escola no decorrer do ano. De acordo com o dirigente entrevistado, esse trabalho nem sempre é fácil:

Eu sou adepta do SARESP. Eu acho que é um sistema interessante, mas deveria ser divulgado o resultado por aluno e por escola. De 2007 para cá, o SARESP tem outros objetivos. Anteriormente, ele avaliava o aluno e o resultado era por aluno; agora é por escola e por série. De 2007 para cá, é usada a TRI- Teoria de Resposta ao Item, metodologia estatística. Antes, era a teoria clássica, por média de pontos: errou a questão 3, acertou a 4, errou a 5, etc. [...]; no final, divulgava-se

quantos pontos o aluno havia feito. A TRI não avalia o desempenho individual, mas sim, quantos alunos dominam aquela habilidade, que porcentagem de alunos consegue desenvolver determinado item e por ter conseguido desenvolver determinado item, desenvolveu também uma certa habilidade, que pertence a determinado grupo (que são em número de três). São várias as habilidades dentro de cada grupo. Por exemplo, a escola X sabe que ela tem 36% de alunos AB, mas quem são esses alunos? Isso é interessante e agora não temos como saber. Enquanto coordenadora e diretora numa escola pequena, se eu dominar isso, eles têm condições de cruzar 25% de alunos AB em língua portuguesa com os 100 que fizeram a prova na 6ª série. Então, vamos comparar com as avaliações dos professores, vamos ver se, junto com os professores, eu descubro quem são esses 25 alunos e posso fazer uma relação com eles, mas às vezes não bate. Corro risco. Será que realmente aqueles 25 são os que estão AB? Penso que o SARESP deveria ter duas finalidades: de avaliar o desempenho dos meninos e o sistema. Por que de agora em diante eles estão avaliando o sistema e não o desenvolvimento da aprendizagem individual (LINS).

Há, realmente, certa dificuldade para a identificação dos alunos em determinados níveis de proficiência, mas a possibilidade de fazê-lo é real, mesmo em escolas numerosas. Ela é dada pelo trabalho docente, ao confrontar o resultado do SARESP com as avaliações internas aplicadas por ele, na escola, nas diferentes situações de avaliação do desempenho discente.

Os dados divulgados pela SEE/SP, com base no grupo de alunos de cada escola, condizem com o depoimento de um colega de trabalho da DEP: “o IDESP é uma avaliação institucional; se a SEE/SP divulgar os resultados por aluno, ela será descaracterizada”. Um dirigente explica a importância dessa avaliação:

A justificativa da secretaria - e nós somos da secretaria e assumimos o que ela decidiu -, é a de que a avaliação institucional e externa, através de provas, é importante para que a escola sinta que ela tem de avaliar o aluno, mas ela também é avaliada e que sua avaliação depende do rendimento dos alunos. A secretaria achou fundamental que as escolas assumissem um pouco essa responsabilidade sobre a aprendizagem dos alunos e que é uma ideia um pouco solta. Todos sabem que esse é o objetivo da escola, mas, na realidade, não havia uma cobrança ou se havia cobrança, não havia como premiar ou não o resultado da escola. [...]. As escolas precisavam ser avaliadas até para sentirem o que precisava ser modificado, acrescido, alterado [...]. Nós não tivemos, em nível estadual ou nacional, uma cobrança das escolas no sentido de resultados. Aos poucos, acho que isso é consenso, as escolas vão se acostumando a ser avaliadas, que precisam de um acompanhamento

mais amplo. Ao mesmo tempo em que o IDESP avalia, ele cria, também, algumas alternativas para que a escola possa se desenvolver. Não é a questão apenas do bônus; é papel da DE, junto com a secretaria, criar formas de fazer que aquela escola com menor rendimento possa avançar. O que é possível ser feito, não é mesmo? (JOSÉ BONIFÁCIO).

O Boletim da Escola 2008 possui duas páginas, e sua estrutura básica é a mesma do Boletim da Escola 2009 e 2011, com algumas alterações. O boletim do ano de 2010 contém seis páginas e traz, em sua folha inicial, informações sobre o montante de alunos avaliados pelo SARESP 2010 e uma tabela comparativa do resultado médio da escola e as médias dos resultados dos demais participantes da mesma avaliação (rede estadual, COGSP, CEI, DEP, escolas municipais), nas disciplinas de língua portuguesa, matemática e ciências/ciências da natureza. As quatro páginas seguintes comparam os resultados dos alunos avaliados nas disciplinas de língua portuguesa, matemática, ciências/ciências da natureza e redação, classificando-os pelos três níveis de proficiência alcançados: insuficiente (Abaixo do Básico), suficiente (Básico e Adequado) e Avançado. Na última página, há a escala de proficiência da Prova Brasil e SAEB para demonstrar o resultado da escola, no SARESP, com base na métrica das avaliações do governo federal. O Boletim da Escola 2010 não registrava o IDESP alcançado pela unidade, sua meta para o ano ou os indicadores de fluxo e indicadores de desempenho; a ênfase foi dada à classificação dos resultados dos alunos pelos níveis de proficiência.

No Boletim da Escola 2011, a página inicial esclarece que o Índice de Cumprimento de Metas (IC) passa a ser a denominação da soma de dois indicadores que já existiam para fins do pagamento de bônus - o IC e o IQ, cujo cálculo não sofreu modificações. Esse boletim é mais objetivo se comparado ao do ano de 2010 e apresenta a distribuição dos alunos avaliados da escola, nas disciplinas de língua portuguesa e de matemática, pelos níveis de proficiência. Há apenas uma tabela comparativa entre o IDESP da escola e as médias da rede estadual e as demais tratam dos indicadores da escola (indicadores de desempenho em língua portuguesa e de matemática, indicador de fluxo e o IDESP 2011); da evolução e cumprimento das metas de 2011, por ciclo escolar (IDESP 2010, IDESP 2011, metas 2011 e parcela cumprida da meta); do índice do cumprimento das metas 2011 por ciclo escolar (soma da parcela cumprida da meta -

IC ao adicional de qualidade - IQ) e do Índice de Cumprimento de Metas (IC) de 2011 da escola, com dados da proporção de alunos avaliados e metas para o ano de 2012 por ciclo escolar. O Boletim da Escola 2012 segue a mesma estrutura do boletim do ano anterior, mas sua diferença crucial consiste em não explicitar as metas da escola para o ano de 2013. Em vez dessas metas, havia uma explicação de que elas não seriam disponibilizadas em decorrência de estudos em andamento para aperfeiçoamento da Bonificação por Resultados.

Organizamos as Tabelas 6, 7, 8 e 9 a partir dos resultados das escolas Pintassilgo, João de Barro e Canário, tendo como base os dados do Boletim da Escola dos anos de 2008 a 2012. Na Tabela 6, o IDESP está decomposto em indicador de desempenho (ID) e indicador de fluxo (IF), embora esses dados (ID e IF) não tenham sido disponibilizados nos Boletins da Escola do ano de 2010. Ao decompor o IDESP em ID e IF, torna-se mais claro como o fator fluxo interfere no seu cálculo.

TABELA 6 – Indicadores de desempenho e de fluxo

ESCOLAS 2008 2009 2011 2012 ID IF ID IF ID IF ID IF JOÃO DE BARRO 4,05 0,9760 4,74 0,9795 4,25 0,99 4,53 0,9886 PINTASSILGO 3,09 0,9240 2,66 0,6894 3,91 0,7520 3,09 0,7573 CANÁRIO 3,06 0,8050 3,20 0,8135 2,49 0,8531 2,51 0,8238 Fonte: SEE/SP

Na escola João de Barro, temos um IF constante (de 0,97 a 0,99), no período analisado na Tabela 6, que pouco interfere em seu ID no que diz respeito ao IDESP apontado na Tabela 7.

Na Tabela 7, organizamos o IDESP de 2008 a 2012, do ciclo II do ensino fundamental de cada escola, bem como as metas estipuladas pela SEE/SP, para os respectivos anos.

TABELA 7 – Comparativo entre o IDESP alcançado pelas escolas e a respectiva meta, projetada pela SEE/SP, nos anos de 2008, 2009, 2010, 2011 e 2012

Fonte: SEE/SP

O IF da escola Canário também manteve índices próximos (entre 0,80 e 0,85) no período de 2008 a 2012. Nessa escola, podemos observar que quanto mais o IF se aproxima do número absoluto um, menos ele interfere no valor do ID no que concerne ao IDESP apurado. Por exemplo: no ano de 2008, o IF foi de 0,8050 e o ID 3,06. Como quase 20% dos alunos não foram aprovados, isso fez que o IDESP do período tivesse uma diferença de 0,60 em relação ao ID acurado. No ano de 2011, essa diferença foi de 0,37 (entre o ID de 2,49 e o IDESP de 2,12) porque o IF foi mais alto (0,8531).

A grande diferença ocorreu com a escola Pintassilgo, cujo IF era de 0,9240 em 2008 e passou para 0, 6894 no ano seguinte. Esse índice foi responsável pela queda do IDESP em relação ao ID no período - uma diferença de 0,24 em 2008. No ano de 2009, o ID era de 2,66 e o IDESP ficou em 1,83 (diferença de 0,83). O mesmo ocorreu no ano de 2011, cujo ID foi de 3,91, mas o IF de 0,7520 repercutiu no IDESP, cujo índice ficou em 2,94. Mesmo assim, a escola superou a meta de 2,33 para o ano de 2011, influenciando o cálculo para o ano seguinte: 3,13. Essa meta, no entanto, não foi atingida pela escola em 2012, e mesmo mantendo um IF próximo ao do ano anterior (por volta de 0,75) observamos uma queda no ID (diferença de 0,82 entre 2011 e 2012), gerando o IDESP de 2,34 para o ano de 2012. Esse índice ficou muito aquém das expectativas para o período.

A distribuição dos alunos pelos diferentes níveis de proficiência, obtidos nas avaliações de língua portuguesa e de matemática durante o período de 2008 a 2012, está exposta nas Tabelas 8 e 9.

ESCOLAS 2008 2009 2010 2011 2012