Questionnaire sur les représentations des enseignants

As avaliações vêm ganhando, no decorrer das últimas décadas, maior visibilidade e até mesmo centralidade tanto nas políticas educacionais quanto na gestão das redes e sistemas, estabelecendo aquilo que Castillo Arredondo e Cabrerizo Diago (2009), denominam “cultura de avaliação”. É possível observar uma diversidade de mecanismos

decorrentes das mesmas, desde estratégias de divulgação dos resultados até a premiação de agentes escolares. Esse lugar de destaque, no entanto, não assegura a existência de uma única interpretação quanto à definição do conceito. Para Dias Sobrinho (2002, p. 15),

a avaliação é “pluri-referencial”. Então, é complexa, polissêmica, tem múltiplas e heterogêneas referências”.

A multiplicidade de interpretações se relaciona tanto com o percurso conceitual nos meios acadêmicos quanto com a compreensão de suas funções. Há que se demarcar que a avaliação não é um conceito novo, e não se restringe ao espaço da produção escolar, acadêmica ou técnica. É possível afirmar que ela sempre existiu no campo da informalidade: de acordo com Worthen, Sanders e Fitzpatrick (2004), desde a pré-história é possível afirmar que os seres humanos realizavam avaliações, se tomarmos o conceito de maneira bastante simplista. No último século, contudo, ela vem se complexificando, ganhando mais interesse nas ciências humanas e se fundamentando no pensamento descritivo, analítico e crítico. Conforme destaca Vianna (2000, p. 24), um dos fatores que impulsionaram a diversificação de enfoques relativos à avaliação foi a relação estabelecida entre ela e o acompanhamento da qualidade dos processos. A despeito de ter como fundo, segundo o autor, uma base economicista, essa interpretação

[...] tem contribuído para que a avaliação se torne uma constante no processo educacional, envolvendo não apenas a avaliação do aluno (rendimento escolar), mas considerando outros elementos (currículos, programas, professores, rede física etc.) igualmente válidos para expressar a qualidade de um sistema educacional.

Machado (2013, p. 11) localiza no século XIX o momento no qual a avaliação se

torna “consciente”, ou seja, o momento no qual ela deixa de ser uma atividade informal para se tornar formal e “de corte epistemológico com uma tradição metafísica, ‘primária’

e incipiente, encetando um período de autonomização disciplinar e, sobretudo, de cientifização metodológica”. Esse autor demonstra, contudo, que suas bases

epistemológicas repousam no Renascimento, com a emergência de uma “cultura de projeto”, passando-se a valorizar competências de previsão, planificação e controle.

Na linha tênue entre a emancipação e o controle, bases do discurso fundante da própria educação, Machado (2013) identifica a crescente centralidade da avaliação, expressa particularmente no exame, que conjugava a ideia de um olhar hierárquico com a punição disciplinar. Nesse contexto, o exame adquire um lugar central como mediação dos instrumentos de vigilância e punição, sancionando ou premiando de acordo com o

desempenho. Emerge, assim, uma visão que mantinha o ensino e avaliação com atividades distintas e sequenciais, como aponta o autor (2013, p. 21):

Ensinar e avaliar surgem, assim, como atividades distintas e sequenciais, apesar da omnipresença da avaliação em quase todos os momentos de interstícios do trabalho escolar. O exame, como figura arquetípica da avaliação na modernidade, é exemplar neste aspecto: cria em torno de si uma simbólica cerimonial própria, através da qual o aluno, no final de uma unidade de ensino (um programa, um ano, um ciclo), faz prova perante o mestre de uma transição de saberes e de aptidão para uma passagem para o mundo do trabalho ou para a continuação dos estudos (Santomé, 1995). Do ponto de vista matricial, para utilizarmos uma linguagem mais recente, a avaliação é,

naturalmente, “sumativa” (grifos nossos).

Para além dessas bases, Nevo (1983) destaca a existência de muitas abordagens em avaliação, algumas mais específicas e que foram tomadas indevidamente como modelos, e algumas mais holísticas, que buscam integrar elementos presentes nas teorizações que as precedem. Vianna (2000, p. 19) também chama atenção para a existência não apenas de diferentes abordagens conceituais como a pertinência das mesmas à orientações teóricas diversas, o que necessariamente impõe situar qualquer conceituação em um contexto.

Nesse sentido, Castillo Arredondo e Cabrerizo Diago (2009) definem seis momentos históricos distintos na história das avaliações, determinantes para o processo de conceituação das mesmas. No primeiro, que foi do final do século XIX até a década de 1920, a avaliação era tomada como medida, baseada principalmente na psicologia, utilizando como recurso metodológico a psicometria. No segundo momento, entre os anos 1930 e 1940, a principal influência em sua definição era a teoria curricular proposta por Ralph Tyler, concebendo-se a avaliação como mecanismo de comprovação da consecução de objetivos propostos.

Já o terceiro período destacado pelos autores, entre os anos 1950 e 1960, foi marcado pela consideração da avaliação na totalidade do âmbito escolar, propondo que todos os fatores que convergem para a consecução do programa educacional – e não apenas o rendimento dos alunos – fossem levados em conta. Destacam-se nesse momento as contribuições de Cronbach, que agregou à definição de avaliação a questão da tomada de decisão e Scriven, que definiu a avaliação como processo de estimação do mérito ou valor daquilo que se avalia. O quarto, ao longo da década de 1970, congregou diferentes enfoques e tendências, com a avaliação orientada a dois âmbitos, alunos e tomadas de

decisões sobre o programa ou método, e com a compreensão de que a avaliação deveria averiguar as mudanças ocorridas no aluno em função das ações educacionais.

O quinto período, na década de 1980, foi marcado pela proliferação de modelos de avaliação, orientados a partir de dois grandes paradigmas: o qualitativo e o quantitativo. O sexto, a partir dos anos 1990, vem sendo marcado pela adoção de uma concepção de avaliação globalizada, formativa e integradora.

Outros autores propõem divisões distintas do percurso traçado pela avaliação educacional. É o caso de Guba e Lincoln (2011), que agrupam esse percurso em quatro gerações, de acordo com as características gerais presentes em cada um deles e não apenas pela cronologia.

A primeira geração teria como base a mensuração de diferentes atributos dos sujeitos. Surge com a popularização dos testes mentais, e tem força especialmente nas primeiras décadas do século XX. A segunda geração surge da necessidade de utilização da avaliação para aprimoramento dos currículos no contexto do Pós-Guerra. Nela, destaca-se uma abordagem de avaliação marcada pela descrição, ou seja, pela identificação dos pontos fortes e fracos dos programas curriculares que estavam sendo testados. É importante destacar que não se abandona a mensuração, mas passa-se a considerá-la como apenas um dos muitos instrumentos passíveis de emprego na avaliação.

A terceira geração, por sua vez, surgiria de uma fragilidade identificada em suas antecessoras: o fato delas não considerarem o juízo de valor por estarem centradas na mensuração e na descrição. Assim, o avaliador assume, para além das funções técnicas e descritivas, o papel de julgador, tendo sempre como base critérios previamente estabelecidos. Para Guba e Lincoln (2011), cada geração apresenta um avanço com relação à anterior, embora todas estivessem calcadas em uma tendência ao gerencialismo e em uma incapacidade de congregar valores divergentes. É nesse sentido que eles propõem a quarta geração de avaliação, que seria uma avaliação construtivista responsiva, abarcando uma maior interação entre os grupos envolvidos na avaliação e rompendo com o paradigma científico.

Independente da forma como as correntes avaliativas podem ser interpretadas historicamente, é possível verificar uma dificuldade de conceituação da mesma, dadas as múltiplas interpretações presentes que permitiriam sempre extrair algum elemento válido.

Contudo, o levantamento de conceituações de avaliação deve contribuir para uma delimitação que tenha um caráter mais operativo, notadamente, pelas implicações sociais, políticas e, sobretudo, educacionais que tem. Prosseguindo nesse esforço, podemos destacar o conceito de avaliação, com grandes repercussões na própria história da avaliação educacional, elaborado por Michael Scriven (1967), para quem avaliar é determinar o valor ou mérito de alguma coisa. Esse autor afirma que a avaliação procura responder a certos tipos de questões sobre certos tipos de entidades. Essas questões podem ser relativas à qualidade do instrumento, ao seu impacto sobre o grupo avaliado, ao seu desempenho etc. Tomando a avaliação como atividade metodológica em si mesma, afirma que (Op. Cit., p. 40)

A atividade [de avaliar] consiste simplesmente na coleta e combinação de dados sobre desempenho associado a uma escala ponderada de objetivos, para produzir ou classificações comparativas ou numéricas, na justificação de (a) instrumentos de coleta de dados, (b) as ponderações e (c) a seleção de objetivos.

Seguindo as proposições de Scriven, Worthen, Sanders e Fitzpatrick (2004, p. 35) reforçam a ideia da avaliação como determinação do valor ou mérito de algum objeto,

acrescentando que “a avaliação é identificação, esclarecimento e aplicação de critérios

defensáveis para determinar o valor (ou mérito), a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado em relação a esses critérios”.

Popham (1977, p. 11) percebe a avaliação como uma “operação na qual a qualidade de uma iniciativa educacional é julgada” e chama atenção, ainda, para o caráter

de julgamento de valor e para o fato de que as avaliações devem ser orientadas para a

tomada de decisões e consideradas como “o ato de aferir, através de comparação, (1) o

resultado observado (dados de desempenho) de alguma iniciativa educacional com (2) um padrão ou critério de aceitabilidade pretendido (dados desejados)”.

Para Nevo (2005, p. 442-3) a avaliação seria o ato de coletar sistematicamente informações relativas à natureza e qualidade dos objetos educacionais.

Essa definição combina descrição e julgamento, mas distingue entre eles por causa de sua natureza diferente. Descrição pode se basear na coleta de dados e isso resulta em informação altamente objetiva. Julgamento é baseado em critérios, que na maior parte dos casos são determinados por valores, normas sociais e preferências pessoais das partes interessadas com a avaliação. O Julgamento pode ter uma natureza bastante subjetiva. Descrição e julgamento, embora coexistam na maioria das avaliações, são usados em diferentes proporções para diferentes propósitos e por diferentes tipos de avaliadores (trad. nossa).

Agregando a contribuição de diferentes autores que os precederam, Castillo Arredondo e Cabrerizo Diago (2009, p. 39) consideram a avaliação como um processo dinâmico, aberto e contextualizado, a ser desenvolvido em um determinado período de tempo. Apresentam como três características básicas da avaliação:

1º Obter informação: Aplicação de procedimentos válidos e

confiáveis para conseguir dados e informação sistemática, rigorosa, relevante e apropriada que fundamente a consistência e a segurança dos resultados da avaliação.

2º Formular juízos de valor: Os dados obtidos devem permitir

fundamentar a análise e a avaliação dos fatos que se pretende avaliar, para que se possa formular um juízo de valor o mais acertado possível.

3º Tomar decisões: De acordo com os juízos emitidos sobre a

informação relevante disponível, será possível tomar as decisões cabíveis a cada caso.

Ainda dentro desse movimento de conceituação, Lukas Mujika e Santiago Etxeberría (2009, p. 91-2) buscam uma síntese que abarque as diferentes dimensões da avaliação, sustentando que

A avaliação é o processo de identificação, coleta e análise de informação relevante – que poderá ser quantitativa ou qualitativa –, de maneira sistemática, rigorosa, planificada, dirigida, objetiva, crível, confiável e válida para emitir juízos de valor baseados em critérios e referências pré-estabelecidos para determinar o valor e o mérito do objeto educativo em questão a fim de tomar decisões que ajudem a otimizar o objeto mencionado.

Há que se considerar, ainda, a dimensão política presente nas avaliações. Para Worthen, Sanders e Fitzpatrick (2004), a avaliação é uma atividade científica, do ponto de vista de seus métodos, mas possui um caráter político quando são considerados os seus usos. Afonso (2000) destaca que a própria escolha de uma dada modalidade ou técnica pode expressar intencionalidades e orientações políticas, sendo por esse motivo fruto de relações de poder.

Outro aspecto importante que merece consideração é a diferença entre avaliação, testagem e medida. Haydt (1997) demarca a diferença entre os três elementos, demonstrando que testar se refere à submissão de alguém a um teste ou experiência, ou seja, a criação de situações previamente organizadas para verificar o desempenho de alguém/alguma coisa. Medir, por sua vez, diz respeito à determinação da quantidade, extensão ou grau de alguma coisa, tendo como base um sistema de unidades convencionais. A medida seria, portanto, o aspecto quantitativo do fenômeno descrito, podendo ser obtida por meio de um teste ou qualquer outro instrumento. Isso os

diferenciaria, portanto, do avaliar, uma vez que ele envolve necessariamente o julgamento sobre o objeto, tendo por base uma escala de valores.

Oliveira (2008, p. 231), corroborando esse pensamento, demarca que a testagem de estudantes, como um possível instrumento de medida, não encerra em si a avaliação, que pressupõe um movimento mais amplo, considerando que

A avaliação consiste em um processo mais amplo que pode tomar a medida como uma de suas dimensões, mas se associa à elaboração de juízos de valor sobre a medida e a proposição de ações a partir dela. De uma medida, proporcionada por uma testagem, para se chegar a um processo avaliativo é necessário que se reflita sobre seus significados e as possíveis ações a serem desenvolvidas a partir daí. (grifo nosso)

Com relação aos instrumentos que podem ser utilizados para a consecução de uma avaliação, Castillo Arredondo e Cabrerizo Diago (2009) apontam que, entre outros, podem ser utilizadas técnicas de observação, prova objetiva, pesquisas, entrevistas, evocação entre outros. Contudo, a literatura aponta os testes aplicados aos alunos como os mais recorrentes. Gatti (2013, p. 48-9) afirma a impossibilidade da implementação de um processo de avaliação do desempenho escolar sem uma base de conhecimentos constituída sobre aspectos cognitivos ligados à escolarização. Para essa autora

A base e a essência desses processos avaliativos são as provas, que oferecem situações que permitem aquilatar a posse ou não de conhecimentos, sob diferentes formas, ligados a um currículo de referência. O domínio de conhecimentos e técnicas para tanto é imprescindível para uma boa avaliação, uma avaliação que faça sentido, que tenha significado para o trabalho escolar. Portanto, demanda pessoas com formação adequada em educação, currículo e metodologias avaliativas. As provas são o coração da avaliação de desempenho escolar e sua garantia de validade (grifos nossos).

Os sujeitos avaliados ou os “objetos de avaliação” mais comuns, de acordo com

Nevo (1983) são alunos e professores. Chama atenção, contudo, para o fato de que outras dimensões educacionais precisam ser avaliadas, como projetos, programas, materiais curriculares e instituições.

A avaliação também pode ser definida de acordo com suas finalidades ou funções. Scriven (1967), tomando como referência a avaliação de currículos, definiu a existência de avaliações formativas e somativas. A primeira está relacionada ao desenvolvimento de um currículo ou programa, ou seja, se realiza no decorrer de processos em andamento; já a segunda ocorreria ao final de um processo (desenvolvimento de um currículo) para determinar o seu valor.

Outros autores, como Castillo Arredondo e Cabrerizo Diago (2009) e Worthen, Sanders e Fitzpatrick (2004), acrescentam à essas duas finalidades uma que as antecederia, qual seja, a avaliação diagnóstica, cuja finalidade é diagnosticar as características do objeto de avaliação (no caso, dos alunos) no início de um processo de aprendizagem. Também chamada pelos autores de avaliação zero, tem como uma de suas características ser descritiva.

Além disso, é possível definir a avaliação de acordo com a origem dos agentes avaliadores. As avaliações internas seriam aquelas realizadas pelos próprios integrantes do contexto avaliado, por exemplo, professores de uma escola, agentes de um programa. Já as avaliações externas seriam aquelas nas quais “o avaliado e o avaliador são pessoas ou instâncias diferentes e são realizadas quando agentes não integrantes habitualmente de

uma escola ou de um programa avaliam seu funcionamento” (CASTILLO

ARREDONDO; CABRERIZO DIAGO, 2009, p. 65).

Para efeito de análises, a definição de avaliação externa adotada nesta pesquisa é

a de Madaus (1988, p. 86), para quem “programas de avaliação externa são aqueles

controlados e/ou estabelecidos por uma autoridade externa, como um departamento de

educação estatal, a legislatura ou uma agência privada”. Ainda que sejam constatadas situações nas quais aparece como sinônimo de “avaliação em larga escala” ou “avaliação de sistema”, o conceito de avaliação externa é mais adequado para demarcar a ação de

um sujeito externo às escolas, ressaltando sua dimensão política. As avaliações externas são apresentadas, entre outros traços, como instrumentos para o desenvolvimento de políticas públicas apoiadas na verificação das proficiências em certas áreas do conhecimento, visando superar o fracasso e promover melhor equidade educacional, na medida em que possibilitariam diagnosticar problemas nos sistemas ou nas escolas.

De um modo geral, as avaliações externas apresentam padronizações quanto à utilização de instrumentos e escalas de interpretação. Russel e Airasian (2014, p. 22-23) destacam a importância dessa padronização quando se objetiva promover comparações ou obter informações com um mesmo propósito para um grande número de indivíduos ou contextos diferentes. Destacam algumas características que devem ser observadas nesse tipo de avaliação:

Uma avaliação padronizada é administrada, graduada e interpretada do mesmo modo para todos os alunos, independentemente de onde ou quando eles tenham sido avaliados. As avaliações padronizadas devem ser passadas a alunos de diferentes salas de aula, mas sempre sob as mesmas condições, com as mesmas orientações e na mesma quantidade de tempo de todos os outros alunos que estão fazendo a prova naquele

momento. Além disso, os resultados das provas receberão uma nota e serão interpretados do mesmo modo para todos os estudantes. O principal motivo para a realização dos procedimentos de avaliação padronizados é garantir que as condições de testes tenham efeito similar no desempenho de alunos de diferentes escolas e Estados.

Um importante aspecto a ser observado em qualquer avaliação, segundo os mesmos autores, é que elas devem ser válidas e confiáveis. Consideram que a validade diz respeito à relevância das informações coletadas para a decisão que será tomada com base nos resultados. Já a confiabilidade se refere à consistência das informações obtidas, ou seja, se elas de fato correspondem ao comportamento de um aluno ou grupo. Para assegurar esta última, afirmam ser necessário coletar informações diversas sobre o comportamento ou desempenho observado.

Ainda no que tange às avaliações externas – foco de investigação desta Dissertação – elas podem se apresentar com diferentes modelagens. Por definição, conhecimentos não podem ser mensurados diretamente, de modo que são necessários instrumentos que objetivem medi-los de maneira indireta. De um modo geral, tem-se observado que para tanto são utilizados testes com itens de múltipla escolha, nas áreas de Língua Portuguesa e Matemática (eventualmente também em Ciências), podendo conter alguns itens de resposta construída. Há duas teorias matemáticas que são bastante utilizadas na construção desses testes: a Teoria Clássica dos Testes (TCT) e a Teoria de Resposta ao Item (TRI).

A TCT foi desenvolvida no início do século XX, e tem como característica a mensuração do resultado total de um indivíduo em um teste onde os itens são selecionados com base em parâmetros de dificuldade e discriminação. Sartes e Souza-Formigoni (2013, p. 241-242) destacam que dentre os sete postulados que constituem a base dessa teoria, dois são mais representativos da mesma:

O primeiro dele faz referência ao fato de que o resultado observado no teste do indivíduo (X) é resultante da soma do resultado verdadeiro do

indivíduo (V: valor real), denominado por DeVellis (2006) “escore verdadeiro”, com erro de medida associado a esse mesmo resultado (E:

variável aleatória). [...] Outro postulado estipula que o valor esperado para o resultado observado é o resultado verdadeiro. Isto significa que a precisão de um resultado aumenta com o número de observações. Em resumo, os postulados da TCT assumem que os erros aleatórios da medida devem ser independentes, em qualquer circunstância.

Uma das principais limitações da TCT, consideradas suas características, é que ela não permite a comparabilidade de populações nem de medições ao longo do tempo, pois todas as medidas são dependentes da amostra dos indivíduos. Além disso, diferentes

índices de dificuldade e de discriminação geram resultados distintos para os mesmos indivíduos.

Tais barreiras presentes na TCT, especialmente no que tange ao acompanhamento dos processos educacionais longitudinalmente e em termos de comparação de populações, estimularam a utilização da Teoria de Resposta ao Item em avaliações em larga escala ligadas às políticas públicas. Klein (2013, p. 107) a define como

[...] um conjunto de modelos matemáticos onde a probabilidade de resposta a um item é modelada como função da proficiência do aluno (variável não observável) e de parâmetros que expressam certas propriedades dos itens, com a propriedade de que quanto maior a