No atual cenário em que “a avaliação possui a tarefa de se centrar na forma de como o aluno aprende, sem descuidar da qualidade do que aprende” (Menéz, 2002, citado por Valente & Escudeiro, 2008, p. 1), avaliar o progresso das aprendizagens realizadas em contexto online obriga o repensar de estratégias de avaliação, pretendendo-se sempre assegurar a qualidade e a credibilidade da avaliação das aprendizagens online.
“Considering principles and quality measures for online assessment in the context of online learning has caused people to revisit the important elements of assessment and to reflect on the whys, and consequence of assessment, as well as the how to and options.” (Australian Flexible Learning, 2004, p. 12).
Neste contexto, “os métodos, técnicas e critérios, tradicionalmente usados na psicometria, tornaram-se insuficientes para avaliar uma aprendizagem baseada em competências em contextos fortemente determinados pelo uso das tecnologias” (Pereira, Oliveira e Tinoca; 2010, p. 5).
Segers, Dochy e Cascallar (2003) referem que vários pesquisadores (Messick, Linn, Baker and Dunbar) criticaram a utilização inapropriada de critérios psicométricos, apontando que existe uma necessidade urgente de desenvolver ou de expandir um conjunto de novos critérios associados a novos modos de avaliação.
Surge então um novo conceito, a edumetria que pretende medir o desenvolvimento do próprio aprendente (Brinke, 2008). De acordo com esta autora “The edumetric criteria should do more justice to the characteristic of competency assessment, by emphasizing the flexibility and authenticity of assessments and the integration of assessments” (p. 52).
A diferença entre as abordagens psicométrica e edumétrica é que a primeira se centra na medida das diferenças entre os estudantes, enquanto a segunda pretende medir o desenvolvimento do próprio aprendente (Brinke, 2008).
Segundo Hidalgo (2009, tradução nossa), a avaliação psicométrica apresenta as seguintes caraterísticas fundamentais:
1 – Os resultados das medições da aprendizagem são interpretados por comparação do desempenho de cada aluno com os outros membros do grupo avaliado.
2 – Os julgamentos avaliativos não são absolutos, mas relativos. A avaliação ou classificação que é atribuída a um estudante depende das caraterísticas do grupo a que pertence.
3 – A média e a variabilidade são a norma ou quadro para analisar e avaliar a qualidade do desempenho.
4 – Os resultados fornecem pouca informação sobre o grau de eficiência e capacidades que o aluno possui e que estão a ser avaliadas. Apenas indicam se o aluno é melhor ou pior, a capacidade de mais ou menos comparando com os seus pares. Esta abordagem pode ser útil para selecionar aqueles que são mais adequados para realizar determinada atividade.
5 – Os testes devem permitir diferenças de desempenho entre os membros do grupo avaliado.
6 – Os resultados dos testes são válidos e generalizáveis apenas dentro do grupo avaliado.
Por outro lado, o mesmo autor, identifica as seguintes caraterísticas para a avaliação edumétrica.
1– A formulação clara e precisa dos objetivos são a base para definir e avaliar o domínio comportamental de aprendizagem previstas para o curso.
3 – As perguntas devem ser coerentes com os objetivos de aprendizagem que compõem o domínio.
4 – Os resultados de aprendizagem são comparados com um padrão absoluto de desempenho para um determinado domínio, definido anteriormente pelo professor.
5 – O nível mínimo aceitável de aprendizagem para o domínio especificado, deve ser estabelecido antes de aplicar os testes e, se possível, com base em experiências anteriores e semelhantes condições educacionais (confiabilidade). 6 – A fonte de significado está no nível de realização para cada aluno, para cada objetivo e não o grupo a que pertence.
7 – Não interessa saber se os alunos do curso são melhores ou piores.
8 – Está orientada para desempenhar uma função formativa e não seletiva dos alunos.
Alfonso Orantes (2009) sugere que estas duas abordagens de avaliação, psicométrica e edumétrica, podem contrastar-se da seguinte forma:
Quanto ao objeto – No modelo edumétrico interessa receber informações sobre as realizações e as deficiências, enquanto que no psicométrico apenas se obtêm pontuações que representam valores numa escala, apenas é possível classificar os alunos de maior para o menor.
Quanto ao padrão de avaliação – Em edumetría os padrões são fixos e absolutos (a pessoa pode ou não pode, sabe ou não sabe), enquanto que em psicometria os padrões são relativos, sendo baseados em normas de desempenho do grupo com as quais se compara o desempenho de individual.
Quanto ao efeito – no modelo edumétrico interessa fazer descrições de estados atuais de desempenho; no modelo psicométrico interessa fazer previsões sobre o desempenho futuro com base em amostras.
Quanto ao indivíduo – em relação às mudanças ou comparações feitas individualmente, para a edumetría interessa o desenvolvimento do indivíduo
(alterações intra-sujeito), enquanto que para a psicometria interessa as diferenças entre os indivíduos (entre sujeitos).
Conforme Pereira, Oliveira e Tinoca (2010, p. 5), “Os critérios edumétricos são reconhecidos como válidos e mais justos para a avaliação de competências por enfatizarem a flexibilidade e a autenticidade da avaliação, bem como a sua integração no processo de aprendizagem, valorizando a sua função formadora.”
A tabela2 seguinte sintetiza as diferenças concetuais e operativas entre as duas abordagens de avaliação
Referências comparativas
Abordagem psicométrica Abordagem edumétrica
Critério para comparar
resultados
Referido a normas com estabelecimento de padrões
Referido para atingir os objetivos através da definição de campos de conduta Distribuição dos resultados esperados Curva normal. Parâmetros fixos
Naturalmente, não programada. Não há parâmetros fixos
Função da
avaliação
Uso de referências estatísticas Homogénea
Mínima discriminação Critérios de
aprovação
Heterogénea, diferença máxima Medir o dominio da aprendizagem. Estabelecer a diferença no dominio dos objetivos
Discriminação Medir aspectos específicos. Realização pessoal. Ritmo
2 tabela traduzida de
esperada do grupo turma
Estabelecer diferenças entre individuos individual. Finalidade dos instrumentos Maior objetividade e estruturação
Ativos, abertos e criativos.
Objetividade dos
instrumentos
Ampla, geral, referindo-se ao total
Usa-se para selecionar estratégias que garantam o domínio
Interpretação e generalização dos resultados
Realização grupal ou curso. Ritmo coletivo
Individual, diversos métodos. Avalia a sua eficácia
Expetativas de realização para os estudantes
Passiva, limitada, dirigida Global, espiral. Não há associação entre aptidão e desempenho. A regra da maioria
Participação do estudante
É usado para justificar e esperar diferenças de aprendizagem Orientador da aprendizagem Reconhecimento e respeito pelas diferenças individuais
Grupo. Método único. É avaliada a apresentação
Metodología de ensino utilizada
Específico, linear.
Rendimento determinado pelas habilidades.
Dominio de grupo reduzido
Tabela 3 – Síntese das diferenças concetuais e operativas entre os modelos psicométrico e edumétrico (adaptado de Hidalgo, 2009)
Segundo Orantes (2007),
“Lo que se ha planteado es una alternativa a la concepción que tradicionalmente se ha desarrollado dentro de la psicología que refleja la influencia de una época en la cual el interés se centraba en la utilización de instrumentos psicométricos con propósitos predictivos al servicio de la selección” (p.9)
A abordagem edumétrica abre perspetivas para uma melhor compreensão do processo cognitivo subjacente à avaliação de níveis de desempenho e análise dos erros, oferecendo uma maneira ideal para avaliar competências, ponto fulcral de um ensino que vai “ para além de uma educação baseada em objectivos para um novo paradigma centrado no desenvolvimento de competências” (Pereira, Oliveira e Tinoca, 2010, p. 1).
2 – Metodologia adotada
Pretende-se, neste capítulo, fazer uma abordagem teórica à investigação qualitativa em educação, incidindo particularmente no estudo de caso qualitativo; descrevem-se os participantes na investigação (sujeitos e investigador), assim como as estratégias de recolha de dados durante a investigação, nomeadamente através de inquéritos (questionários e entrevistas) e a participação dos alunos nos fóruns; e como são analisados os dados recolhidos.