No que se refere à tipologia de questões Alderson (2000), apoiado em Bachman e Palmer (1996), apresenta a seguinte classificação: extended production response (questões abertas), limited production response (questões semiabertas) e selected response (questões fechadas).
Entendemos por questões abertas aquelas que requerem formulações livres dos aprendizes. Por questões semiabertas aquelas que alunos também são requisitados a formular respostas, porém em um contexto limitado, como o preenchimento de lacunas ou respostas curtas. E por questões fechadas aquelas que o os estudantes têm que identificar a resposta correta, como os exercícios de múltipla escolha ou de relacionar.
No corpus somam-se 78 itens39 divididos em 22 textos. Foram observadas questões abertas, semiabertas e fechadas propostas em diferentes formatos, a saber: resposta aberta, preenchimento de lacuna, preenchimento de lacuna com alternativas, verdadeiro ou falso, verdadeiro ou falso ampliado40, transcrição de trechos do texto, resposta curta, relacionar (matching); múltipla escolha e tradução.
Conforme Apêndice D, podemos notar que a maior parte dos participantes utilizou dois ou mais tipos de questões em suas avaliações. A nosso ver, essa variedade é positiva uma vez que diferentes técnicas permitem avaliar diferentes aspectos do construto testado (ALDERSON, 2000).
O gráfico 1 ilustra a porcentagem da tipologia de questões empregadas pelos participantes.
39 Embora haja na literatura uma distinção entre tarefa (task), questão (question) e item, aqui assumimos a visão de Alderson (2000) e utilizaremos esses termos como sinônimos.
40 Entendemos por Verdadeiro ou Falso Ampliado o tipo de questão em que o aluno é requisitado além de responder V ou F a justificar suas respostas ou a corrigir as respostas falsas.
Gráfico 1 - Tipologia de questão
Fonte: elaborado pela autora (2020).
Percebe-se o predomínio das questões de múltipla escolha (40%), seguido da resposta curta (23%) e resposta aberta (15%). A seguir, apresentamos algumas considerações sobre a tipologia de questões presentes no corpus.
As questões de múltipla escolha, por serem questões fechadas, trazem muita praticidade às avaliações. De acordo com Alderson (2000), embora esse método seja muito utilizado em exames de línguas, diversos autores questionam a validade desse tipo de item. As razões para esse questionamento seria que os distratores podem enganar o aluno e levá-lo a pensar de uma outra maneira. Acrescido a isso está o fato de que não é possível garantir que o aprendiz siga o mesmo trajeto do elaborador do teste (ou do professor avaliador) para chegar à resposta correta, pois o aluno pode escolher a resposta correta pelas razões erradas. Assim sendo, não se pode garantir que determinada habilidade leitora está sendo testada. Alderson (2000) acrescenta que uma alternativa a esse problema é pedir que o aluno justifique sua resposta, o que traria pouca praticidade para a correção. No corpus analisado não foi solicitado nenhuma vez que os aprendizes justificassem sua resposta em questões de múltipla escolha.
Embora a maioria dos participantes tenha afirmado não possuir preferência por nenhum tipo de questão, acreditamos que o uso de questões de múltipla escolha (40%) se justifica pela praticidade de correção (que se relacionaria com as condições objetivas descritas por
VANCONCELLOS, 2003), por validar a leitura de quem elaborou a questão e também por ser uma tipologia comum nos exames de larga escala. Nas palavras de P8:
P8: eu trago perguntas abertas... fechadas... verdadeiro ou fal/ verdadeiro ou falso eu não trago muito não porque eu acho que confunde um pouco ((risos))... alternativa.... alternativa sim... mas numa pegada mais ENEM
Pesquisadora: tá... por que o ENEM em especial?
P8: ah porque eu acho que ele avalia bem essa coisa da compreensão do texto de maneira geral... e também porque eu preparo eles para o ENEM às vê/... ensino médio pelo menos... eu preparo eles para o ENEM porque muitos querem o espanhol... Como é possível observar na fala de P8, a avaliação de rendimento também é um momento de preparação dos alunos para os exames externos. Assim, a escolha por questões de múltipla escolha não é aleatória, pelo contrário, é influenciada pelo efeito que esses exames exercem no ensino regular. Outro participante (P6), ao relatar uma experiência anterior, também enfatiza essa necessidade de acostumar os alunos com esse tipo de item:
P6: ou seja é pra treinar o aluno pra passar pro vestibular… pra passar pro ENEM… pra ser uma pessoa que saiba fazer o xizinho de forma plena… que vai discorrer no tempo adequado… para que ele possa… agradar… a ele mesmo e agradar os familiares entrando na universidade de prestígio a qual ele faz tanto desejo... e tanto investem… altíssimo pra isso
Cabe destacar que no corpus as questões de múltipla escolha de 4 avaliações são extraídas de exames externos. Entendendo que a influência desses exames é uma realidade e que vai muito além das questões relacionadas à forma da avaliação, retomaremos essa discussão a partir das perspectivas sobre a finalidade.
No que se refere aos itens de resposta curta Alderson (2000) afirma que essa técnica é justificada, em comparação aos itens de múltipla escolha, pela possibilidade de interpretação das respostas dos estudantes. Acreditamos que esse tipo de item tenha se destacado no corpus (23%) pela praticidade de correção (se comparado às questões de resposta aberta) e pelo tipo de conhecimento que pode avaliar, isto é, perguntas de localização (normalmente introduzidas por interrogativos quem, onde, quando etc.) comumente requerem respostas curtas. Por serem itens de fácil elaboração e correção acabam sendo muito utilizados.
Em relação às questões abertas (15% do corpus), pode-se dizer que são itens de elaboração mais fácil, no entanto, por não ser uma questão objetiva a correção é pouco prática. Um ponto sensível desse tipo de questão é que nem sempre os aprendizes possuem o domínio linguístico para responder o item em LE, portanto, é necessário ter clareza do que se deseja avaliar com a questão para que o professor não “se perca” nas correções. Uma alternativa seria
permitir o uso da LM para responder o item. Entre as questões de resposta aberta presentes no corpus todas se apresentam com o enunciado em língua espanhola, o que nos leva inferir que as respostas também devam ser elaboradas nesse idioma. No entanto, como não tivemos acesso à produção dos estudantes não podemos depreender sobre o julgamento das respostas.
Também gostaríamos de destacar os itens de verdadeiro ou falso ampliado (3% do corpus) e o preenchimento de lacunas (4%). Os itens de verdadeiro ou falso em seu formato tradicional dão ao estudante 50% de chances de adivinhar a resposta certa. Entretanto, no corpus analisado, é solicitado ao aprendiz justificar sua resposta ou corrigir a informação falsa. Em entrevista, P1 explica sua preferência por essa tipologia de exercícios:
P1: então eu gosto também de verdadeiro e falso corrigindo as questões que estão falsas.... ah::
Pesquisadora: por alguma razão... verdadeiro e falso?
P1: porque eu acho que o aluno tem que voltar a ler o texto... porque o verdadeiro e falso às vezes traz algumas miudezas... um não... uma vírgula... alguma coisa que faça/ pequena que faça com que ele volte no texto e tenha que realmente se apropriar do texto para responder... e a correção das afirmações falsas... pra que: ele realmente pense no que... na resposta dele, por que ele colocou aquilo
Pesquisadora: não é um chute né
P1: não é um chute... exatamente não é um chute... e algumas questões que são pontuais sobre o texto e responda... não com copie e cole mas que ele consiga elaborar alguma questão mais elaborada pra que ele consiga ter uma resposta mostrando também entendimento do texto
É possível notar através do discurso de P1 que o participante entende que correção das afirmações falsas minimiza a possibilidade de uma resposta aleatória dos alunos. Além disso, enxerga nesse tipo de item uma boa ferramenta para avaliar informações específicas do texto. Concordamos com o participante que essa tipologia de item pode ser de grande valia, caberia então discutir o conteúdo das questões propostas.
Segundo Alderson (2000), nos testes de preenchimento de lacunas, o elaborador do teste escolhe deliberadamente as palavras que serão subtraídas, portanto pode direcionar a avaliação da leitura para uma compreensão global do texto ou focar em aspectos linguísticos. As questões com preenchimento de lacunas ou de preenchimento de lacuna com alternativa presentes no corpus enfatizam elementos linguísticos (gramaticais e lexicais), sinalizando a importância dado aos conteúdos linguísticos estáveis dentro dos contextos analisados.
Também nos chamou a atenção o uso da tradução por P6 para avaliar a leitura. De acordo com Melero Abadía (2000) o uso da tradução na aula de LE tem origem no ensino do latim e de outras clássicas e se estendeu para o ensino das línguas modernas a partir século XIX, com o denominado Método Gramática e Tradução, ou Método Tradicional. A nosso ver, o uso da
tradução para avaliar leitura remete a uma visão tradicional de ensino de LE que não dialoga com a concepção de leitura como construção de sentidos, visão que compartilhamos. Assim, entendemos que essa tipologia de item não contribui para a formação dos aprendizes enquanto leitores socio-historicamente localizados.