TECHNICAL IMPROVEMENTS AND UPGRADES

Esta tese teve como objetivo principal avaliar os resultados do Enem 2017 a partir dos modelos de TCT e TRI. As hipóteses iniciais eram que os itens das provas do exame não apresentam o pressuposto de unidimensionalidade. No entanto, quando possível ajustar um modelo unidimensional, os parâmetros dos itens e os escores dos participantes são comparáveis. Os resultados indicaram que os itens das provas do exame não atenderam o pressuposto de unidimensionalidade, pois só foi possível ajustar um modelo unidimensional após a exclusão de alguns itens. Na prova de matemática, por exemplo, um modelo unidimensional foi ajustado após a exclusão de 12 dos 45 itens da prova.

No que se refere as comparações dos modelos, foi identificado fortes correlações entre os parâmetros de dificuldade dos itens da TCT e nos três modelos de TRI. O mesmo ocorreu na comparação entre os escores dos participantes, além do teste de regressão linear simples ter se ajustado muito bem aos dados, indicando forte comparabilidade entre os resultados gerados pelos dois modelos. No entanto, essa comparabilidade diminui com o modelo de TRI com três parâmetros, provavelmente em decorrência ao parâmetro de acerto casual. Um quadro síntese dos resultados de forma mais detalhada é apresentado a seguir.

Quadro 5 – Síntese dos resultados.

Objetivo: Analisar a dimensionalidade das provas das quatro áreas do Exame Nacional do Ensino Médio, Linguagens e Códigos, Ciências Humanas, Ciências da Natureza e Matemática, a partir da análise paralela e análise fatorial de informação completa.

Método Resultado Análise Paralela e Análise

fatorial de Informação Plena

Os itens das provas do exame não apresentaram o pressuposto de unidimensionalidade. Um modelo com apenas um fator foi possível de ser ajustado após a exclusão de 10 itens nas provras de LC e MT, 12 itens na prova de CN e 8 itens na prova de CH.

Objetivo: Estimar os parâmetros de dificuldade e discriminação dos itens e o escore total dos participantes do Enem 2017 via Teoria Clássica dos Testes.

Método Resultado Proporção de acertos para a

dificuldade, correlação ponto bisserial para a discriminação e somatório de itens acertados para a escore do participante.

- A maioria dos itens apresentaram proporção de acerto abaixo de 0,50, indicando elevada dificuldade.

- Para todas a provas a maioria dos itens apresentou discriminação adequada, mas alguns itens seriam excluídos por apresentarem valores abaixo de 0,20.

Quadro 7 (Continuação)

Objetivo: Estimar os parâmetros de dificuldade, discriminação e acerto casual dos itens das provas do Enem 2017 e a habilidade dos sujeitos via Teoria de Resposta ao Item.

Método Resultado Modelos de TRI de 1, 2 e três

parâmetros

Linguagens e Códigos:

- Para o modelo 1PL b variou entre -2,04 e 1,33.

- Para o modelo 2PL b variou entre -1,97 e 1,53 e 14 itens apresentam valores a baixos (<0,65).

- Para o modelo 3PL b variou entre -4,39 e 1,30 e apenas um item apresentou baixo valor de a. O valor c variou entre 0,01 e 0,34.

Matemática:

- Para o modelo 1PL b variou entre -2,81 e 0,60.

- Para o modelo 2PL b variou entre -2,72 e 0,67 e 24 itens tem valor a baixo (<0,65).

- Para o modelo 3PL b variou entre -7,93 e 0,44, apenas um item com valor a baixo (<0,65), e c entre 0,01 e 0,34.

Ciências da Natureza:

- Para o modelo 1PL b variou entre -2,19 a 0,22.

- Para o modelo 2PL b variou entre -2,15 e 0,22 e 23 itens tem valor a baixo (<0,65).

- Para o modelo 3PL b variou entre -12,24 e 0,15, todos os itens com valor a acima de 0,65, e c entre 0,01 e 0,39.

Ciências Humanas:

- Para o modelo 1PL b variou entre -2,26 e 0,42.

- Para o modelo 2PL b variou entre -2,09 e 0,53 e 13 itens tem valor a baixo (<0,65).

- Para o modelo 3PL b variou entre -6,09 e 0,42, apenas dois item com valor a baixo (<0,65), e c entre 0,01 e 0,26.

Objetivo: Comparar e correlacionar os parâmetros dos itens da Teoria Clássica dos Testes com os parâmetros dos modelos logísticos de 1, 2 e 3 parâmetros da Teoria de Resposta ao Item

Método Resultado Coeficiente de correlação de

Pearson (r)

- Para todas as provas fortes correlações (>0,9) foram identificadas entre os parâmetros de dificuldade dos itens pela TCT e modelos 1PL e 2PL. A correlação decresce levemente com o modelo 3PL.

- Para todas as provas fortes correlações (>0,9) foram identificadas entre os parâmetros de discriminação dos itens pela TCT e modelo 2PL. A correlação decresce consideravelmente com o modelo 3PL.

Objetivo: Comparar e correlacionar o desempenho dos estudantes estimados a partir da Teoria Clássica dos Testes com o desempenho estimado a partir dos modelos logísticos de 1, 2 e 3 parâmetros da Teoria de Resposta ao Item

Método Resultado Coeficiente de correlação de

Pearson (r) e regressão linear simples

- Para todas as provas fortes correlações (>0,9) foram identificadas entre o escore total pela TCT e a habilidade dos participantes pelos modelos 1PL e 2PL. A correlação decresce levemente com o modelo 3PL.

- O gráfico de dispersão de pontos indica maior dispersão nas correlações entre o escore total pela TCT e TRI a medida que se acrescenta mais parâmetros ao modelo.

- Todos os modelos apresentaram bom ajuste e significância estatística, indicando que os escores dos participantes calculados pela TCT são bons previsores dos escores calculados para os três modelos de TRI (1, 2 e 3 parâmetros).

Fonte: Da pesquisa (2019).

A partir disso, considerando os resultados desta pesquisa, indica-se que as provas do Enem podem ser analisadas a partir do paradigma da psicometria clássica, pois esse modelo é suficiente para as finalidades desse exame que atualmente não é utilizado para o

acompanhamento das redes de ensino, bem como não tem sido útil como ferramenta pedagógica de análise do desempenho dos participantes. Na hipótese de os itens medirem apenas uma dimensão, o modelo de TRI com um parâmetro seria suficiente e adequado para a análise dos resultados.

Acredita-se que os resultados desta tese podem contribuir para a discussão da utilização do modelo de TRI unidimensional no Enem, considerando a falta de evidência sobre a sua estrutura latente. No entanto, ressalta-se a necessidade de mais estudos empíricos que possibilitem melhores informações sobre essa questão, sobretudo, debates e reflexões em relação a real necessidade desse modelo para os atuais objetivos do exame. Como discutido, não é apenas uma questão de modelo matemático, mas de adequação a pressupostos que, se violados, podem prejudicar milhões de candidatos que almejam uma vaga nas IES de todo o país.