A Teoria de Resposta ao Item (TRI) constitui-se em um ramo dentro das teorias de modelagens latentes, tendo surgindo por volta de 1930, e dispõe de um conjunto de modelos de efeitos aleatórios para estimar a habilidade, proficiência ou traço latente de indivíduos submetidos a um teste ou questionário. Esses modelos supõem que o desempenho do indivíduo em um teste pode ser explicado por características que não podem ser observadas diretamente. Os primeiros pesquisadores a estudar a TRI foram Richard (1936), que comparou os parâmetros dos itens obtidos pela teoria clássica da Psicométria com os primeiros modelos da TRI, Lawley (1944), que criou alguns métodos de estimação dos parâmetros dos itens, e Tucker (1946), que parece ter sido o primeiro a utilizar a expressão curva característica do item (PASQUALI; PRIMI, 2003).
No Brasil, a TRI foi aplicada pela primeira vez em 1995, na área educacional, na análise dos resultados do Sistema Nacional de Ensino Básico (SAEB) e no Sistema de Avaliação de Rendimento Escolar do Estado de São Paulo (SARESP). Desde 2009, a TRI vem sendo utilizada para calcular as notas obtidas nas provas do Exame Nacional do Ensino Médio (ENEM). Apesar de ter sido desenvolvida tradicionalmente na área de avaliação educacional, sua aplicação tem sido observada em diversas áreas do conhecimento, a saber: medicina, genética marketing, administração, gestão de qualidade, biologia e psiquiatria, análise de sobrevivência, series temporais, dentre outras (ANDRADE; TAVARES; VALLE, 2000).
A TRI é uma metodologia que propõe analisar as relações entre as respostas dadas pelos indivíduos a um teste ou questionário (variáveis observáveis) e seus traços latentes, habilidades, proficiências ou aptidão, que são características do
92 indivíduo, as quais não podem ser observadas diretamente. Essa metodologia sugere formas matemáticas de representar a probabilidade de um indivíduo dar certa resposta a um item em função do seu traço latente e das características do item na área de conhecimento avaliada (ANDRADE; TAVARES; VALLE, 2000).
A relação entre os parâmetros dos itens e os traços latentes pode ser modelada por uma equação monótona crescente, por meio das funções de ligação simétrica probit ou logit, conhecida como Curva Característica do Item (CCI). A CCI mostra que a probabilidade condicional de acerto de um item é uma função crescente do traço latente. A Figura 5, a seguir, apresenta o gráfico da CCI de um item, na qual se pode observar que, à medida que o traço latente (θ) aumenta, a probabilidade 𝑃(𝜃) de responder corretamente ao item também aumenta. Cada item possui uma CCI para descrever o resultado da estimação dos parâmetros dos itens em função do traço latente. De acordo com Araújo (2009, p. 102) “a forma de uma curva característica do item descreve como a mudança do traço latente relaciona-se com a mudança na probabilidade de uma resposta específica”. Outra medida muito utilizada juntamente com a CCI é a Função de Informação do Item (FII). De acordo com Pereira (2012, p. 9,) a FII “é um indicador da precisão com que o traço latente é estimado em um teste ou item”, ou seja, ela permite analisar o quanto um teste contribui de informação na estimação do traço latente.
O traço latente é medido em uma escala arbitrária e varia entre −∞ e +∞. Essa escala pode ser criada com quaisquer valores de média e desvio padrão, entretanto é comum utilizar uma escala (0, 1), isto é, com média igual a zero e desvio padrão igual a um. O índice de dificuldade pode ser interpretado como o ponto da escala para o qual a probabilidade de resposta correta (y=1) é 50%, podendo variar entre −∞ e +∞, sendo medido na mesma escala do traço latente. Espera-se que os valores de bi se situem entre -2 (itens fáceis) e +2 (itens difíceis). A métrica para o parâmetro de discriminação também varia de −∞ e +∞, valores negativos não são esperados, por indicarem que os indivíduos de maior traço latente tendem a errar o item. Na prática, a métrica desse parâmetro pode variar entre 0 a 3, onde 0 significa nenhuma discriminação e 3 significa discriminação praticamente perfeita.
93
Figura 5 - Exemplo de uma Curva Característica do Item
Fonte: Figura retirada do livro “Teoria da resposta ao item: conceitos e aplicações” (ANDRADE; TAVARES; VALLE, 2000).
Os primeiros modelos de resposta ao item surgiram inicialmente com os trabalhos de Lord (1952), o qual desenvolveu o modelo unidimensional de dois e três parâmetros para itens dicotômicos, utilizando o modelo de ogiva normal como função de ligação (função de ligação probit). Birnbaum (1957) aprimorou os modelos de Lord, ao usar o modelo logístico como função de ligação (função de ligação logit). Atualmente, os modelos para dados dicotômicos são mais utilizados no campo da avaliação de desempenho. Samejima (1969) propôs o Modelo de Resposta Gradual (MRG) para modelar dados em escala ordinal. Bock (1972) desenvolveu um Modelo de Resposta Nominal (MRN) para dados em escala nominal, que expressa a probabilidade de resposta para cada uma das alternativas de um item como função do traço latente (PEREIRA, 2012). Tais modelos possuem duas suposições muito importantes. A primeira suposição é a unidimensionalidade do teste – um conjunto de itens deve medir um único traço latente, ou seja, existe apenas um traço latente dominante responsável pela realização de todos os itens da prova ou questionário. A segunda suposição é de independência local – dado um traço latente, a resposta dada aos diferentes itens da prova é independente. A suposição de unidimensionalidade pode ser verificada por meio da análise fatorial realizada a partir da matriz de correlações tetracórica, que é um índice utilizado para medir a correlação entre os resultados dos itens de um teste.
94 A TRI, ao longo dos anos, vem ganhando importância no meio acadêmico, de modo que muitos pesquisadores estão utilizando esta metodologia na criação de escala de medida, para avaliar o grau de satisfação e construção de indicadores. Soares (2005) apresenta algumas técnicas para a produção de indicadores da condição socioeconômica do indivíduo (padrão de vida) baseadas em modelos da Teoria da Resposta ao Item. O autor fez uma comparação entre o modelo dicotômico de dois parâmetros e o Modelo de Resposta Gradual na construção do índice do padrão de vida das famílias dos alunos que participaram Programa de Avaliação Educacional do Estado de Minas Gerais e concluiu, do ponto de vista da informação do índice, que o MRG apresentou melhor resultado quando comparado aos outros modelos.
Sousa Júnior et al. (2010) utilizaram o modelo logístico de dois parâmetros e os critérios de níveis âncora e itens âncora na criação de uma escala de medida, para avaliar o grau de satisfação de alunos quanto ao curso que frequentam. Costa (2001) usou a TRI para criar uma escala de medida que pudesse avaliar a divulgação das políticas e ações ambientais (gestão ambiental) nas indústrias brasileiras. Alexandre (2001) construiu uma escala, por meio dos modelos da TRI, para medir o grau de maturidade de uma empresa em relação à implementação da Gestão pela Qualidade Total. Alves e Borina (2011) desenvolveram uma escala para medir o potencial empreendedor utilizando a Teoria da Resposta ao Item. Bartolotti (2012) aplicou um modelo cumulativo da TRI para criar uma medida de satisfação de alunos com seus cursos e avaliar a satisfação no ensino. Oliveira (2012) usou o Modelo de Rasch para buscar evidências de validade e precisão para o Inventário de Ansiedade na Escola. Scher et al. (2014) avaliaram o quanto a prova do Enade do Curso de Administração está mensurando o verdadeiro traço latente dos seus acadêmicos, fazendo um comparativo do desempenho entre ingressantes e concluintes. Camargo et al. (2016) utilizaram o modelo logístico de três parâmetros (ML3P) para mensurar o desempenho (proficiência) dos estudantes de Ciências Contábeis na prova do Enade 2012.
Nosso objetivo é utilizar os modelos da TRI para construir escalas de medidas (construto) que representem o nível socioeconômico, a formação extracurricular, os hábitos de estudo e a “satisfação” dos estudantes quanto às condições de infraestrutura da IES e no que se refere à metodologia e competência dos
95 professores. Essas variáveis são consideradas variáveis latentes, haja vista que não podem ser observadas diretamente e devem ser deduzidas a partir do estudo de variáveis secundárias que estejam indiretamente relacionadas a elas. Por exemplo, podemos estimar o nível socioeconômico do estudante (isto é, um parâmetro do indivíduo) e também os parâmetros dos itens selecionados para compor o construto, de modo a criar uma escala de medida do nível socioeconômico do estudante. Soares (2005) traz uma definição assertiva a respeito dos construtos criados com os modelos da TRI:
Os construtos são abstrações teóricas definidas dentro de uma rede de relações produzidas a partir de vários outros construtos. Por não serem diretamente medidos, a escala de valores segundo a qual esses constructos são avaliados é produzida a partir de instrumentos (testes, questionários, etc.) que se constituem de itens (questões do teste ou perguntas específicas, devidamente estruturadas de acordo com um modelo que será empregado) que, no entender dos especialistas que os elaboram, se associam diretamente ao constructo (ou constructos) de interesse (SOARES, 2005, p. 84).
Optamos por fazer uso dos modelos da TRI porque são poderosas ferramentas na construção de escala de medidas para indivíduos submetidos a um exame ou questionário. Ela permite analisar as propriedades estatísticas de cada item que compõe o instrumento de medida, o que possibilita ao pesquisador mensurar o poder de discriminação e dificuldade dos itens, facilitando assim a interpretação da escala de medida construída e o conhecimento dos itens que mais contribuem com informação na estimação do traço latente, de modo a facilitar a interpretação também da escala de medida construída. Além disso, a TRI permite a comparação do traço latente entre populações distintas submetidas a um questionário (ou prova) com alguns itens em comum. Na construção das escalas de medidas foi utilizado o Modelo de Resposta Gradual aplicado a itens em escala ordinal.
3.3.2.1 Modelos para itens dicotômicos
Os modelos dicotômicos se diferenciam pelo número de parâmetros utilizados para descrever o item. O modelo logístico de um parâmetro (ML1P), ou modelo de Rasch, possui apenas o parâmetro de dificuldade do item, o modelo logístico de dois parâmetros (ML2P) possui o parâmetro de discriminação e dificuldade do item e o
96 modelo logístico de três parâmetros (ML3P) possui o parâmetro de discriminação e dificuldade do item e a probabilidade de acerto casual para indivíduos de baixa habilidade. No campo da avaliação de desempenho educacional o ML3P é o mais utilizado para estimar a habilidade do estudante (ANDRADE, TAVARES e VALLE, 2000).
1) Modelo logístico de um parâmetro
Foi proposto por G. Rasch, em 1960, e expresso como modelo de ogiva, sendo descrito para modelo logístico por Wright (1977). Este modelo associa a probabilidade de um indivíduo dar uma certa resposta a um item como função da dificuldade e da habilidade do respondente. Sua formulação matemática é:
) ( ) ( 1 ) / 1 ( i i b D b D j ij e e U P i1,...,I e j 1,...,n