A partir da definição dos construtos feita pelos especialistas, os dados das variáveis de cada construto foram extraídos da base de dados, e submetidos a um processo de análise multivariada de dados, para validação de sua adequação à teoria.
O procedimento para verificar a aderência dos dados à teoria foi feito a partir de uma Análise Fatorial Confirmatória (CFA, do inglês Confirmatory Factor Analysis), como uma das técnicas de Modelagem de Equações Estruturais (SEM, do inglês
Structural Equation Modeling), cuja validação de construtos é umas das suas principais
aplicações. Esse tipo de análise parte da premissa de que já se tem uma teoria sobre quais variáveis medem quais construtos (fatores) e que se quer confirmar o grau de ajuste dos dados observados à teoria que foi baseada (BROWN, 2015). Nesse caso, buscou-se um modelo de ajuste dos dados à Teoria da Distância Transacional, identificando quais as variáveis coletadas no banco de dados do Moodle poderiam melhor representar cada construto da teoria.
A Analise Fatorial Confirmatória tornou-se uma análise multivariada popular entre pesquisadores em um intervalo de tempo relativamente pequeno, pois ela provê uma maneira conceitual atraente para se testar uma teoria. Se um pesquisador pode expressar uma teoria a partir de relações entre variáveis medidas (observadas) e construtos latentes (não observados), então a CFA pode avaliar quão bem a teoria ajusta-se à realidade, quando essa for representada por dados. A modelagem é feita a partir de um estimador definido conforme a normalidade ou não dos dados (HAIR et al., 2009).
Essa técnica estatística não designa variáveis a fatores (construtos). Ao invés disso, o pesquisador deve ser capaz de fazer essa designação inicialmente, antes que quaisquer resultados possam ser obtidos. A técnica então é aplicada para testar o grau em que a distribuição feita pelo pesquisador se ajusta aos dados reais. Assim, a CFA nos diz quão bem a especificação dos fatores combina com a realidade, permitindo, em certo sentido, confirmar ou rejeitar a teoria pré-concebida.
A partir da CFA, as relações entre as variáveis e construtos são modeladas em uma série de regressões lineares, utilizando, para isso, uma matriz de covariâncias. Assim, pode-se rever o modelo gerado e ajustá-lo seguidamente, ligando construtos e variáveis de outras formas na busca de melhores ajustes. Nessa abordagem, a carga fatorial de cada variável em relação ao seu construto representa o seu coeficiente na equação estrutural, como numa regressão linear. A carga fatorial é a correlação entre as variáveis originais e os fatores, possibilitando a compreensão mais detalhada de um fator sob o ponto de vista dos dados que o compõem.
Uma das maiores vantagens da CFA é sua habilidade em avaliar a validade de construtos associados a uma teoria. Validade de construto é o grau em que um conjunto de itens medidos realmente reflete o construto latente teórico que aqueles itens devem medir (HAIR et al., 2009).
Neste estudo, também foram seguidas as recomendações de Jackson et al. (2009) para realização de uma CFA:
1. A formulação teórica baseada na Teoria da Distância Transacional, com a especificação do modelo inicial a ser testado. Nesse caso, as variáveis previamente definidas e distribuídas na etapa anterior pelos especialistas (subseção 4.4.2) foram utilizadas para formar os três construtos da teoria da DT;
2. A coleta e preparação dos dados obtidos na base de dados do Moodle da UPE, com verificação de normalidade, valores em falta, outliers, entre outros; 3. As decisões da análise inicial dos dados, por exemplo: tipo da matriz a ser
analisada (covariância ou correlação), ferramenta estatística e estimador a serem utilizados; e
4. Critérios para avaliação do modelo: verificação se os índices de qualidade de ajuste (Goodness-of-Fit (GOF)), índices de ajuste incremental e índices de erro médio estão com valores compatíveis com os recomendados na literatura.
O modelo fatorial confirmatório pode também ser representado por meio de um path diagram, na qual os círculos representam as variáveis latentes e os quadrados representam as variáveis observadas, facilitando uma rápida visualização e interpretação do modelo, como no exemplo da Figura 22.
Figura 22 – Exemplo de um diagrama de caminhos em uma SEM/CFA.
Fonte: (HAIR et al., 2009).
O exemplo ilustra um modelo com dois (2) construtos latentes (ξ1 e ξ2), cada
um com quatro (4) variáveis observadas (Xn) com suas respectivas cargas fatoriais
estimadas (n) em relação a seus respectivos construtos e os erros estimados (n)
associados à medição da carga fatorial de cada variável observada. Entre os construtos, uma seta dupla indica a existência de covariância entre os mesmos.
4.5.1. Validação do Modelo Fatorial Confirmatório
Depois do modelo CFA ser especificado, é feita a sua avaliação para verificar se o mesmo é consistente com os dados e se pode, então, representar a teoria em questão. Essa avaliação é feita a partir da medição dos principais índices de qualidade de ajuste do modelo; da análise das cargas fatoriais obtidas para cada variável e da interpretação adequada dos parâmetros estimados (HAIR et al., 2009).
A qualidade do ajuste (GOF) da análise confirmatória indica o quanto o modelo especificado apresenta similaridade entre as matrizes de covariância estimada e observada. Diversas medidas GOF foram desenvolvidas para refletir as várias facetas da habilidade do modelo em representar os dados. Geralmente, cada medida GOF é classificada em um dos três grupos gerais: medidas absolutas, medidas incrementais e
medidas de ajuste de parcimônia. A literatura recomenda usar uma combinação de
diferentes índices dessas medidas, sem apelar para todos, pois existe certa redundância entre eles (HAIR et al., 2009).
Medidas de ajuste absoluto - São medidas diretas de quão bem o modelo especificado pelo pesquisador reproduz os dados observados. Esses índices não comparam especificamente a GOF de um modelo com outro modelo e, sim, cada modelo é avaliado independentemente de outros modelos.
A estatística χ2 (qui-quadrado) é o índice básico de ajuste absoluto. O seu valor indica o grau de semelhança entre as matrizes esperadas e observadas, onde valores mais baixos desse indicador indica maiores similaridades entre ambas, ou seja, modelos melhores ajustados. No entanto, esse índice apresenta duas propriedades matemáticas que são problemáticas em seu emprego como única medida GOF: a) ela é uma função matemática que depende do tamanho da amostra (N) e da diferença entre as matrizes de covariância estimada e observada. Quando N aumenta, χ2 também aumenta; b) o valor de
χ2 pode ficar maior quando o número de variáveis observadas aumenta. Por essas razões, não é recomendado usar somente esse índice como único indicador de ajuste do modelo (HAIR et al., 2009).
O χ2 normalizado é uma medida GOF que representa uma proporção simples de χ2 com o número de graus de liberdade (gl) de um modelo. Geralmente, proporções χ2:gl na ordem de 3:1 são associadas a modelos mais ajustados, exceto nas circunstâncias, envolvendo amostras muito grandes (N>750) (HAIR et al., 2009).
O Índice de qualidade do ajuste (GFI) é um índice que também indica um grau de similaridade entre as matrizes estimada e observada, embora seja menos sensível ao tamanho amostral. Esse índice pode apresentar valores no intervalo de 0 a 1, com valores mais altos (> 0.90), indicando melhores ajustes (JÖRESKOG e SÖRBOM, 1986). A Raiz do erro quadrático médio de aproximação (RMSEA) é também outra medida que tenta corrigir a tendência da estatística χ2 de rejeitar modelos com amostras grandes ou com grande número de variáveis. Também representa o quanto um modelo se ajusta a uma população e não somente a uma amostra usada para estimação. Ela tenta corrigir a complexidade do modelo e tamanho amostral, incluindo cada um desses dados na sua determinação. Esse tipo de indicador pertence a uma categoria de índices chamados de má qualidade do ajuste, na qual valores altos representam modelos
de ajustes ruins. Segundo Hair et al. (2009), valores abaixo de 0.07 são aceitáveis para amostras com N>250 e número de variáveis maior que 30.
O Gamma hat também tenta corrigir o tamanho amostral e a complexidade do modelo pela inclusão dessas informações no seu cálculo. Valores típicos variam entre 0.9 e 1.0.
Medidas de ajuste incremental: Diferem dos índices absolutos no sentido que avaliam o quanto um modelo especificado se ajusta relativamente a algum modelo alternativo de referência, sendo que o modelo de referência mais comum é chamado de modelo nulo, pois assume que todas as variáveis observadas são não correlacionadas. Os principais índices de ajuste incremental usados neste trabalho são descritos a seguir:
O Índice de ajuste normalizado (NFI) representa uma proporção do valor de χ2 para o modelo ajustado e um modelo nulo dividida pelo valor χ2 para o modelo nulo. Seu valor está entre 0 e 1, sendo o ajuste perfeito correspondente a um NFI=1.0.
O Índice de ajuste comparativo (CFI) também é um índice de ajuste incremental normalizado, como uma versão melhorada e estendida do NFI para incluir a complexidade do modelo no cálculo do indicador (HU e BENTLER, 1999). Valores abaixo de 0.90, geralmente, não são associados a um bom modelo ajustado (Hair et al. 2009).
O Índice de Tucker Lewis (TLI) é conceitualmente semelhante ao CFI, pois também envolve uma comparação matemática de um modelo teórico especificado com um modelo nulo de referência (TUCKER e LEWIS, 1973). Como o TLI não é normalizado, seu valor pode ficar abaixo de 0 e acima de 1. No entanto, modelos com bom ajuste têm valores que se aproximam de 1.
Medidas de ajuste de parcimônia: Este grupo de índices foi especificamente planejado para fornecer informações sobre qual modelo, entre um grupo de modelos concorrente, é melhor, considerando seu ajuste relativo a sua complexidade. Esses índices são conceitualmente parecidos com a noção do R2 ajustado dos modelos de regressão; no sentido, relacionam modelos com sua complexidade (HAIR et al., 2009).
Os principais índices dessa categoria são: o Índice de qualidade de ajuste de parcimônia (PGFI) e o Índice normalizado de parcimônia (PNFI). Como nesse trabalho avaliamos um único modelo em vários ciclos de ajustes, esses índices não são úteis para essa avaliação.
Na avaliação do modelo, as seguintes medidas de qualidade de ajuste entre o modelo proposto e os dados da amostra foram utilizadas: índice χ2 /gl (razão entre o qui- quadrado e nº de graus de liberdade dos dados), o Gamma hat, o CFI (Índice de ajuste comparativo), GFI (Índice de qualidade do ajuste), TLI (Índice de Tucker-Lewis) e o RMSEA (Raiz do erro quadrático médio de aproximação).
4.5.2. Conjunto representativo de variáveis para cada construto da distância transacional
Os resultados finais da CFA apontam para cada construto da DT, um conjunto representativo de variáveis, que servirá como referência para novas observações e previsões, de acordo com o propósito educacional que se queira aplicar à teoria. Tal conjunto, embora reflita os dados analisados no estudo, deve permitir uma certa flexibilidade na adequação das variáveis para possibilitar seu uso em outros cursos EAD na mesma ou em outras IES.
Em todas as etapas da Análise Fatorial Confirmatória, foi usado o software R como ferramenta estatística. Inicialmente, foi feito o teste de normalidade dos dados usando o pacote MVN15, para definição do estimador adequado. Nos procedimentos seguintes da CFA, foram usados os pacotes lavaan16 e semPlot17.
4.6. Etapa 04: Modelagem - Mineração de dados educacionais para definição