Os arquivos de dados foram extraídos do sistema por comandos específicos, criados para gerar os relatórios em formato de texto, em seguida, migrados para o SPSS 14.0. Todos os dados referentes às variáveis demográficas, aos resultados e tempo gasto nos exercícios, pré e pós-testes e à avaliação das reações dos alunos ao curso compuseram arquivos diferentes e foram reunidos em um único arquivo. Depois, as informações coletadas foram analisadas quanto à inconsistência ou falha de registro ou importação. Um problema foi encontrado na entrada de dados para a idade de três participantes e escolaridade para três participantes. Os participantes foram identificados, contatados e suas idades e escolaridades registradas manualmente no SPSS.
Outra verificação foi realizada nos dados de tempo gasto pelo aluno para realizar os pré e pós-testes, uma vez que alguns participantes reclamaram que o sistema passou adiante a última questão do pós-teste sem qualquer resposta deles. Nessa questão, os resultados foram zero para os participantes com tempo zero. Esse fato somente ocorreu para os participantes das condições de feedback mantido por tempo fixo, ou seja, seis participantes da condição 2 e dois participantes da condição 3. Assim, optou-se por retirá-los da amostra, antes das análises estatísticas. Portanto, dos 130 concluintes do curso resultaram 122 casos para análises.
Houve uma falha de registro no banco de dados das respostas dos participantes à última questão de cada módulo, tendo sido uma falha sistemática, utilizou-se os registros de 27 dos 31 exercícios realizados, para todos os participantes.
Quanto as preparação para as análises estatísticas, se verificou a existência de casos extremos, conforme recomendado por Tabachnick e Fidell (2001). Para a identificação de casos extremos univariados utilizou-se a distribuição dos escores em termos de escore Z (acima de 3,29, p≤ 0,001). Os multivariados foram obtidos pela distância Mahalanobis (maior do que o valor crítico da tabela do Qui-quadrado,
α
<0,001 com os graus de liberdade dados pelo número de VI´s menos um).Dois casos de outliers univariados foram identificados para a variável “tempo no pré- teste” e dois casos para a variável “tempo total no curso”. Como aqueles relativos ao pré-teste se referiam à ação antes do tratamento, optou-se por mantê-los no estudo para as análises de resultados nos exercícios, pré e pós-testes, retirando-os somente para realizar a análise dos tempos. Procedeu-se da mesma maneira para os casos extremos no tempo total para a execução do curso, pois se cogitou que os participantes tenham deixado o curso na tela após encerrá-lo, mantendo a contagem ativa. Não se identificou nenhum caso extremo multivariado.
Além das análises descritivas, o estudo estatístico dos resultados empregou as formas sugeridas por Reichardt (1979), em virtude do desenho de pesquisa utilizado ser um experimento com pré e pós-testes: análise de variância (ANOVA), análise de covariância (ANCOVA) com simples ou múltiplas covariantes, análise de variância com blocos ou pareamento (matching) e a análise de variância das diferenças no pré e pós-teste (diferença de escores de ganho). Também se recorreu a outras complementares: (1) Análise Fatorial, para avaliar a qualidade do instrumento de pré-teste; e (2) Anova de Kruskal-Wallis para análise de dados não paramétricos.
No uso da ANOVA a verificação do efeito do tratamento se dá pelo aumento significativo na média aritmética ou diminuição na resposta do grupo de tratamento. A limitação dela é para avaliar o quanto as características individuais existentes no momento da seleção das pessoas para o tratamento, influenciavam a variável pesquisada. Por isso ela tem menor poder para detectar as diferenças desse efeito do tratamento do que as outras técnicas citadas no parágrafo anterior (Reichardt, 1979).
Outro viés é que na ANOVA se assume que o tratamento é a única causa das diferenças no pós-teste. É mais adequado a análise em dois passos. No primeiro passo, verifica-se se as diferenças nos pré-testes dos grupos experimentais e controle não diferem, em termos estatísticos, podendo-se considerar que os grupos são equivalentes. Assim, é possível empregar a ANOVA para análise do pós-teste (Reichdart, 1979).
Cook e Campbell (1979) salientam essa ameaça como viés de seleção e pode estar presente em desenhos quase-experimentais, quando a distribuição dos sujeitos pelos grupos de pesquisa não ocorre de forma aleatória. No caso do presente estudo, apesar de a escolha dos participantes não ser completamente aleatorizada, supõem-se que esse viés foi controlado, ao se fazer a distribuição aleatória para o tratamento.
Conforme Garson (2001), vários são os pressupostos para uso da ANOVA: (a)
distribuição aleatória; (b) variável dependente é intervalar e a independente é categórica;
(c) os dados dos grupos são normalmente distribuídos, a ser verificada pelo teste de Shapiro-
Wilk, para amostras com N menor de 2000; (d) homogeneidade das variâncias (homocedasticidade), dado pelo teste de Levene, ou o de Welch, quando os grupos têm
tamanho muito desigual; (e) soma dos quadrados está apropriada, quando há dados para todos os grupos, é possível utilizar um dos testes do SPSS (Teste I, II, III ou IV dado pela
Analyze→ GLM→ Univariate→ Model); (f) esfericidade (a variância da diferença das
médias estimadas para um par do grupo é igual a de qualquer par do grupo)4; (g) amostras de tamanho igual ou similar, quando violada, caso haja normalidade dos dados e as variâncias
são desiguais, emprega-se o teste de Welch para analisar igualdade das médias, e o teste de
Gabriel para as comparações post hoc. Quando não há normalidade, este autor sugere o teste
de Brown & Forsythe com as comparações post hoc sendo feitas com o teste de Games-
Howell com ambas desiguais (amostra e variâncias); (h) independência dos dados, é
correspondente à multicolinearidade em modelos de regressão, quando a variável independente não está correlacionada com outras independentes; (i) não há casos extremos
significativos.
A ANCOVA é considerada um procedimento estatístico mais robusto para verificar os efeitos do tratamento do que a ANOVA, ao “extrair” as diferenças existentes entre os sujeitos da pesquisa em relação à covariante utilizada. Em desenhos de pré e pós-teste, o pré-teste entra no modelo como covariante (Dugard & Todman, 1995).
Além dos pressupostos comuns em testes paramétricos, para uso dessa análise deve-se considerar (Garson, 2001): (a) número limitado de covariantes; (b) baixo erro de mensuração da covariante; (c) covariantes linearmente relacionadas ou com um relacionamento conhecido com a variável dependente; (d) homogeneidade dos coeficientes de regressão da covariante, para ser analisado no SPSS faz-se uso do modelo customizado dos efeitos
4 Se a significância do teste da esfericidade é menor que 0,05, representa que os dados não são esféricos, sendo necessário
principais e de interação na opção Analyze→ GLM→ Univariate→ Model, e aceita quando a interação não é significativa, quando esse pressuposto é violado, aumenta-se a probabilidade de erros Tipo II; (e) não há outliers na covariante; (f) não há alta multicolinearidade das covariantes; (g) aditividade (os valores da variável dependente podem ser considerados um somatório de sua média global, do efeito da variável independente, da covariante e um termo de erro); (h) independência do termo de erro; (i) as variáveis independentes ortogonais às covariantes; (j) homogeneidade das variâncias.
A Tabela 6 apresenta de forma resumida quais as ANOVA e ANCOVA empregadas na seção de apresentação dos resultados, com as respectivas finalidades.
O primeiro passo foi a verificação da suposição de similaridade de conhecimentos entre os participantes, no início do tratamento e também se existiu similaridade no desempenho nos exercícios ao longo do curso, de maneira que se pudesse supor qual o efeito do tratamento em relação ao tipo de feedback empregado.
Tabela 6. Análises estatísticas empregadas na seção de Resultados. Análise estatística Objetivo da análise
Anova do pré-teste Verificar as diferenças iniciais entre os grupos de pesquisa. Anova dos exercícios Verificar as diferenças entre os grupos de pesquisa durante o curso. Anova do pós-teste Verificar os efeitos do tratamento.
ANCOVA do pós-teste Verificar os efeitos do tratamento, controlando as covariantes. Anova do pós-teste por
blocos Verificar os efeitos do tratamento, dadas as condições iniciais de resultado no pré-teste. Anova das diferenças do