Para se proceder à caraterização sociodemográfica e escolar dos estudantes a que respeita este estudo, bem como do seu desempenho académico e carga de trabalho, os procedimentos de validação dos questionários QSE e QCT foram iniciados, recorrendo-se a dois especialistas na área. Foi-lhes solicitado que analisassem e se pronunciassem sobre a forma e conteúdo, tal como sugerido por Ghiglione e Matalon (1997). Essa análise originou a primeira revisão destes questionários, a que se seguiu a sua pré-testagem. Para isso, pediu-se a um grupo de 12 estudantes da LEM que respondesse aos questionários e fizesse os comentários e as observações que considerassem pertinentes. Foi assim possível obter a versão final dos questionários QSE e QCT.
Quanto ao questionário PRO-SDL, e dando resposta à componente do estudo de validação da adaptação de uma escala de autodireção na aprendizagem para estudantes de engenharia (1º ciclo do ensino superior politécnico), obteve-se autorização dos autores da versão original para proceder à tradução, adaptação e validação do instrumento na versão portuguesa (ver Apêndice 3). Para a tradução, usou- se como orientação o método «traduz-retraduz» (Hill & Hill, 2008). A versão em língua inglesa foi traduzida por duas pessoas com conhecimentos de português e inglês, havendo o cuidado de ser o mais fiel possível à versão original. Uma terceira pessoa traduziu a versão portuguesa do questionário para inglês. As duas versões foram comparadas e as divergências esclarecidas até se obter um consenso entre todos. Uma das pessoas envolvidas é um investigador com experiência na elaboração de questionários. Foi ainda consultado um especialista na área a que respeita esta investigação, também com experiência na elaboração de questionários e com conhecimentos de inglês. Pediu-se também a um grupo de 12 estudantes da LEM que respondesse ao questionário e fizesse os comentários e as observações que considerasse relevantes. Estas sugestões foram analisadas e, quando consideradas pertinentes, incluídas na versão final. A aparência do questionário foi alterada de modo a caber numa única página de formato A4.
Fez-se a verificação da validade da escala PRO-SDL usando a análise fatorial exploratória37 e a análise fatorial confirmatória38. A fidelidade foi avaliada através da sua
consistência interna39. Para a verificação da consistência interna recorreu-se ao
37 Com recurso ao software IBM SPSS Statistics versão 22.0. 38 Com recurso ao software IBM SPSS Statistics Amos versão 22.0. 39 Com recurso ao software IBM SPSS Statistics versão 22.0.
coeficiente alfa de Cronbach, pois segundo Pestana e Gageiro (2008, p. 527) “o Alpha de Cronbach é uma das medidas mais usadas para verificação da consistência interna de um grupo de variáveis, podendo definir-se como a correlação que se espera obter entre a escala usada e outras escalas hipotéticas do mesmo universo, com igual número de itens, que meçam a mesma característica”. Segundo os mesmos autores (ibidem), a qualidade da consistência é considerada razoável a partir de um índice de 0,7, que foi o grau de admissibilidade utilizado (valores a partir de 0,8 indicam uma boa consistência, sendo esta muito boa a partir de 0,9).
Considerando a estrutura do questionário PRO-SDL original, julgou-se apropriado o uso da análise fatorial, pois é com este tipo de análise que se consegue identificar a estrutura subjacente a um conjunto de dados, revelando novas variáveis (variáveis latentes), em número inferior ao das variáveis iniciais (variáveis observadas), mantendo parte significativa da informação aí contida. Quanto aos tipos de análise fatorial, Kline (2013) agrupa-os em duas categorias: análise fatorial exploratória e análise fatorial confirmatória. Na análise fatorial exploratória não são impostas restrições a esta estrutura e são determinados coeficientes de correlação (cargas fatoriais) entre todas as variáveis observadas e todas as variáveis latentes. Na análise fatorial confirmatória, a estrutura é imposta e a relação entre as variáveis observadas e as variáveis latentes tem de ser definida explicitamente.
Julgou-se que no caso desta investigação haveria vantagem em recorrer a ambas as técnicas de análise fatorial. Mais concretamente, com o uso da análise
fatorial exploratória (subcapítulo II.3.4.1) os dados são analisados sem demasiados
constrangimentos, permitindo que emirja um qualquer número de fatores, com uma estrutura que pode ser distinta da do questionário original (Hair, Anderson, Tatham, & Black, 1998) ou até fazendo aparecer mais do que uma estrutura possível. Com a
análise fatorial confirmatória (subcapítulo II.3.4.2), é possível avaliar o grau de
ajustamento dos dados à estrutura ou estruturas fatoriais encontradas com a análise exploratória, testando “modelos alternativos” (Kline, 2011, p. 8). Ignorar estes “modelos equivalentes” é, segundo o autor (idem, ibidem), uma forma de parcialidade, uma vez que o facto de um modelo ter um bom ajuste aos dados não significa que não possam existir outros modelos e outras explicações para as relações encontradas. Concluindo, a perspetiva usada foi a de que a análise fatorial exploratória e a análise fatorial confirmatória “não são somente ‘exploratórias’ ou ‘confirmatórias’ já que a análise fatorial confirmatória pode se usada para explorar e a análise fatorial exploratória pode era usada para confirmar” (Schmitt, 2011, p. 316).
II.3.4.1 Análise fatorial exploratória
Tendo-se optado pela análise fatorial exploratória para a validação preliminar da versão traduzida e adaptada do questionário PRO-SDL, esta só deve ser aplicada se houver correlação entre as variáveis. Se existirem apenas correlações pequenas, é pouco provável que as variáveis partilhem fatores comuns. Por este motivo, Hair et al. (1998, p. 99) indicam que se a “inspeção visual revelar a não existência de um número substancial de correlações de Pearson superiores a 0,30, então a análise fatorial é provavelmente inadequada”. Neste estudo, adotou-se a recomendação de Pestana e Gageiro (2008, p. 492), para quem “o 𝐾𝑀𝑂 e o teste de Bartlett são dois procedimentos estatísticos que permitem aferir a qualidade das correlações entre as variáveis, de forma prosseguir com a análise fatorial”.
O teste Kaiser-Meyer-Olkin (𝐾𝑀𝑂) indica a proporção da variância dos dados que pode ser considerada comum a todas as variáveis, isto é, que pode ser atribuída a um fator comum, comparando a matriz das correlações simples com a matriz das correlações parciais. De acordo com os mesmos autores (Pestana & Gageiro, 2008), a adequação é considerada razoável a partir de um índice de 0,6, que foi o grau de admissibilidade utilizado (a adequação é boa a partir de 0,8 e muito boa a partir de 0,9). O teste de esfericidade de Bartlett testa a hipótese nula da matriz de correlação ser uma matriz de identidade. Um teste significativo (p<0,05), com rejeição da hipótese nula, é indicativo da existência de relações entre os dados.
O procedimento da análise fatorial exploratória implica a tomada de decisão sobre alguns aspetos, que segundo Costello e Osborne (2005) são: a) Extração,
b) Rotação, c) Número de fatores a extrair e d) Tamanho da amostra. Destes aspetos
destacam-se as seguintes características e potencialidades: a) Extração
O método de extração de componentes principais é aquele usado na maioria dos casos40.
Apesar dos meios computacionais atuais permitirem o uso de outros métodos que podem ser mais adequados - como concluem Costello e Osborne (2005) com base nos argumentos apresentados por Fabrigar, Wegener, MacCallum e Strahan (1999) -, isso não impede que este método continue a ser usado e que vários autores (como citados em Costello e Osborne, 2005) o considerem como o mais apropriado, sendo o usado nesta investigação.
40
É por defeito o que está selecionado no software SPSS, o que contribui para a sua popularidade.
b) Rotação
O objetivo da rotação é clarificar e simplificar a estrutura dos dados. Opta-se por privilegiar a facilidade de interpretação dos resultados, recorrendo como indicado por Costello e Osborne (2005), à rotação ortogonal. Nesta rotação não é imposta correlação entre os fatores, recaindo a escolha no método varimax, por ser o mais usado. Este método é assim designado porque maximiza a soma das variâncias dos quadrados das cargas fatoriais (Fabrigar et al., 1999).
c) Número de fatores a extrair
Depois de realizada a extração, cabe ao investigador decidir quantos fatores reter. Apesar da maior parte dos programas de análise estatística usar como critério valores próprios superiores a 1,0, Costello e Osborne (2005, p. 2) alertam para o facto de este “estar entre os métodos menos corretos para selecionar o número de fatores a extrair”. Assim, foi seguida a indicação dos autores (ibidem), que recomendam o critério do teste gráfico como aquele que pode produzir melhores resultados. O critério do teste gráfico consiste na observação do gráfico dos valores próprios procurando a inflexão natural, na qual a curva altera significativamente o seu declive. Este é o ponto que corresponde a uma descida brusca nos valores próprios, sendo o número de pontos acima do ponto de inflexão, o número de fatores a reter. Recorreu-se também, como sugerido por Hair et al. (1998), ao critério da percentagem de variância, que considera aceitável a retenção de fatores que permitam explicar pelo menos 60% da variância.
d) Tamanho da amostra
Foi seguida a recomendação de Hair et al. (1998, p. 98) de “não analisar uma amostra com menos de 50 observações, e preferencialmente o tamanho da amostra dever ser de 100 ou superior. Como regra geral, o mínimo é ter nas observações pelo menos cinco vezes o número de variáveis, sendo o tamanho mais aceitável o do rácio 10 para 1”. Também Costello e Osborne (2005, p. 5) descrevem a análise fatorial exploratória como sendo “um procedimento de grandes amostras” e aconselham a que “mais é melhor”.
Na análise fatorial, a correlação entre as variáveis originais e os fatores é dada pelas cargas fatoriais. Ao interpretar as cargas fatoriais, é preciso decidir quais devem ser consideradas. Hair et al. (1998) recomendam alguns aspetos, dos quais se destacam: a) Significância prática; b) Significância estatística.
a) Significância prática
A abordagem da significância prática não é uma abordagem estatística, nem se baseia em nenhuma proposição matemática, sendo usada para fazer um exame preliminar da matriz fatorial. Como a carga fatorial é a correlação entre a variável e o fator, a carga fatorial elevada ao quadrado é a quantidade da variância total da variável que é
explicada pelo fator. Hair et al. (1998, p. 111) indicam que “é necessário que a carga fatorial seja superior a 0,70 para o fator explicar 50% da variância. (…) cargas fatoriais superiores a 0,30 cumprem os requisitos mínimos; cargas fatoriais de 0,40 são consideradas mais importantes; se as cargas fatoriais são maiores ou iguais a 0,50 considera-se que têm significância prática”. Estas diretrizes são aplicáveis quando o tamanho de amostra é igual ou superior a 100 casos, como no caso deste estudo. b) Significância estatística
O nível de significância () é a probabilidade de cometer um erro do Tipo I, ou seja, de rejeitar erradamente a hipótese nula sendo ela verdadeira. O erro do Tipo II () é a probabilidade de rejeitar incorretamente a hipótese alternativa. Os dois erros variam em sentido contrário, mas com intensidades diferentes. O poder estatístico (1-) é a probabilidade de rejeitar corretamente a hipótese nula quando esta deve ser rejeitada. Ou seja, o poder estatístico informa sobre a confiança com que se aceita a hipótese alternativa e “dita a hipótese de sucesso em encontrar diferenças se elas efetivamente existirem” (Hair et al., 1998, p. 11). É possível usar o conceito de poder estatístico para especificar cargas fatoriais consideradas significantes para diferentes tamanhos da amostra. Para um nível de significância de 0,05, poder estatístico de 80%, e inflacionando os erros padrão das cargas fatoriais, de acordo com o que a investigação tem evidenciado (Hair et al., 1998), podem ser usadas cargas fatoriais de 0,30 quando o tamanho da amostra é de 350 e de 0,35 quando a amostra é de 250. São, portanto, estes, os valores indicados para as amostras desta investigação.
Procedeu-se para a análise fatorial exploratória (informação mais detalhada no Apêndice 4), com a amostra piloto (𝑁= 289), resumindo-se aqui as decisões tomadas. Relativamente ao método de extração de fatores e à rotação, optou-se pela extração de componentes principais e pela rotação ortogonal varimax por serem as que são mais usadas e mais facilmente interpretáveis. A facilidade da interpretação dos resultados da análise foi privilegiada, uma vez que o recurso à análise fatorial exploratória é feito em conjunto com a análise fatorial confirmatória, sendo através desta última que o modelo é validado.
O procedimento da análise fatorial incluiu a observação dos coeficientes de correlação momento-produto de Pearson e respetiva significância, da estatística 𝐾𝑀𝑂 e do teste de esfericidade de Bartlett. O critério usado para a extração dos fatores foi o dos valores próprios serem superiores a 1,0, mas recorrendo-se também ao gráfico dos valores próprios (scree plot) e ao critério da percentagem da variância explicada de 60%. Os valores omissos foram automaticamente substituídos pela média (para facilitar a
comparação posterior com a análise fatorial confirmatória, na qual não podem existir valores omissos) e procedeu-se à supressão de cargas fatoriais inferiores a 0,35.
A análise fatorial exploratória com a amostra piloto (
𝑁
= 289) iniciou-se com a primeira iteração, na qual se identificaram oito fatores com valores próprios superiores a 1,0, e um valor total da variância explicada de 59,8%, apesar da observação do gráfico scree plot (ver Figura 10) mostrar o ponto de quebra em dois fatores. A medida de adequação da amostragem𝐾𝑀𝑂
foi 0,826, à qual corresponde uma boa adequação da análise fatorial. O teste de esfericidade de Bartlett deu estatisticamente significativo, 2(300) = 1730,𝑝
< 0,01. A observação da matriz dascorrelações revelou correlações entre 0,3 e 0,5, mas também de valor inferior. Quanto às comunalidades (quantidade de variância de uma variável que é partilhada pelo menos com outra variável do conjunto), a totalidade das variáveis apresentou valores de 0,5, ou superiores, o que significa que uma parte da variância pode ser explicada pelo modelo. A observação da matriz dos fatores após rotação revelou a inadequação de alguns itens ao modelo, com fatores de apenas dois itens, e de itens a saturar em mais do que um fator.
Figura 10. Aplicação do critério do teste gráfico à 1ª iteração da análise fatorial
Na segunda iteração foram eliminados os itens 5, 12, 13 e 16 por terem coeficientes de correlação inferiores a 0,3. Identificaram-se seis fatores e um valor total de variância explicada de 57,3%. A observação da matriz dos fatores após a rotação revelou ainda a inadequação de alguns itens ao modelo, persistindo a situação de fatores com apenas dois itens, e de itens a saturar em mais do que um fator.
Na quarta iteração foram eliminados os itens 8 e 18 por terem comunalidades inferiores a 0,4. Identificaram-se cinco fatores e um valor total da variância explicada de 58,0%. Restava uma situação de um item a saturar em mais do que um fator, pelo que se procedeu a mais uma iteração.
Na quinta iteração foram eliminados os itens 2 e 9 por serem os que tinham as comunalidades mais baixas e inferiores a 0,5. Identificaram-se quatro fatores e um valor total da variância explicada de 55,9%. Os fatores identificados incluíam 14 itens (3, 4, 7, 10, 11, 15, 17, 19, 20, 21, 22, 23, 24, 25) agrupados da seguinte forma: fator 1 (4, 7, 19, 23), fator 2 (21, 22, 24, 25), fator 3 (3, 11, 20) e fator 4 (10, 15, 17).
Realizaram-se mais algumas iterações para verificar a possibilidade de aumentar o valor total da variância explicada, retirando um item aos fatores 1 e/ou 2. Constatou-se que isso era possível, e que havia várias combinações dos itens desses fatores, três a três, que produziam o efeito desejado. A título de exemplo, é apresentado o modelo fatorial que resulta da eliminação do item 7 e do item 25, no fator 1 e no fator 2, respetivamente, e que explica 58,9% da variância total (26,2% do fator 1, 12,9% do fator 2, 11,1% do fator 3 e 8,8% do fator 4; cargas fatoriais e comunalidades na Tabela 12). A medida de adequação da amostragem
𝐾𝑀𝑂
é 0,738, à qual corresponde uma adequação média da análise fatorial. O teste de esfericidade de Bartlett é estatisticamente significativo, 2(66) = 629,𝑝
< 0,01. Os coeficientes de correlaçãomomento-produto de Pearson são todos significativos (p < 0,01).
Tabela 12. Cargas fatoriais e comunalidades dos itens do questionário PRO-SDL
ITEM FATOR 1 FATOR 2 FATOR 3 FATOR 4 COMUNALIDADE
22 0,776 --- --- --- 0,676 24 0,652 --- --- --- 0,477 21 0,651 --- --- --- 0,554 03 --- 0,804 --- --- 0,662 20 --- 0,750 --- --- 0,658 11 --- 0,562 --- --- 0,369 17 --- --- 0,775 --- 0,661 15 --- --- 0,763 --- 0,677 10 --- --- 0,642 --- 0,596 23 --- --- --- 0,752 0,636 04 --- --- --- 0,700 0,549 19 --- --- --- 0,655 0,558
Em suma, mais do que o exemplo apresentado na Tabela 12, o que importa reter é que existe um conjunto de 11 itens que não permitem o ajustamento dos dados ao modelo (itens 1, 2, 5, 6, 8, 9, 12, 13, 14, 16, 18) e um conjunto de 14 itens que é possível combinar para obter modelos com um ajustamento adequado aos dados. O
valor do alfa de Cronbach para os 14 itens é 0,773 e o valor para os 12 itens do modelo apresentado a título de exemplo na Tabela 12, é 0,735, revelando uma qualidade razoável da consistência interna dos modelos.
II.3.4.2 Análise fatorial confirmatória
A análise fatorial confirmatória usa modelação de equações estruturais, combinando análise fatorial (que define o modelo de medida) com regressões lineares (que define o modelo estrutural). O modelo estrutural define as relações causais entre as variáveis latentes, e o modelo de medida define a forma como as variáveis latentes são operacionalizados pelas variáveis observadas ou manifestas.
A utilização da modelação de equações estruturais implica a verificação de alguns pressupostos (Kline, 2011), que aqui se resumem:
- Normalidade multivariada
Pressupõe a normalidade de todas as distribuições univariadas e a distribuição normal bivariada de qualquer par de variáveis. Kline (2011, p. 60) adverte para a limitação dos testes da normalidade multivariada, por “pequenos desvios da normalidade poderem ser estatisticamente significativos numa amostra grande”. Assim, opta-se pela alternativa da inspeção das distribuições univariadas, através da assimetria e da curtose, medidas pelos respetivos índices, o índice de assimetria (𝑆𝐼) e o índice de achatamento (𝐾𝐼), considerando que valores de 𝐾𝐼 maiores de 10,0 podem ser problemáticos quanto à assimetria, e valores de 𝑆𝐼 maiores do que 3,0, indicadores de um achatamento extremo.
- Linearidade
A matriz das covariâncias/correlações exige este tipo de associação. - Covariâncias amostrais não nulas
As variáveis observadas devem apresentar algum tipo de associação. - Múltiplos indicadores
Deve haver pelo menos três itens por fator. - Ausência de multicolinearidade
Multicolinearidade é o termo usado para descrever a existência de uma correlação forte entre várias variáveis independentes, o que pode acontecer quando variáveis que aparentam ser separadas estão a medir a mesma coisa. Isso significa a existência de variáveis redundantes que devem ser descartadas, havendo multicolinearidade quando o variance inflation factor –𝑉𝐼𝐹- é maior do que 10,0.
- Amostras grandes
- Medida forte
O cálculo de variâncias-covariâncias das variáveis observadas exige medidas numa escala quantitativa, o que acontece em escalas de Likert com pelo menos cinco pontos e distribuição em sino.
- Ausência de outliers univariados e multivariados
Os outliers univariados podem ser detetados graficamente. Para os outliers multivariados usa-se a distância de Mahalanobis. Quando o valor da distância de Mahalanobis é maior do que o valor crítico da distribuição qui-quadrado, para o mesmo número de graus de liberdade e um determinado nível de significância, está-se perante um outlier.
Quanto à modelação, as etapas necessárias são, segundo Marôco (2010): a) Especificação do modelo, b) Identificação do modelo, c) Estimativa dos parâmetros, d) Avaliação da qualidade de ajustamento do modelo. Clarificando estas etapas:
a) Especificação do modelo
O modelo é especificado com o seu desenho formal, com base nos resultados da análise fatorial exploratória, e tendo como referência o modelo teórico, que neste caso, é o do questionário PRO-SDL.
b) Identificação do modelo
Para a identificação do modelo é necessário incluir conhecimento prévio sobre o valor dos parâmetros, de modo a que exista pelo menos uma estimativa única para cada parâmetro do modelo. Isso equivale a assumir alguma hipótese sobre as variáveis latentes, nomeadamente sobre a sua métrica, variância ou relação com outras variáveis. Para os modelos em estudo, considera-se que cada uma das variáveis latentes tem uma medida proporcional a uma das respetivas variáveis observadas, fixando-se esses pesos fatoriais no valor 1. A métrica das variáveis latentes é considerada igual à das respetivas variáveis observadas, fixando-se os pesos fatoriais dos erros de cada uma das variáveis manifestas no valor 1.
c) Estimativa dos parâmetros
Ao estimar os parâmetros do modelo, estes devem reproduzir o melhor possível os dados observados na amostra em estudo. Neste tipo de modelação, os «dados» são as variâncias das variáveis observadas, pelo que o ajustamento por recurso ao método da máxima verosimilhança, que é o mais frequentemente usado (Marôco, 2010), consiste em maximizar a verosimilhança das covariâncias entre as variáveis observadas. Por se tratar de um método coerente, eficiente, invariável ao tipo de escalas e normalmente distribuído, no caso das variáveis observadas respeitarem as condições de normalidade, foi o utilizado no estudo.
d) Avaliação da qualidade de ajustamento
Para avaliar a qualidade de ajustamento do modelo, é verificada a qualidade do ajuste entre o modelo teórico especificado e os dados amostrais, averiguando-se se “o modelo teórico é capaz de reproduzir a estrutura correlacional das variáveis manifestas observadas na amostra sob estudo” (Marôco, 2010, p. 40). Trata-se assim de comparar