A qualidade informativa dos dados é também determinada pela fiabilidade e validade dos instrumentos de medida (Fortin, 2009). Porém, segundo Leandro S. Almeida e Teresa Freire (2017) é mais correcto reportar os coeficientes de fiabilidade e de validade aos resultados obtidos mediante a aplicação do instrumento, e não ao instrumento em si. O coeficiente de fiabilidade fundamenta-se na teoria do erro, postulando que o resultado de uma qualquer medição é determinado por dois factores, a saber: o resultado verdadeiro e o erro de medição (Moreira, 2009). Contudo, o resultado verdadeiro não pode ser aferido com absoluta certeza, mediante a impossibilidade de se conseguir uma medição isenta de erro (Black, 2005; Moreira, 2009). Deste modo, importa determinar o erro de medição por forma a possibilitar que o resultado verdadeiro seja estimado. A fiabilidade dos resultados indica, portanto, o grau de confiança ou de exactidão que podemos ter na informação obtida (Almeida & Freire, 2017). Por conseguinte, os resultados fiáveis são aqueles que variam relativamente pouco de uma ocasião ou contexto para o outro (Moreira, 2009).
De acordo com Thomas R. Black (2005), existem seis tipos de coeficientes para o cálculo da fiabilidade de um instrumento, designadamente: o coeficiente de estabilidade (teste-reteste); o coeficiente de equivalência (formas paralelas); o coeficiente de bipartição (slipt-half); o coeficiente Alpha de Cronbach; o coeficiente Kuder-Richardson e o coeficiente de fiabilidade de acordo entre observadores. A opção por cada um deve ser fundamentada pelo que melhor se adapta a cada instrumento (Coutinho, 2016).
Assim, o coeficiente de estabilidade (teste-reteste) consiste na repetição da aplicação do instrumento de medida aos mesmos sujeitos, em momentos separados por um curto espaço temporal, obtendo-se duas medidas paralelas passíveis de serem correlacionadas (Almeida & Freire, 2017; Moreira, 2009). Com isto, obtém-se um indicador da estabilidade do teste no tempo, adequando-se o cálculo deste coeficiente a planos com pré, pós-teste e em planos de tipo série temporal (Coutinho, 2016). No entanto, este método não é isento de diversas dificuldades, designadamente, ao nível da justificação dada aos sujeitos para a segunda aplicação, à manutenção de condições análogas nos dois momentos de aplicação do instrumento (Almeida & Freire, 2017) e quanto à definição de um espaço temporal adequado ao não enviesamento da informação obtida (Almeida & Freire, 2017; Moreira, 2009).
Sumário | 58
Por seu turno, o coeficiente de equivalência (formas paralelas) avalia a consistência do conteúdo de um instrumento, recorrendo a duas versões equivalentes para medir o mesmo constructo (Coutinho, 2016). Ou seja, mediante a utilização de escalas análogas, compostas por um número igual de itens, com o mesmo formato e que meçam a mesma variável (Moreira, 2009). A utilização de duas versões da mesma escala é considerada como uma vantagem deste método, pois não é provável que a memória tenha efeito sobre os resultados, possibilitando a aplicação imediata das duas formas (Moreira, 2009). Inversamente, a maior dificuldade deste método tem que ver com a construção de duas versões equivalentes de um instrumento (Almeida & Freire, 2017; Moreira, 2009). Apesar disto, o coeficiente de equivalência é indicado para testes de aproveitamento ou para determinados questionários de atitudes (Coutinho, 2016).
O coeficiente de bipartição (slipt-half) advém de um instrumento aplicado uma vez (Almeida & Freire, 2017) e construído por duas metades paralelas, onde cada item tem outro análogo no teste, ou seja, pergunta o mesmo por outras palavras (Coutinho, 2016). Uma vez que existe apenas uma aplicação, elimina-se as variações de erro ocorridas durante o intervalo temporal decorrido se se tratassem de duas aplicações, sendo este aspecto considerado uma vantagem deste coeficiente (Almeida & Freire, 2017). Por outro lado, a dificuldade em saber se as duas metades do questionário são, de facto, medidas paralelas juntamente com a ausência de um controlo adequado sobre a forma como os itens são distribuídos no instrumento constituem as desvantagens deste método (Moreira, 2009). No entanto, segundo Thomas R. Black (2005), este é um indicador adequado para testes cognitivos, afectivos ou de atitudes.
O coeficiente de Alpha de Cronbach faculta o grau de consistência interna de um instrumento, ou seja, o grau de uniformidade ou coerência existente entre as respostas dos sujeitos a cada um dos itens (Almeida & Freire, 2017). Deste modo, é possível «comparar a resposta de um sujeito a um item com o valor da sua resposta ao instrumento como um todo, e verificar quão consistentemente um item mede o mesmo que o instrumento total, contribuindo para a sua consistência interna» (Coutinho, 2016, p. 124). O cálculo requer apenas uma aplicação do instrumento (Almeida & Freire, 2017; Coutinho, 2016), considerando-se como o mais apropriado para calcular a consistência interna de instrumentos constituídos por escalas de Likert ou rating (Coutinho, 2016).
Por seu turno, o grau de consistência interna também é facultado pelo coeficiente de Kuder- Richardson, caso particular do coeficiente de Alpha de Cronbach, cuja utilização é indicada sempre que o instrumento for constituído por itens dicotómicos ou de escolha múltipla (Almeida & Freire,
Sumário | 59
2017; Coutinho, 2016; Moreira, 2009). Paralelamente ao cálculo deste coeficiente, deve-se aferir o respectivo poder discriminativo e o índice de dificuldade (Coutinho, 2016). De acordo com Leandro S. Almeida e Teresa Freire (2017), entende-se por poder discriminativo o grau em que o item diferencia no mesmo sentido do teste global, implicando que os sujeitos melhores e piores realizadores do teste respondam àquele item falhando ou acertando percentualmente mais. Por sua vez, o índice de dificuldade expressa a proporção de sujeitos que respondem correctamente ao item (Almeida & Freire, 2017), devendo-se adequar a dificuldade dos itens a incluir no instrumento face os objectivos do mesmo (Coutinho, 2016).
Por fim, o coeficiente de fiabilidade de acordo entre observadores direcciona-se para as técnicas de observação informal recorrendo, muitas vezes, a instrumentos como grelhas de observação que requerem o acordo entre dois ou mais observadores independentes para afirmar a fiabilidade dos resultados (Almeida & Freire, 2017). Com isto, visa-se perceber «em que medida os registos obtidos são mais determinados pelas característica do objecto observado do que pelas características dos observadores» (Almeida & Freire, 2017, p. 111).
A validade dos resultados obtidos com um determinado instrumento de medida demonstra de que modo este mede o que deveria medir (Almeida & Freire, 2017; Fortin, 2009), correspondendo ao grau de precisão com que os conceitos são representados pelos enunciados presentes no instrumento (Fortin, 2009). Face a isto, são enumerados pela literatura três métodos para aferir a validade, a saber: a validade de conteúdo, a validade de critério e a validade de conceito ou constructo (Almeida & Freire, 2017; Coutinho, 2016; Fortin, 2009).
A validade de conteúdo ou validade lógica diz respeito ao grau de adequação dos itens à dimensão em estudo, visando-se aferir em que medida o conteúdo do instrumento cobre os aspectos mais relevantes do constructo (Almeida & Freire, 2017). Deste modo, este método consiste na selecção dos enunciados a partir de um domínio bem definido ou de um quadro teórico (Fortin, 2009), recorrendo-se a uma tabela de especificações por forma a analisar em que medida as definições mais importantes do constructo aparecem reunidas nos itens da prova (critério da relevância), permitindo ainda verificar se os itens mais frequentes correspondem às definições mais importantes do constructo (critério da representatividade) (Almeida & Freire, 2017). Submetendo-se tanto o instrumento como a tabela de especificações à opinião de peritos e especialistas (Coutinho, 2016). A validade de conteúdo é indicada em instrumentos que avaliem a inteligência, habilidade, conhecimentos e destrezas dos indivíduos, podendo não ser adequada a instrumentos que incidam
Sumário | 60
sobre a dimensão da personalidade ou psicológica (Moore, 1983 apud Coutinho, 2016).
A validade de critério ou também designada por validade externa ou por validade empírica determina o grau de relacionamento entre os resultados do instrumento e critérios exteriores associados à dimensão visada (Almeida & Freire, 2017; Coutinho, 2016; Fortin, 2009). Este método é muitas vezes classificado em duas tipologias conforme o seu tempo de desempenho, a saber: a validade concorrente (desempenho actual), designa duas medidas do mesmo conceito tomadas ao mesmo tempo junto dos sujeitos, e a validade preditiva (desempenho futuro), designa uma medida de um conceito e uma medida posterior do mesmo conceito ou de outro intimamente ligado (Almeida & Freire, 2017; Fortin, 2009). Enquanto que a validade concorrente é indicada para testes de conhecimento (Coutinho, 2016), a validade preditiva constata-se indicada para testes de orientação vocacional ou selecção profissional (Black, 2005).
Por fim, a validade de conceito ou de constructo corresponde à validação da estrutura teórica subjacente ao instrumento de medida e à verificação de hipóteses de associação (Fortin, 2009), indicando, deste modo, o grau em que conhecemos aquilo que a prova está a medir (Almeida & Freire, 2017). Tratando-se de uma avaliação fundamentada em diversos tipos de informação, esta deve acompanhar também todo o processo de construção do instrumento (Almeida & Freire, 2017), cruzando três abordagens distintas: a lógica, a análise factorial e a empírica (Black, 2005). A abordagem lógica consiste, em primeira instância, numa análise de consistência entre a definição do conceito, a elaboração do constructo e o instrumento final, comportando seguidamente a análise da formulação das questões e afirmações por forma a minimizar a possibilidade de respostas distorcidas ou falsas devido a factores como o socialmente desejável, o enviesamento e a má interpretação (Black, 2005). A abordagem da análise factorial assenta no cálculo da intercorrelação entre os itens do instrumento por forma a identificar os componentes que possam justificar a variância comum, incluindo-se no instrumento os itens que explicam a maior proporção de variância relativa (Coutinho, 2016). A abordagem empírica requer a aplicação do instrumento a um grupo de sujeitos identificados como tendo a característica a medir, bem como aqueles identificados como isentos dessa mesma característica. Pretende-se averiguar se o grupo com a característica responde consistentemente melhor ao instrumento do que aquele que não a tem, sugerindo, deste modo, a validade do instrumento em classificar os sujeitos (Black, 2005).
Com efeito, após a aplicação do pré-teste do inquérito por questionário electrónico, recorreu-se ao cálculo do Alpha de Cronbach com recurso ao software SPSS Statistics (cf. Apêndice F – Análise da
Sumário | 61
consistência intena e das correlações item-total das escalas de utilização das redes sociais académicas do pré-teste) por forma a fundamentar a exclusão, ou não, de itens das escalas de Likert que medem as diversas dimensões de utilização das redes sociais académicas (cf. capítulo 3.1. Resultados do pré-teste).