Nesta primeira fase, Validação do questionário, acontece a montagem do novo QDAO que foram realizadas em duas etapas: a primeira etapa foi referente à validação do QDAO atra- vés da análise de conteúdo e a segunda foi realizada por meio da análise semântica, a seguir os detalhamentos.
5.2.1.1 Análise de conteúdo do QDAO
O QDAO construído por Gandini em 1997, a partir da EDAO, foi submetido à avaliação de profissionais da área, novamente, e a todos os passos de avaliação para a análise de conteúdo e análise semântica (Pasquali, 1998) necessários para a sua validação. Na análise de conteúdo foram convidados a participar quatro juízes, profissionais da área da Psicologia, que possuem vasta experiência clínica com a Escala Diagnóstica Adaptativa Operacionalizada – EDAO, com o Questionário Diagnóstico Adaptativo Operacionalizado e com a fundamentação teórica que
embasa ambos os instrumentos; logo os juízes são confiáveis para avaliarem os 210 itens frente ao construto que está sendo estudado.
Os quatro juízes foram inicialmente contatados a participar via telefone para verificar sua disponibilidade e aceite. Após o aceite, foram enviados os convites, através de e-mails, com as devidas explicações dos objetivos da pesquisa, juntamente com o Instrumento de 210 itens do QDAO com um prazo de 30 dias para o retorno do mesmo e com as devidas classificações de cada item perante os setores da adaptação (Apêndice A), avaliando e finalizando a análise de conteúdo. O QDAO foi retornado dentro do prazo pré-estabelecido por todos os juízes via e-mail e com as devidas explicações e avaliações em cada um dos 210 itens, além das sugestões de mudanças na escrita ou troca de palavras. Cada juiz avaliou todos os 210 itens conforme os quatro setores da adaptação, dando início ao novo formato do QDAO.
Inicialmente, a reavaliação deste questionário (QDAO) para o novo QDAO foi realizada pela análise de conteúdo ou análise de construto para sua validação. Segundo Pasquali (1998, p. 11) “Nessa análise, os juízes devem ser peritos na área do construto, pois sua tarefa consiste em ajuizar se os itens estão se referindo ou não ao traço em questão.”
Para avaliar cada item após o retorno do QDAO dos 4 juízes, foram considerados per- tencentes a cada setor somente os itens que apresentaram uma concordância, entre os juízes, maior ou igual a 80% (ou 0,80), pois este é um “critério de decisão sobre a pertinência do item ao traço a que teoricamente se refere” (Pasquali, 1999, p. 54) e os itens que não alcançaram tal concordância foram excluídos. Para encontrar o nível de concordância, avaliou-se as respostas dos juízes por meio da Estatística Kappa (K) e também através do coeficiente de validade de conteúdo (c.v.c.). O coeficiente de validade de conteúdo total (c.v.c) foi calculado pela fórmula:
Cvc
t=
∑1781=1𝑥̅𝑖=1 178
Os cálculos da estatística Kappa foram realizados por meio do site: www.lee.dante.br (recupearado em 10 de janeiro, 2018) que é o Laboratório de Epidemiologia e Estatística, 1995. O valor da Estatística Kappa está compreendido entre zero e um ([0, 1]). Os valores próximos ou iguais a 0 (zero) indicam menor concordância e o valor 1 indica concordância perfeita (Fleiss, 2003); então quanto mais próximo de um (1) melhor será a concordância entre os juízes perante aquele setor. Este índice procura avaliar a relevância e a confiabilidade dos itens perante cada setor avaliado.
Na Tabela 3 é possível verificar os valores teóricos da Estatística Kappa e suas respec- tivas interpretações (Landis & Koch, 1977).
Tabela 3
Valores teóricos da Estatística Kappa.
Valores do Kappa Interpretação < 0,00 Nenhuma concordância 0,00 - 0,20 Pobre concordância 0,21 - 0,40 Leve concordância 0,41 - 0,60 Moderada concordância 0,61 - 0,80 Boa concordância 0,81 - 1,00 Excelente concordância
Nota. Fonte: Adaptado de “The Measurement of Observer Agreement for Categorical Data”.
Landis e Koch, 1977, p. 165. Tradução da autora.
Também foi calculado o coeficiente de validade de conteúdo (c.v.c) que é, além disso, um indicador da validade de conteúdo que mede a proporção de juízes que estão em concor- dância. O valor o c.v.ci (coeficiente de validade de conteúdo do item) (1) deverá ser maior ou igual a 0,80 para considerar uma boa qualidade de um item julgado. O valor 0,80 foi estabele- cido por Hernández-Nieto (2002) para julgamento de itens ou escalas.
Cvc
i=
∑𝑗=4𝑖=1𝑥𝑖 𝑗 ⁄ 5 , (1)Onde,
xi => é a i-ésima nota dada pelo j-ésimo juiz, j= 1, 2, 3 e 4 ∑𝑗=4𝑖=1𝑥𝑖 => soma das notas dos 4 juízes
Após esse critério, resultaram dos 210 itens apenas 178 itens (Apêndice B), permane- cendo somente os itens com concordância acima de 80%, iniciando o aparecimento do novo QDAO.
5.2.1.2 Detalhamento da analise semântica do novo QDAO
Após a seleção dos itens com concordância alta entre os juízes foi realizado a análise semântica. A análise semântica foi realizada com três grupos de escolaridades (ou grupos fo- cais), que foram compostos por indivíduos representantes da amostra com níveis de escolari- dade: ensino médio completo até pós-graduação. Nesta etapa foi verificado se os itens, seleci- onados na etapa anterior (5.2.1.1), eram inteligíveis para a população alvo com a menor e maior grau de escolaridade.
Então a análise semântica dos itens selecionados pelos juízes na etapa anterior, ou seja, os itens que permaneceram a partir das avaliações dos juízes na etapa anterior (5.2.1.1), buscou verificar a clareza ou o entendimento de cada questão (item), garantindo ao respondente uma maior compreensão do item ao ser respondido.
Segundo Pasquali (1998)
A análise semântica tem como objetivo precípuo verificar se todos os itens são compre- ensíveis para todos os membros da população à qual o instrumento se destina e deve ser
feita com pessoas com menor habilidade (menor grau de instrução da pesquisa) e com maior habilidade (maior grau de instrução da pesquisa), para garantir a chamada vali- dade aparente do teste (p. 11).
Para a análise semântica foram realizados três grupos de juízes ou grupos de escolari- dade (ou focais), sendo dois grupos de nível de escolaridade mais baixo que seriam os indiví- duos com o ensino médio completo e o (3º grupo) um grupo de nível de escolaridade mais alto que seriam os indivíduos com superior completo e com pós-graduação.
Os processos adotados com os grupos de nível escolaridade mais baixo foram:
1) inicialmente foram selecionadas algumas turmas de aula do primeiro ano (1º semestre) de um curso universitário e com a autorização do professor responsável explanou-se sobre a pesquisa e convidou-se os alunos a participar da análise semântica.
2) dos alunos que se prontificaram a colaborar anotaram-se seus e-mails e posterior- mente enviaram-se convites com local, data e hora para seus respectivos e-mails. Alguns alunos retornaram confirmando sua presença e participação.
3) após o aceite do convite montaram-se dois grupos de 05 (cinco) pessoas com idade acima de 18 anos, composto por homens e mulheres em horários diferenciados;
4) os alunos foram reunidos em uma sala de aula cedida pela universidade, na qual eles se acomodaram em carteiras universitárias. Na sala havia recurso de áudio visual e duas pessoas coordenaram o grupo, a pesquisadora e sua orientadora. Cada uma das perguntas era projetada numa tela e discutia-se quanto ao entendimento e clareza na construção da questão. Após a exibição da questão (ou item) na tela, aguardava-se a discussão sobre a mesma e anotavam-se as observações das questões duvidosas ou de interpretação divergente. Isso foi realizado nas 178 questões, com os 02 (dois) grupos. Tal atividade durou aproximadamente uma hora e vinte minutos em cada grupo. Houve consenso na maioria das perguntas de modo que as pessoas
entendiam claramente o significado. Mas, nos casos que surgia alguma divergência na compre- ensão do item, os coordenadores do grupo anotavam as contribuições do grupo para reformular cada item ou excluí-lo.
Após a finalização com os dois grupos de nível de escolaridade mais baixo, foi realizado com o terceiro grupo de juízes, ou seja, os indivíduos com ensino superior completo e pós- graduação para dar continuidade a análise semântica. Foram apresentados ao terceiro grupo de semântica os 178 itens nas mesmas condições físicas que os outros dois grupos mencionados acima. Este terceiro grupo era composto por 05 (cinco) alunos de pós-graduação e manteve-se os objetivos de verificar o entendimento das 178 questões pela visão de pessoas com maior nível de instrução. Desta forma, garantiu-se que os itens estão claros quanto ao entendimento de sua formulação.
Terminada a análise semântica, foi realizada uma reunião entre a pesquisadora e sua orientadora para as discussões do que foi anotado em cada questão na análise semântica reali- zada com os três grupos e também para assegurar que os itens estavam inequívocos, claros, fáceis, com frases curtas e inteligíveis para o menor nível de instrução da população alvo.
Após esta reunião, pesquisadora com a orientadora, foram feitos os ajustes finais de nivelamento do questionário e a retirada apenas a questão de número 64.
Então o novo QDAO estava composto com 177 questões ajustadas para avaliar o cons- truto Eficácia Adaptativa, pronto para ser aplicado à população alvo.