Provisions : C prov

6.1.2.1

Contexto e Variáveis Medidas

O questionário foi aplicado para avaliar o meta-modelo e gerar indicadores de quali- dade por meio da verificação de critérios de qualidade. Os critérios analisados para cada indicador de qualidade são: Qualidade Empírica (Compreensibilidade e Simplicidade); Qualidade Sintática (Corretude e Integridade); Qualidade Semântica (Completude, Vali- dade, Integração, Reuso e Minimalismo); Qualidade Pragmática (Compreensibilidade); e Qualidade Organizacional (Flexibilidade, Integração e Implementabilidade).

6.1.2.2

Coleta de Dados: o Questionário

A coleta de dados é sempre realizada em relação a uma unidade de análise bem definida. Como mencionado anteriormente, nesta avaliação a unidade de análise será composta da

persona: Especialista. Para este estudo tivemos a colaboração de quatro especialistas do

laboratório parceiro Genomika 2_. 2 _{https://www.genomika.com.br}

Este trabalho fez uso da técnica de coleta de dados: questionário. Esta técnica foi escolhidas por permitir a coleta de dados tanto qualitativos quanto quantitativos além de se apresentarem como instrumentos tradicionais para o tipo de coleta de dados que se pretende realizar. O questionário é a técnica de coleta de dados comumente utilizado em entrevistas e experimentos que visam coletar opiniões de usuários e especialistas (EAS- TERBROOK et al., 2007).

O questionário completo utilizado para coleta dos dados nesta avaliação está disponível no Apêndice A.

6.1.2.3

Técnica de Análise dos Dados

Para se chegar a um indicador de qualidade foi utilizado o método estatístico de análise fatorial (KIM; MUELLER, 1978a;KIM; MUELLER, 1978b). A análise fatorial é uma técnica de redução de dados utilizada para reduzir uma grande quantidade de variáveis observadas a um número menor de fatores. Essa redução se baseia no padrão de correlação observado entre as variáveis, e é explicada (representada) pelos fatores (KIM; MUELLER, 1978a; KIM; MUELLER, 1978b). Neste trabalho os fatores são os indicadores de qualidade e as variáveis observadas são os critérios de cada indicador.

Inicialmente foi necessário identificar o padrão de correlação (força) entre as variáveis observadas. A literatura recomenda que a maior parte dos coeficientes seja superior a 0,3, independente do sinal para indicar adequabilidade dos dados para a técnica de re- dução (KIM; MUELLER, 1978b). Como a análise fatorial depende do padrão de correlação entre as variáveis observadas, espera-se que variáveis estatisticamente independentes não contribuam para a construção de um fator, logo, o pesquisador pode optar por excluir uma variável e estimar novamente a análise fatorial. A técnica escolhida para a análise fatorial foi a análise de componentes principais (KAPLUNOVSKY, 2009), visto que que- remos gerar um resumo empírico do conjunto de dados. Após verificar a adequabilidade dos dados foi realizada a extração de fatores para identificar quantos fatores podem ser gerados a partir dos dados. A técnica utilizada para a extração foi a regra do eigenvalue (critério de Kaiser ) (GARSON, 2018) que sugere que devem ser extraídos apenas os fatores com valor de eigenvalue acima de um (1). O tipo de rotação de fatores escolhido foi a rotação ortogonal Varimax (PALLANT, 2013) por ser o mais comumente utilizado. Este método procura minimizar o número de variáveis que apresentam altas cargas fatoriais em cada fator. O principal objetivo da rotação dos fatores é tornar o resultado empírico encontrado mais facilmente interpretável, conservando as suas propriedades estatísticas. Assim, a rotação tem o objetivo de facilitar a visualização da relação entre as variáveis observadas e os componentes extraídos. Quando apenas um fator é extraído a solução não pode ser rotacionada.

• Verificar a adequabilidade da base de dados;

• Determinar a técnica de extração e o número dos fatores(componentes) a serem extraídos; e

• Decidir o tipo de rotação dos fatores (componentes).

A base para a criação do índice está na matriz de componentes. Utilizando-se dos valores desta matriz, cria-se primeiramente o índice de qualidade de cada fator para cada especialista, onde cada variável que compõe esse fator é ponderada pela sua carga fato- rial. A resposta de cada especialista para uma dada variável é considerada como um caso (ocorrência) da variável na análise fatorial. Assim, o índice de qualidade no fator 𝐾 de um especialista qualquer é definido de acordo com a equação:

𝐼𝑄 (𝐹𝑘𝑛) = ∑︀𝑗 𝑖=1(|𝑝𝑖|.𝑥𝑖) ∑︀𝑗 𝑖=1𝑝𝑖 𝑥100% onde:

• 𝐼𝑄 (𝐹𝑘𝑛) é o índice de qualidade do especialista 𝑛 no fator 𝑘;

• 𝑗 é o número de variáveis no fator 𝑘;

• |𝑝𝑖| é o módulo da carga fatorial da variável 𝑖 no fator 𝑘; e

• 𝑥𝑖 é a nota da variável 𝑖 no fator 𝑘.

Como mencionado anteriormente, após a execução da análise o índice de cada fator (escore) é salvo como uma variável (𝐼𝑄 (𝐹𝑘𝑛)) que apresenta um valor para cada caso ob-

servado. Para se chegar ao indicador de cada critério de qualidade é necessário normalizar e reduzir os valores de todos os escores a um único valor. Para tal, os dados precisam ser normalizados para uma escala padronizada, por exemplo um intervalo de 0 a 1. A normalização é realizada pela fração da variação total de acordo com a equação:

𝑍 = 𝐼𝑄(𝐹𝑘𝑛)−min 𝐼𝑄(𝐹𝑘)

max 𝐼𝑄(𝐹𝑘)−min 𝐼𝑄(𝐹𝑘)

onde:

• 𝐼𝑄 (𝐹𝑘𝑛) é o índice de qualidade do especialista 𝑛 no fator 𝑘 (valor que se pretende

normalizar);

• min 𝐼𝑄 (𝐹𝑘) é o menor valor do índice de qualidade no fator 𝑘;

Após a normalização, a média aritmética dos escores é realizada para se chegar ao valor do indicador. É importante mencionar que os indicadores não são comparáveis entre si por possuírem configurações diversas.

A seguir serão apresentados os dados extraídos na coleta e as implementação e resul- tados da análise fatorial obtidas para cada critério de qualidade.

6.1.2.4

Dados Coletados

A Figura 22 ilustra as notas dos critérios para cada especialista. Estas notas foram obtidas pela indicação dos especialistas em uma escala Likert com pontuação variando de 1 a 5. Em todos os casos os critérios tiveram pontuação entre 4 e 5 indicando que o meta-modelo possui um bom nível de satisfação dos especialistas.

Figura 22 – Dados brutos dos critérios/variáveis para cada especialista (1 a 4)

6.1.3

Análises e Interpretação dos Resultados Baseada no Método