Pergunta de Pesquisa 1
Hipótese Nula 1: A identificação e o reconhecimento da estrutura de pacotes da
aplicação usando o SourceMiner e o ADS em termos de efetividade é igual se comparada com o uso apenas do Eclipse.
Hipótese Alternativa 1: A identificação e o reconhecimento da estrutura de
pacotes da aplicação através do SourceMiner e do ADS em termos de efetividade é maior se comparada com o uso apenas do Eclipse.
Em relação à pergunta “a” usando somente o Eclipse, verificou-se que todos os participantes identificaram corretamente a estrutura das aplicações. De acordo com as informações registradas nos questionários, verificou-se que o Package Explorer foi a visão mais utilizada para esta atividade. Usando-se o Eclipse e o SourceMiner, também foram obtidos os mesmos resultados com a diferença que neste caso o mapa em árvores foi utilizado de forma combinada com o Package Explorer para navegação na estrutura de pacotes da
97
aplicação. Comparando-se o intervalo de tempo médio decorrido para a identificação da estrutura de pacotes, classes e métodos, verificou-se que com o uso do SourceMiner houve uma redução média de aproximadamente 20% do tempo se comparado com o uso somente do ADS. Apesar das respostas terem sido as mesmas para a análise da estrutura com os dois tratamentos (mesma eficácia), o uso do SourceMiner resultou na realização da atividade de forma mais eficiente.
Os participantes relataram que “a navegação na estrutura da aplicação foi facilitada pelo mapa em árvores, pois nesta visão não foi necessário o uso intensivo da barra de rolagem nem de cliques necessários para expandir ou reduzir a estrutura de pacotes, classes e métodos como ocorre no Package Explorer”. Um dos participantes ainda complementou que, “apesar da atividade não ter solicitado informações de classes e métodos, eu naturalmente quis conhecer algumas classes e alguns métodos da aplicação. Com o Package Explorer esta atividade demanda mais tempo em função dos recursos de interatividade do que aquele correspondente ao uso do mapa em árvores.”
As respostas dos participantes apresentaram evidências iniciais de que a hipótese é verdadeira, pois apesar da eficácia ter sido a mesma para os dois tratamentos, a comparação entre os tempos de execução apresenta diferença de eficiência entre os tratamentos.
Pergunta de Pesquisa 2
Hipótese Nula 2: A identificação de pacotes, classes e métodos que se destacaram
em relação ao tamanho usando o SourceMiner e o ADS em termos de efetividade é igual se comparada com o uso apenas do Eclipse.
Hipótese Alternativa 2: A identificação de pacotes, classes e métodos que se
destacaram em relação ao tamanho com o SourceMiner é mais efetiva se comparada com o uso apenas do Eclipse.
Para responder à pergunta “b” usando somente o Eclipse os participantes relataram dificuldade para encontrar as respostas e classificaram o trabalho como cansativo. O comentário a seguir de um dos participantes ilustra este caso: “apesar do Eclipse oferecer as informações de tamanho solicitadas, elas não são apresentadas de forma intuitiva e usando recursos visuais como o SourceMiner. Além disso, a forma como é apresentada originalmente
98
não favorece a comparação das entidades em relação ao tamanho”. Somente com o Eclipse, nenhum participante identificou o conjunto completo de pacotes, classes e métodos que se destacavam em relação ao tamanho. Eles identificaram somente parte das entidades registradas na lista de referência do estudo.
Usando-se o Eclipse e o SourceMiner, todos os participantes identificaram a maioria dos pacotes, classes e métodos que se destacavam em relação ao tamanho. O comentário de um participante destaca o uso dos recursos interativos: “a possibilidade do uso do filtro por tamanho de métodos serve de apoio para imediatamente encontrar as respostas solicitadas”.
O estudo, portanto, apresentou evidências iniciais de que a hipótese é verdadeira, pois houve diferença significativa na identificação das disparidades de tamanhos entre os métodos da aplicação.
Pergunta de Pesquisa 3
Hipótese Nula 3: A identificação de métodos que se destacaram em relação à
complexidade ciclomática usando o SourceMiner e o ADS em termos de efetividade é igual se comparada com o uso apenas do Eclipse.
Hipótese Alternativa 3: A identificação de métodos que se destacaram em
relação à complexidade ciclomática é mais efetiva com o SourceMiner se comparada com o uso apenas do Eclipse.
Na realização desta atividade usando somente o Eclipse nenhum participante respondeu os métodos que se destacavam em relação à complexidade ciclomática. Usando o Eclipse e o SourceMiner todos os participantes identificaram os métodos que se destacavam em relação à complexidade ciclomática. Todos os participantes comentaram a dificuldade em ter que calcular manualmente a complexidade ciclomática, enquanto que por outro lado estas informações já são apresentadas visualmente pelo SourceMiner.
99
Hipótese Nula 4: A identificação de anomalias de modularidade e oportunidades
de reestruturação com o SourceMiner é mais efetiva se comparada com o uso apenas do Eclipse.
Hipótese Alternativa 4: A identificação de anomalias de modularidade e
oportunidades de reestruturação com o SourceMiner é mais efetiva se comparada com o uso apenas do Eclipse.
Para os dois tratamentos, nenhum participante apresentou sugestões de anomalias de modularidade (code smells) ou de reestruturação consistentes com as ocorrências coletadas das listas de discussão das aplicações. Por este motivo não foi possível comprovar a hipótese. Entretanto, dois dos participantes fizeram as seguintes observações: “não tenho certeza em relação a qual anomalia estas classes representam, mas de qualquer forma as classes Monster, PrintFormat e ConversionSpecification da aplicação Tyrant (todas com mais de com mais de 2200 linhas) devem caracterizar alguma anomalia de modularidade. Isto ficou evidente através da análise visual do mapa em árvores”.
Ameaças à Validade do Estudo. Todos os participantes do estudo foram
estudantes ou recém graduados em Ciência da Computação, mas a maioria deles relatou experiência na participação de projetos na indústria. As perguntas utilizadas no questionário (neste caso de “a” até “c”) foram elaboradas de acordo com as funcionalidades oferecidas pelo mapa em árvores. Por este motivo foi incluída também a pergunta “d” para analisar até que ponto a metáfora visual disponibilizada oferece suporte a atividades comuns de compreensão de software tais como a identificação oportunidades de reestruturação e anomalias de modularidade em uma aplicação. Os próximos estudos poderiam replicar o protocolo elaborado para este experimento para permitir a generalização dos resultados. Entretanto, foi dada prioridade ao endereçamento das oportunidades de melhorias identificadas e planejamento de um novo estudo para analisar a efetividade da nova versão do ambiente com as funcionalidades incluídas.
100