Méthodes d’optimisation

O planejamento deste experimento foi realizado de acordo com o modelo proposto por Wohlin et al. (2012), que envolve as fases descritas a seguir.

1. Seleção do contexto. O estudo foi realizado com quatorze alunos de graduação e

pós-graduação em Ciência da Computação, no contexto da disciplina Engenharia de Software. Cabe ressaltar que esse estudo não teve impacto na nota dos alunos, para que isso não influenciasse nos resultados do experimento.

Os softwares cujos documentos de requisitos foram utilizados referem-se ao sistema de informação para registro de reclamações na área da saúde, Health Watcher (2015), e ao sistema de informação para locação de DVDs apresentado em (Viana, 2009), que será referenciado daqui em diante como LocaDVD.

Health Watcher foi escolhido por apresentar um documento de requisitos favorável à

identificação e classificação de interesses de software, uma vez que vários interesses transversais estão presentes neste software, tais como “Segurança”, “Persistência”, entre outros. Além disso, os interesses do software Health Watcher já foram devidamente identificados e catalogados por especialistas em EROA (Health Watcher, 2015), servindo como oráculo para verificação das respostas dadas pelos participantes deste estudo experimental. Já o software LocaDVD foi escolhido por se tratar de um sistema de gestão de recursos de negócio, apropriado para ser utilizado com catálogos de interesses criados a partir da linguagem de padrões GRN (Braga, 2002), conforme apresentado na Seção 4.3 desta tese.

2. Formulação de hipóteses. A partir das questões e das métricas levantadas nas

Seções 6.2.2 e 6.2.3, seis hipóteses foram elaboradas, duas relacionadas à cobertura, duas à precisão e duas ao tempo de execução das abordagens ObasCId e Theme/Doc (Quadro 6.11). É importante salientar que, devido à pequena quantidade de interesses de um mesmo tipo existentes nestes softwares, isto é, funcional ou não funcional, apenas hipóteses para as métricas globais de cobertura e precisão foram elaboradas. Contudo, no caso do experimento com o software LocaDVD, os valores das métricas cobertura e precisão específicas para cada tipo de interesse são apresentados e discutidos de forma descritiva.

3. Seleção de variáveis e seleção dos participantes. Variáveis independentes são

aquelas manipuladas e controladas durante o estudo. Neste estudo, a variável independente consiste nas abordagens para identificação e classificação de interesses ObasCId e

Theme/Doc. As variáveis dependentes são aquelas sob análise e cujas variações, com base

nas mudanças feitas nas variáveis independentes, devem ser observadas. Neste experimento, a cobertura (métricas M5, M6 e M7), a precisão (métricas M8, M9 e M10) e o tempo (M4) são considerados como variáveis dependentes.

Os participantes do experimento foram selecionados por meio de amostragem não probabilística por conveniência. Dos quatorze alunos participantes do experimento, sete eram de graduação e sete de pós-graduação. De acordo com o questionário de caracterização de perfil disponível no Apêndice B, todos os participantes afirmaram não terem trabalhado com EROA, nem com identificação de interesses de software em nível de código. Quando perguntados sobre seu nível de conhecimento sobre Engenharia de Requisitos, todos os participantes afirmaram estar em um nível intermediário, cujo conhecimento nesse assunto se deu por meio de disciplinas em Engenharia de Software.

Quadro 6.11. Hipóteses para o Estudo Experimental I. Hipóteses referentes à cobertura proporcionada pelas abordagens

H0M5

Não há diferença com relação à cobertura global média proporcionada pelas abordagens

ObasCId e Theme/Doc, isto é, H0M5: M5ObasCId = M5Theme/Doc

H1M5 Há diferença com relação à cobertura global média proporcionada pelas abordagens _{ObasCId e Theme/Doc, isto é, H1M5: M5} ObasCId ≠ M5Theme/Doc

Hipóteses referentes à precisão proporcionada pelas abordagens

H0M8

Não há diferença com relação à precisão global média proporcionada pelas abordagens

ObasCId e Theme/Doc, isto é, H0M8: M8ObasCId = M8Theme/Doc

H1M8 Há diferença com relação à precisão global média proporcionada pelas abordagens _{ObasCId e Theme/Doc, isto é, H} 1M8: M8ObasCId≠ M8Theme/Doc

Hipóteses referentes ao tempo de execução das abordagens

H0M4

Não há diferença com relação ao tempo médio para execução das abordagens ObasCId e

Theme/Doc, isto é, H0M4: M4ObasCId = M4Theme/Doc

H1M4 Há diferença com relação ao tempo médio para execução das abordagens ObasCId e _{Theme/Doc, isto é, H1M4: M4} ObasCId≠ M4Theme/Doc

4. Projeto e execução do experimento realizado. A distribuição dos participantes

nos grupos foi realizada com o intuito de formar dois grupos homogêneos, com respeito ao nível de experiência dos participantes, e com sete participantes em cada. A experiência dos participantes foi verificada pela aplicação de um questionário de caracterização de perfil, que considerou os conhecimentos dos mesmos sobre EROA. Além disso, o experimento foi planejado em fases (treinamento e execução) para minimizar ainda mais o efeito do conhecimento dos participantes sobre as variáveis dependentes.

Antes do início do experimento, foi realizado um treinamento que teve como objetivo homogeneizar o conhecimento dos participantes sobre EROA e sobre as abordagens

ObasCId e Theme/Doc. Durante o treinamento, não foi informado aos participantes qual das

abordagens foi desenvolvida pelo autor deste trabalho. Também houve a preocupação de que o treinamento não beneficiasse uma das abordagens em detrimento da outra.

A execução do experimento ocorreu em duas fases. Na primeira fase, os participantes deveriam identificar os interesses não funcionais presentes no documento de requisitos do software Health Watcher e classificá-los como transversais ou não. Para isso, o Grupo 1 utilizou a abordagem Theme/Doc e o Grupo 2 a ObasCId. Na segunda fase, os

participantes deveriam identificar os interesses funcionais e não funcionais do software

LocaDVD e classificá-los como transversais ou não. Para isso, o Grupo 1 utilizou a

abordagem ObasCId e o Grupo 2, a Theme/Doc. A configuração do projeto do estudo experimental I pode ser visualizada no Quadro 6.12. Com essa configuração, minimiza-se a interferência de variáveis que não são de interesse desse estudo, tais como a experiência dos participantes e o tipo de software utilizado, sobre as variáveis dependentes.

Quadro 6.12. Projeto do estudo experimental I.

Fases do estudo Grupo 1 Grupo 2

Treinamento ObasCId e Theme/Doc ObasCId e Theme/Doc

Fase 1 Theme/Doc + Health Watcher ObasCId + Health Watcher

Fase 2 ObasCId + LocaDVD Theme/Doc + LocaDVD

O trecho do documento de requisitos do Health Watcher disponibilizado aos participantes apresentava seis interesses não funcionais, todos classificados como transversais no oráculo utilizado como referência (Health Watcher, 2015): “Segurança”, “Concorrência”, “Usabilidade”, “Performance”, “Disponibilidade” e “Persistência”. Quanto ao documento de requisitos do software LocaDVD, o mesmo apresentava quatro interesses funcionais _{(“Pagamento”, “Transação”, “Recurso” e “Destino”) e dois não funcionais} (“Logging” e “Persistência”), sendo “Transação”, “Logging” e “Persistência” os interesses transversais desse software. Para contagem dos acertos dos participantes, bem como para calcular os valores das métricas cobertura e precisão, considerou-se a quantidade de interesses identificados e classificados corretamente pelos participantes do experimento.

Na primeira fase do experimento, além do documento de requisitos do software

Health Watcher, os participantes do Grupo 2 receberam também um catálogo para

interesses não funcionais de software, representado em um diagrama de classes UML, igual àquele apresentado no Capítulo 4. Tal catálogo foi criado a partir dos catálogos de requisitos não funcionais propostos por Cysneiro (2015), Chung e Leite (2000) e Boehm e In (1996). É importante salientar que, como não havia catálogos específicos para interesses funcionais referentes ao domínio de reclamações na área da saúde, decidiu-se fornecer os interesses funcionais do software Health Watcher previamente identificados para ambos os grupos. Quanto aos participantes do Grupo 1, eles tiveram acesso aos catálogos de requisitos não funcionais utilizados para confecção do catálogo de interesses utilizado pelo Grupo 2.

Na segunda fase, além do documento de requisitos do software LocaDVD, os participantes do Grupo 1 receberam também um catálogo para interesses não funcionais, similar ao utilizado na primeira fase do experimento, porém com a inclusão de novos interesses. Tais interesses são do tipo funcional e correspondem a alguns padrões da linguagem GRN, conforme apresentado na Seção 4.3.