Esta etapa foi fundamental para o planejamento do mapeamento sistemático e teve como atividades: (i) definição do protocolo e (ii) revisão do protocolo. Nesta etapa o principal artefato produzido é o protocolo do mapeamento que encontra-se em anexo no Apêndice F desta dissertação.
3.3. CICLO DA PESQUISA 40 Diferente de um processo não estruturado de revisão da literatura, um estudo sistemático procura reduzir o viés do pesquisador através de uma sequência precisa e rigorosa de passos metodológicos. Toda a metodologia do mapeamento sistemático desta pesquisa foi planejada em três fases como ilustra a Figura 3.2.
Figura 3.2 Metodologia planejada para a realização do mapeamento sistemático
A seguir serão apresentados os detalhes de planejamento do mapeamento e todas as decisões e informações necessários para a compreensão da pesquisa.
3.3.2.1 Definição do Protocolo
O objetivo do protocolo de um estudo sistemático é reduzir o viés do pesquisador e fornecer um processo reproduzível e transparente para a realização do estudo. O protocolo do mapeamento desta pesquisa foi construído com base em guias existentes na literatura (KITCHE- NHAM,2004;KEELE,2007;PETERSEN et al.,2008b;ARKSEY; O’MALLEY,2005).
A seguir serão apresentados, através de parágrafos breves, apenas alguns dos elementos relacionados ao planejamento do mapeamento, entretanto, é possível ter acesso ao protocolo como um todo no Apêndice F. Como pode ser visto na Figura 3.2 o planejamento compreende a definição dos seguintes pontos: questões de pesquisa, estratégia de busca dos estudos, estratégia de seleção dos estudos, avaliação da qualidade e estratégia de extração.
3.3.2.1.1 Questões de Pesquisa A formulação das questões de pesquisa é crucial e direciona todas as atividades de busca, seleção, extração dos dados e análise dos estudos (KITCHENHAM; CHARTERS,2007). O objetivo desta pesquisa é realizar um diagnóstico da comunicação dos resultados dos experimentos realizados na computação em nuvem para verificar se os autores
3.3. CICLO DA PESQUISA 41 apresentam em seus relatos um conjunto de elementos que permitam interpretar, avaliar a validade e o potencial de tais estudos como: motivação, objetivo, método, análise dos dados, resultados, conclusões e limitações. Com este objetivo e tomando como base as orientações criadas porJEDLITSCHKA; CIOLKOWSKI; PFAHL(2008), que orientam os pesquisadores a relatar o resultado de experimentos com base em um conjunto de informações essenciais para seu entendimento, foi criado o conjunto de questionamentos abaixo:
QP1 - Quão completos são os relatos de experimentos em elasticidade na computação em nuvem, em relação à apresentação de elementos da pesquisa que permitam a interpretação, avaliação da validade e o potencial da pesquisa?
SQP1 - O título permite que o leitor identifique que o estudo é um relato de experimento?
SQP2 - Informações importantes do resumo como motivação, objetivos, métodos, resultados, limitações e conclusões da pesquisa são relatadas? SQP3 - A introdução do relato apresenta referências à declaração do
problema, objetivos e contexto da pesquisa?
SQP4 - A fundamentação informa sobre a tecnologia em investigação, às possíveis opções alternativas a ela, pesquisas relacionadas e a relevância para a prática?
SQP5 - O relato apresenta informações sobre o planejamento da pesquisa? SQP6 - O relato detalha a análise dos dados da pesquisa?
SQP7 - Os resultados, suas implicações e ameaças à validade são relata- dos?
SQP8 - As conclusões do estudo apresentam um resumo conciso da pes- quisa, seus impactos e trabalhos futuros?
3.3.2.1.2 Estratégia de Busca dos Estudos A busca dos estudos inclui as estratégias manu- ais e automáticas. Foi planejado que ambas as estratégias deveriam ser executadas pelo autor da pesquisa e os resultados obtidos exportados para o sistema ExtractViewer, ferramenta criada para auxiliar toda a realização do estudo sistemático. Mais informações sobre a feramenta podem ser obtidas no Apêndice G As fontes de busca manuais planejadas e os respectivos períodos de coleta são as apresentadas na Tabela 3.4.
Para a estatégia automática planejou-se a utilização dos mecanismos IEEE Xplore Digital Library 1, ACM Digital Library 2, Elsevier Scopus 3, Springer Link 4. A string de busca
1http://ieeexplore.ieee.org 2http://portal.acm.org 3http://www.scopus.com 4http://link.springer.com
3.3. CICLO DA PESQUISA 42
Fonte Período Tipo Área
EASE – International Conference on Evaluation and Assessment in Software Engineering
2006-2014 Conferência ESE ESEM – International Symposium on Empirical
Software Engineering and Measurement
2007-2014 Simpósio ESE ESE – Empirical Software Engineering Journal 2006-2014 Journal ESE CLOUD – IEEE International Conference on
Cloud Computing
2009-2014 Conferência CN CLOUDCOM – IEEE International Conference
on Cloud Computing Technology and Science
2010-2014 Conferência CN TPDS – IEEE Transactions on Parallel and Dis-
tributed Systems
2006-2014 Journal CN
Tabela 3.4: Fontes de Busca Manual e Período de Coleta
definida é apresentada na Tabela 3.5. Foram utilizados os principais sinônimos para a definição da computação em nuvem e seus modelos de serviço. Para encontrar os experimentos mais efetivamente foi utilizado o termo experimento conforme as orientações deDIESTE; GRIMáN; JURISTO(2008). Com o objetivo de encontrar os experimentos que claramente declaravam realizar experimentos em elasticidade o termo foi incluído na string de busca.
(Cloud Computing <OR> Cloud Platform <OR> Cloud Service <OR> Cloud Provider <OR> PaaS <OR> Platform as a Service <OR> Platform-as-a-Service <OR> IaaS <OR>
Infrastructure as a Service <OR> Infrastructure-as-a-Service <OR> SaaS <OR> Software-as-a-Service"<OR> Software as a Service)
[AND] (Elasticity)
[AND]
(Experiment OR Evaluate OR Evaluation OR Evaluating OR Benchmark)
Tabela 3.5: String de Busca utilizada na pesquisa dos estudos do MS
3.3.2.1.3 Estratégia de Seleção dos Estudos A seleção dos estudos foi planejada em duas etapas, onde a primeira consiste na leitura do título e resumo de todos os estudos pelo autor da pesquisa em conjunto com um pesquisador experiente e, apenas os trabalhos claramente fora do escopo da pesquisa e duplicados devem ser excluídos. Em caso de dúvida em relação à permanência do estudo o mesmo deve ser mantido para a segunda rodada de seleção conforme recomendaKITCHENHAM; CHARTERS(2007).
A segunda etapa contempla a participação de pesquisadores configurados em duplas e todos os estudos devem ser lidos sinteticamente e analisados conforme os critérios de exclusão definidos. O grau de concordância entre os revisores deve ser calculado para garantir que o resultado obtido não foi meramente ao acaso.
3.3. CICLO DA PESQUISA 43 Quanto aos critérios de exclusão, os mesmos foram definidos com objetivo de identificar apenas os experimentos que avaliavam a elasticidade na computação em nuvem, o que deixa implícito que todos os estudos que não se enquadraram nestes critérios deve ser automaticamente incluídos. A lista dos critérios pode ser observada na Tabela 3.6. Todo o processo deve ser assitido pela ferramenta ExtractViewer e cada um dos revisores, de posse de suas credenciais de acesso devem proceder com a análise dos estudos designados a ele. Mais detalhes sobre as telas e informações disponibilizadas aos revisores pode ser vista no Apêndice G. Inicialmente alguns dos critérios podem parecer similares entre si, entretanto o objetivo é realizar uma análise com granularidade fina a fim de facilitar futuros estudos com os resultados das seleções de estudos realizada nesta revisão.
Código Critérios de Exclusão
C01 O arquivo não corresponde ao Estudo. (Ex: índice) C02 O arquivo não é um Estudo. (Ex: proceedings, editorial) C03 O Estudo é duplicado.
C04 O Estudo é um slideshow ou resumo expandido. C05 O Estudo está fora do intervalo de avaliação.
C06 O Estudo está relacionado à Elasticidade mas não relata um Experimento. C07 O Estudo está relacionado à Elasticidade, reporta um Experimento porém não
avalia Elasticidade.
C08 O Estudo não está disponível. C09 O Estudo não está em inglês.
C10 O Estudo não está relacionado à Computação em Nuvem.
C11 O Estudo não está relacionado à Elasticidade na Computação em Nuvem. Tabela 3.6: Lista dos Critérios de Exclusão em ordem alfabética.
3.3.2.1.4 Avaliação da Qualidade O intuito desta pesquisa é ser exaustiva, e identificar a maior quantidade de experimentos em elasticidade para obter uma representatividade ampla da população. Assim sendo, a análise de qualidade dos estudos selacionados não foi realizada, uma vez que nesta caso a inclusão do maior número de estudos pode contribuir potencialmente para a formação de uma visão ampla da prática atual dos relatos dos experimentos.
3.3.2.1.5 Estratégia de Extração Foi planejado que o processo de extração dos dados seria feito em duas partes: extração dos metadados e extração através do instrumento de análise de completude dos relatos. A primeira parte contempla os metadados relacionados ao título do estudo, autores, instituições, países, fonte e ano de publicação. Uma vez que tais dados devem ser coletados durante a etapa de busca e importados para o sistema ExtractViewer, sua extração deve ser realizada através de consultas ao banco de dados do sistema. Já a segunda parte deve ser extraída através da leitura e aplicação do instrumento de coleta nos estudos selecionados conforme orientações e detalhes apresentados no Apêndice H e Seção 2.2.2.
3.3. CICLO DA PESQUISA 44 3.3.2.2 Revisão do Protocolo
Com a conclusão do protocolo, conforme orientação dos guias utilizados, o mesmo foi apreciado por especialistas da computação em nuvem, engenharia de software experimental e engenharia de software baseada em evidências. Após a realização dos sucessivos ajustes propostos, a versão final do protocolo foi então estabelecida para permitir assim o início da etapa de execução da pesquisa.