Les programmes didactiques des lycées italiens

Como conduzir uma revisão de literatura é o que tentaremos explicar nas próximas páginas. Vários autores apresentam um passo a passo para estruturar uma revisão de literatura. Fink (2010) afirma que uma revisão de literatura pode ser dividida em sete passos:

1. Seleção das perguntas de pesquisa. Uma pergunta ou um grupo delas deve orientar todo o processo de revisão.

2. Seleção de bases de dados bibliográficas ou de artigos, sites e outras fontes. Uma base de dados bibliográfica é uma coleção de artigos, livros e relatórios que podem fornecer dados para responder às perguntas da pesquisa. As bases de dados bibliográficos contêm os textos completos dos estudos originais. Outras fontes de revisões de literatura incluem listas de referências contidas em artigos e um parecer de especialistas. 3. Escolher os termos de busca. Os termos de pesquisa são as palavras e

frases que o revisor usa para obter artigos pertinentes, livros e relatórios. Ele se baseia nas palavras e conceitos que moldam as questões de pesquisa, e usa uma gramática específica e lógica para realizar a pesquisa.

4. Aplicar critérios de seleção práticos. Pesquisas preliminares da literatura sempre rendem muitos artigos, mas apenas alguns são relevantes. O autor para chegar aos artigos relevantes deve definir critérios de inclusão e exclusão para a revisão. Critérios de classificação práticos

incluem fatores como o idioma em que o artigo é impresso, a configuração de um estudo e sua fonte de financiamento.

5. Aplicar critérios de seleção metodológica. Os critérios metodológicos incluem critérios para avaliar a adequação da cobertura de um estudo e da sua qualidade científica

6. Fazer a revisão. Revisões válidas e confiáveis envolvem o uso de um formulário padronizado para abstrair os dados de artigos, revisores treinados (se houver mais de um) para fazer a abstração, monitoramento da qualidade da revisão e um teste piloto do processo.

7. Sintetizar os resultados. Resultados da revisão de literatura podem ser sintetizados de forma descritiva. Sínteses descritivas são as interpretações dos resultados da revisão com base na experiência dos avaliadores e na qualidade e no conteúdo da literatura disponível. Um tipo especial de síntese, a meta-análise, envolve o uso de métodos estatísticos para combinar os resultados de dois ou mais estudos.

A seguir podemos observar uma figura que mostra o encadeamento dos passos sugeridos pela autora.

Figura 4-1. Fluxo de uma revisão de literatura

Fonte: Fink, 2010

Outro roteiro para conduzir uma revisão de literatura foi elaborado por Cooper (1984). Em princípio ele pode ser confundido com um passo a passo de pesquisa primária, mas de fato descreve cinco estágios de uma revisão de literatura.

2. Coleta dos dados 3. Avaliação dos dados 4. Análise e interpretação 5. Apresentação pública

Sobre esse processo Randolph (2009) proferiu as seguintes observações:

“Se há uma coisa deve ser percebida sobre a condução e ao relatar uma revisão da literatura é que as etapas para conduzir e relatar uma revisão de literatura corresponde ao processo utilizado para a realização de pesquisa primária. Com algumas modificações, o que se sabe sobre a condução de pesquisas primárias aplica-se a realização de estudos secundários (ex: uma revisão da literatura). Os componentes principais são: (a) uma justificativa para a realização da revisão, (b) questões de pesquisa ou hipóteses que norteiam a pesquisa, (c) um plano explícito para coletar dados, incluindo a forma como as unidades de análise serão escolhidas, (d) um plano explícito para analisar os dados, e (e) um plano para a apresentação dos dados”.

É valido salientar que as unidades de uma revisão da literatura são geralmente os artigos que são revisados. É importante também saber que as mesmas questões que se aplicam a pesquisa primária, também se aplicam a pesquisa secundária. Alguns exemplos são: validade e confiabilidade, ou ainda, o fato das etapas serem executadas de forma iterativa, caso seja necessário.

Nas próximas seções falaremos um pouco mais sobre cada um dos estágios sugeridos por Cooper (1984). Antes, porém, apresentamos uma tabela do mesmo autor. Um framework para orientar a realização das cinco etapas de pesquisa de uma revisão da literatura. À esquerda, a tabela identifica as características gerais de cada etapa da pesquisa: as questões de pesquisa, as funções primárias de cada fase, as diferenças de procedimento que podem conduzir a variações na conclusão, e as fontes potenciais que podem invalidar cada etapa. Acima são relacionados os estágios de pesquisa.

Tabela 4-1. Os estágios de pesquisa para condução de uma revisão de literatura

Fonte: “Scientific Guielines for Conducting Integrative Research Reviews” Review of Education Research, v. 32, p. 293, 1984.

Formulação do problema

Após estabelecer o tipo de revisão de literatura de acordo com os critérios definidos anteriormente na taxonomia, as perguntas de pesquisa podem ser definidas. Ou seja, quais questões serão respondidas pela revisão de literatura. Neste momento, definem-se explicitamente os critérios de inclusão ou exclusão de artigos.

As perguntas de pesquisa podem ser estruturadas de acordo com critérios científicos. Easterbrook (2007) definiu uma classificação para os tipos de pergunta que podem ser feitas adaptando o trabalho de Meltzoff (1998). Nos estágios inicias de pesquisa, geralmente são usadas perguntas exploratórias. Esse tipo de pergunta procura descobrir a existência ou não de algo (existence

questions) ou quais as similaridades e diferenças entre dois fenômenos

(descriptive-comparative questions).

Quando o pesquisador consegue compreender claramente o fenômeno, passamos para as base-rate questions ou perguntas para medir variações de comportamento de um fator em análise. Esse tipo de pergunta procura identificar padrões de ocorrência de um fenômeno. São exemplos desse tipo as questões de distribuição e frequência (Frequency and distribution questions) e as questões a respeito da descrição do processo (Descritive-Process

questions).

Podemos encontrar ainda as questões que identificam relacionamento entre dois diferentes fenômenos (Relationship questions), as que procuram por uma relação de causa e efeito (Causality questions) e aquelas perguntas focadas na descrição do mundo e dos suas definições e axiomas (Knowledge

questions).

Antes de continuarmos tratando da formulação do problema é importante diferenciar as perguntas de revisão de literatura (i.e., questões que podem ser respondidas por uma pesquisa secundária) e as perguntas de pesquisas empíricas (i.e.: questões que só podem ser respondidas por pesquisas primárias). Segundo Randolph (2007b) a revisão de literatura é uma fonte primária para as perguntas de pesquisa empírica.

O primeiro passo para a formulação do problema é a elaboração da pergunta de pesquisa. A pergunta deve guiar a revisão e é determinada pelo foco e pelo objetivo da revisão de literatura. A próxima etapa é fixar explicitamente os critérios para inclusão ou exclusão. Visto de outra forma é preciso saber quais artigos vão ser incluídos e quais serão excluídos da revisão. Esses critérios são influenciados pelo foco, objetivo e cobertura.

Abaixo é possível observar um exemplo de critérios de inclusão/exclusão utilizado por estudantes e apresentado por Randolph

(2007c). Os estudos foram incluídos na síntese quantitativa se cumprissem cada um dos seguintes critérios:

1. O estudo relatou médias e desvios-padrão ou forneceu informações suficiente para calcular médias e desvios-padrão para cada condição.

2. O uso de gravação em cartões de resposta, de cartões de resposta pré-impressos, ou em ambos, foi a variável independentemente. 3. Respostas individuais de estudantes (ex., levantando a mão) foram

usadas durante o controle das condições.

4. O estudo reportou resultado em pelo menos uma das seguintes variáveis dependentes: participação, realização de questionário, realização de testes, ou intervalos de rupturas comportamentais. 5. O relatório foi escrito em inglês

6. Os dados de um estudo não se sobrepõem a dados de outro estudo. 7. Os estudos utilizam metodologias do tipo que podem ser replicáveis. 8. Para estudos separados que usaram os mesmos dados (ex.: uma

dissertação e um artigo de revista com base no mesmo conjunto de dados), somente o estudo com relatório mais abrangentes foi incluído para evitar a representação duplicada de um determinado conjunto de dados.

Os critérios de inclusão e exclusão devem ter algumas características. Eles devem ser bem compreendidas visando à classificação de qualquer artigo que seja submetido aos mesmos Também tem que ser ricos em detalhes para que duas pessoas que receberem o mesmo conjunto de artigos obtenham o mesmo resultado.

Segundo Randolph (2009), nas revisões, onde a confiabilidade é essencial, tais como quando uma dissertação ou tese é na totalidade uma revisão, os pesquisadores recrutam outras pessoas para testar a confiabilidade do sistema de inclusão / exclusão. Em seguida, comparam os subconjuntos resultantes para revelar inconsistências, revisando, portanto, a conformidade dos critérios.

Testes de qualidade devem ser feitos em subconjuntos de artigos para verificar a confiabilidade dos critérios. Desta forma, podemos identificar artigos escolhidos ou omitidos inadequadamente e reajustar os critérios. Fazer esse teste por repetidas vezes pode garantir a escolha correta da cobertura do trabalho de revisão, evitando, portanto, retrabalho caso seja descoberto um erro em etapas subsequentes.

Coleta dos dados

O objetivo da coleta de dados é encontrar um conjunto de artigos relevantes baseados nos critérios de cobertura definidos anteriormente. Nesta etapa também é necessário que o revisor descreva o processo de coleta de dados de forma a torná-lo reproduzível posteriormente.

O passo a passo para a coleta de informações geralmente começa com uma busca nas bases de dados acadêmicas e na internet. As bases de dados relevantes podem variar de acordo com o campo do estudo. Durante o processo, devem ser mantidos registros precisos sobre a data de cada pesquisa, os bancos de dados pesquisados, as palavras chave e combinações de palavras utilizadas, bem como o número de registros resultantes de cada pesquisa.

Neste ponto, Randolph (2009) faz um comentário preocupante para os revisores: apenas dez por cento dos artigos são encontrados nessa primeira etapa da busca. Entretanto, após a introdução feita por Kitchenham et al. (2004) da engenharia de software baseada em evidências, a revisão sistemática de literatura tem sido amplamente usada como um método para

conduzir estudos secundários em engenharia de software. Utilizando essa técnica, Silva et al. (2010) conseguiu encontrar 48 de um total de 51 artigos considerados relevantes. Desses, um não estava indexado em nenhum dos engenhos de busca. O segundo apresentava uma divergência no uso da nomenclatura. E o terceiro realmente não foi capturado pela string de busca.

Outra forma bastante efetiva de fazer a coleta é procurar nas referências dos artigos encontrados e escolher quais deles são importantes. Deve-se refazer essa operação continuamente até a saturação do processo, ou seja, quando nenhum artigo relevante é encontrado.

Após a busca eletrônica e a por referências terminarem, o revisor pode compartilhar o conjunto de artigos obtidos com colegas e especialistas no assunto para detectar se existe algum artigo faltando. O autor da revisão pode ainda compartilhar a lista obtida no principal grupo de discussão sobre o assunto e com seu orientador da pesquisa para ouvir outras opiniões a respeito da completude dos dados.

A coleta de dados tem fim quando o autor tem evidências de que esgotou todas as possibilidades para encontrar os artigos e estar convicto de que pode convencer os leitores desse fato. É possível que novos artigos sejam escritos após a etapa de coleta dos dados, contudo, Randolph (2009) sugere que apenas seja adicionado se o artigo tiver um grau de importância crítica para o estudo.

Fechado o conjunto de artigos é importante passar mais um filtro sobre o mesmo. Selecionar os artigos considerados potencialmente relevantes dos obviamente irrelevantes. Para isso o revisor pode ler apenas o título, as palavras chave, o resumo ou qualquer combinação entre eles. Seja qual for o método escolhido mais uma vez é crucial documentá-lo. Após essa exclusão ser feita, se a confiabilidade for crítica, é possível selecionar dois ou mais pesquisadores para verificar nos artigos restantes, se os critérios de inclusão ou exclusão tem alto nível de concordância entre eles. Agora que o revisor já

tem um conjunto satisfatório de dados coletados parte-se para a próxima etapa do processo a avaliação dos dados.

Avaliação dos dados

Para promover uma avaliação de dados consistentes é preciso tomar cuidado com alguns aspectos. O primeiro, que vem sendo tratado em todas as etapas anteriores é a preocupação com a documentação detalhadas do processo utilizado. Futuramente, uma pessoa deve conseguir, na prática ou teoricamente, repetir os passos e obter os mesmos resultados.

Ao elaborar um modelo para extração e avaliação das informações, deve-se utilizar algum tipo de formulário, seja eletrônico ou físico, para catalogar e armazenar os dados. A extração é orientada pelas perguntas de pesquisa e a qualidade da análise depende foco e do objetivo da revisão que influenciam na forma de integração dos dados.

Antes de começar a montar um formulário de extração, é útil para o entendimento observar formulários de outros trabalhos de pesquisa. Essa tarefa complementa o conhecimento a respeito do escopo e da organização de um formulário. Um exemplo de formulário pode ser encontrado em Randolph (2007a).

Quando o revisor considerar que o formulário está pronto é essencial submeter o mesmo a um teste piloto para verificar a consistência do mesmo. Muitas vezes durante esse procedimento surgem novos dados para a extração que não foram pensados durante a elaboração. Esse processo deve ser feito algumas vezes para obter um nível aceitável para os formulários.

Ao final dos procedimentos utilizados para extração pode ser descritos em um anexo separado da tese ou ainda fazer parte do corpo da dissertação. E os dados devem seguir para a próxima etapa do processo para serem analisados e interpretados.

Encontrar sentido para os dados extraídos na etapa anterior, essa é, sem sombra de dúvidas, o grande propósito da análise e interpretação dos dados. As ações a serem feitas nesta etapa estão diretamente ligadas à classificação de Cooper (1988). Se uma revisão tem como objetivo integração, agora o autor deve integrar os dados.

Segundo Randolpht (2009) o tipo de extração dos dados, se quantitativo e/ou qualitativo, determina como a síntese dos dados será organizada. Desta forma, trataremos de mais detalhes a respeito deste ponto na próxima seção deste capítulo que trata de revisões de literatura qualitativa e quantitativa.

Apresentação pública

Nesta etapa a grande pergunta a ser respondida pelo autor é: quais das informações obtidas após a execução de todas as etapas anteriores são mais importantes? Essas devem fazer parte da apresentação pública. Nesse sentido o autor tem total controle sobre o que ele próprio considera relevante para incluir. A organização das informações deve seguir a mesma linha adota pelo tipo de organização definida na taxonomia da revisão. Se histórica, conceitual ou ainda metodológica.

O orientador e os outros membros da banca são a audiência primaria quando tratamos de uma dissertação. A revisão de literatura deve ter como público alvo essas pessoas. Em segundo lugar, devem-se considerar outros estudiosos no assunto. Por fim, a dissertação pode ser revisada ao final para tentar atingir um público mais geral.