Com o objetivo de sistematizar a revisão e torná-la replicável, um protocolo (Apêndice A) foi previamente escrito com os processos envolvidos na seleção dos estudos e coleta de dados. O protocolo é peça importante na execução da metodologia, pois estabelece os critérios de identificação, seleção e coleta de dados, e tem por objetivo “mapear o conhecimento sobre uma questão específica” (CASTRO, 2001, p. 4). Ou seja, o protocolo “especifica os métodos que serão usados” na revisão (KITHENHAM, 2007), evitando que o autor da pesquisa influencie no seu processo.
Seguindo as recomendações de Mian (2006) e Kitchenham (2007), o protocolo foi testado para avaliar sua eficácia.
O protocolo tem como principal orientação a pergunta de pesquisa (COOK, SACKETT e SPITZER, 1995; CASTRO, 2001), ou seja, qual a relação entre o porte da auditoria externa e a manipulação da informação contábil.
A estratégia de seleção dos estudos seguiu a orientação dada por Kitchenham (2007, p. 14): “o objetivo de uma revisão é encontrar o maior número de estudos possíveis relacionados à pergunta de pesquisa usando uma estratégia que evite o viés”. Nesse sentido, foram utilizadas bases de dados eletrônicos contendo as referências de estudos científicos dos principais edições nacionais e estrangeiras nas áreas de contabilidade, administração, finanças e economia.
A pesquisa em bases de dados eletrônicas representou o maior esforço no processo de busca. Não obstante, buscas manuais foram feitas nas referências bibliográficas dos artigos selecionados.
O processo de seleção foi adaptado daquele preconizado pela Cochrane Collaboration, que, embora se constitua em uma importante referência para as revisões sistemáticas em todas as ciências, trás algumas particularidades não aplicáveis, por estar orientada para a área médica. Segundo aquela organização, o processo de seleção deve ser divido em etapas de modo assegurar que os estudos selecionados tenham sido, de fato, escolhidos de acordo com os critérios estabelecidos no protocolo, e que aqueles estudos identificados no processo de busca, mas não incluídos na coleção a ser analisada sejam identificados e justificados os motivos de sua exclusão.
A seleção dos estudos ocorreu em 3 etapas.
A primeira constituiu do próprio critério de busca, ou seja, da escolha dos bancos de dados eletrônicos, da combinação de termos (string), e das restrições na busca, como o idioma.
A segunda etapa consistiu da leitura dos abstracts, eliminando aquelas referências que claramente não atendiam ao propósito da pesquisa.
A terceira etapa consistiu da leitura completa dos estudos com objetivo de compor uma coleção para coleta de dados. Os estudos forma classificados de acordo com os critérios de seleção estabelecidos no protocolo, em: (1) atende aos objetivos da revisão, e (2) não atende aos objetivos da revisão, qual seja, o de entender a relação entre o porte da auditoria e a MIC. Aqueles excluídos da coleção foram listados e o motivo da exclusão assinalado (ver Apêndice C).
Por mais abrangente e rigoroso que se pretenda ser no processo de identificação dos estudos, haverá sempre material fugitivo. Os estudos que passaram à terceira etapa tiveram as suas referências bibliográficas pesquisadas como complemento manual da busca.
3.2.1 Estratégia de busca
A busca foi iniciada no dia 1o de julho com a realização de um teste da eficácia dos critérios adotados no protocolo. Alguns ajustes foram feitos em virtude das diferentes características dos instrumentos de busca. A repetição do teste mostrou que em diferentes datas, a busca eletrônica produz diferentes resultados, indicando que a confiabilidade, e conseqüentemente a acuidade da seleção, pode comprometer o total de estudos identificados inicialmente.
A busca se encerrou no dia 15 de julho. Algumas referências identificadas não estavam disponíveis e o sistema COMUT foi utilizado para obtenção dos estudos.
Os instrumentos de busca ISI, Ebsco e Jestor foram utilizados sobre os bancos de dados ABI/inform, Global, SCIENCE DIRECT, que reúnem entre si as principais referências
bibliográficas nas áreas de interesse (contabilidade, economia, administração e finanças). Também foram pesquisados os anais da EnAnpad.
A busca eletrônica utilizou, de acordo com o protocolo, combinações de termos (strings) previamente identificados na literatura, com o uso do operador AND e/ou OR, sem limite de data e sobre o resumo (abstract) das referências.
O objetivo foi o de identificar o maior número de artigos contendo a relação entre AE e MIC. Os seguintes strings foram aplicados na busca:
- Audit* AND Manipulação - Audit* AND Gerenciamento - Audit* AND Earning* - Audit* AND Financial* - Audit* AND Income* - Audit* AND Accounting
- Audit* AND Bath OR ”Cookie Jar” OR Manipulation
Ao todo foram identificadas 86 referências, das quais 63 previamente eliminadas: 31 duplicados, 20 que claramente não atendiam ao objetivo da pesquisa20 e 12 que tratavam de anúncios de congressos, chamadas de trabalhos e outros. Os 23 estudos restantes forma lidos na íntegra: 14 foram classificados como (1) atende ao interesse da pesquisa, e 9 como (2) não atende ao interesse da pesquisa. A leitura completa dos estudos revelou que somente 14 atendiam satisfatoriamente os requisitos da seleção incluídos na coleção.
3.2.2 Critérios de seleção
Os estudos foram selecionados a partir de três critérios:
1. O estudo deve apresentar uma evidência empírica da relação entre o porte da AE e a MIC.
20
Estudos que foram identificados pelos strings de busca (AUDIT*), mas que tratam de audit-fee ou do auditor como pessoa física e a MIC, por exemplo.
2. O estudo deve apresentar uma relação causal entre o porte da auditoria e a MIC. Isto é, o porte da auditoria deve ser estudado como variável principal ou uma das varáveis principais no modelo causal. Portanto, os estudos que apresentam o porte da auditoria como variável de controle não são incluídos na pesquisa.
3. A MIC deve ser estimada por meio das acumulações discricionárias.
Nos estudos que testam múltiplas hipóteses, somente aquelas de interesse foram consideradas.