La destruction du jeu

De forma a am pliar a confiabilidade e validade do estudo, um rigoroso processo de pesquisa foi planejado. Nest a pesquisa, a definição e a utilização de protocolos para desenvolvimento e f ormalização dos m últiplos estudos desenvolvidos, que se baseiam em um consistente referencial teórico, tiveram por objetivo uniformizar e sist em atizar a t ar efa de observação e análise, aument ando a confiabilidade do estudo. Os instrumentos de colet a de dados ( roteiros para entr evist a sem i- estruturada e questionários) foram planejados utilizando um protocolo form al, validade de face e conteúdo e pré- t ese, de form a a gar antir a integridade dos resultados esper ados [ 107] . Além disso, a triangulação dos dados colet ados aum entou a confiabilidade dos resultados encontrados [ 107, 140] . Esta triangulação foi desenvolvida com binando os dados

qualitativos coletados com revisão de documentos nas em pr esas estudadas bem com o em avaliações dos relatórios parciais por part e dos respondentes.

Segundo Yin [ 154] um a vant agem do estudo de caso é a capacidade de lidar com um a ampla variedade de evidências – docum entos, entrevist as e obser vações – além da disponibilidade do estudo histórico convencional. Uma limitação dessa estr at égia, entr et anto, é o pouco em basam ento par a generalizações científicas, pois, não necessariam ente pode- se obt er um resultado am plo a partir de um caso único. Sendo assim , a afirmação de que os estudos de caso oferecem pouca base para generalização é, segundo o autor, uma das facet as dos preconceitos que cercam est a estr at égia de pesquisa. No ent anto, o autor explica que os estudos de caso, assim com o os experim entos, são aplicáveis a proposições t eóricas, e não a populações. Além disso, se não se pode gen eralizar a par tir de um único caso, também não se pode generalizar com base em um único experim ent o. Assim , o estudo de caso não represent a um a am ostr agem , logo, o seu objetivo é generalizar e expandir teorias ( generalização analítica) , e não enumerar freqüên cias ( gener alização est atística) . O objetivo é fazer um a análise “ gener alizante” e não “ part icularizant e” , e a lógica que r ege o desenho da pesquisa não é a da am ostragem , m as a da replicação.

Os estudos de caso não possibilitam a gener alização dos resultados ( generalização est atística) . Por isso, o pesquisador não procura casos repr esentat ivos de um a população para a qual pret ende generalizar os resultados, m as a partir de um conj unto particular de r esultados ( casos) , ele pode gerar proposições teóricas que seriam aplicáveis a outros contextos. E é isto que Yin cham a de gener alização analítica [ 154] . Portanto, o estudo de caso t em limitações est at ísticas, m as, ao m esm o t empo, cria valor par a pesquisas em diversos r amos científicos atr avés da gener alização analítica. O método da gener alização analítica pressupõe que um a t eoria previam ent e desenvolvida serve de quadro de refer ência na com par ação entre r esultados empíricos obtidos. Est a estr at égia t em sido utilizada em cam pos orientados pela prática e em pesquisas de teses e dissert ações. Os estudos de caso apresent ados nest a t ese pret endem obter, a partir da pesquisa sobre um conjunto de casos, conclusões sobre princípios gerais daqueles casos em específico e que poderão ser aplicadas em projetos sem elhantes e adot adas com o boas práticas no desenvolvim ent o de software com captive center s.

Já St ake [ 147] afirm a que a gener alização não deveria ser um a exigência feita a todo e qualquer estudo, pois essa preocupação, caso sej a excessiva, pode desviar a at enção do pesquisador de car act erísticas importantes para a compreensão do caso em si. O que est e autor introduziu, ao propor a "gener alização naturalística", é um a m udança de perspectiva: suger e que ao invés de assum ir a responsabilidade de definir para que populações e/ ou contextos os resultados obtidos podem ser gener alizados, o pesquisador

deixa essa decisão par a o leitor. Este, ao se deparar com a descrição det alhada dos sujeitos, das r elações que m ant êm entre si, de seus com portamentos e das situações em que ocorrem , enfim , com um a "descrição densa" do caso, decidirá se as interpret ações e hipóteses apr esent adas naquele estudo podem ser aplicadas ao caso de seu interesse.

Do ponto de vista da análise de conteúdo, a confiabilidade dos dados foi alcançada atr avés dos t est es de est abilidade ( os resultados são est áveis depois de repetidas análises) e r eplicabilidade ( a análise deve ser r epetida por diferentes pesquisadores) am bos sugeridos por Krippendorff [ 84] . A est abilidade foi garant ida pela replicação da codificação execut ada pelo pesquisador principal. Já a replicabilidade foi alcançada pelo agrupam ento das codificações em cat egorias por dois pesquisadores diferentes. Na prim eira fase da pesquisa, por exem plo, quatro cat egorias identificadas pelo pesquisador principal não foram identificadas pelo segundo pesquisador. Além disso, o segundo pesquisador definiu oito novas categorias não m encionadas pelo pesquisador principal. I sto gerou uma necessidade de conver gência entre as cat egorias definidas.

Em relação à validade e confiabilidade do estudo, o projeto de pesquisa form ado pela est rutura t eórica e pelos componentes apresent ados no desenho de pesquisa deve at ender a critérios qualitativos Yin [ 154] apresent a quatro test es que são am plam ent e utilizados para julgar a qualidade de um a pesquisa em pírica, quais sej am :

- Validade de const ruto: desenvolver um conjunto operacional de m edida, est abelecendo definições dos principais termos e variáveis do estudo para que se saiba exat am ent e o que se quer medir ou descrever.

- Validade I nterna: o pesquisador deve t est ar a coerência interna entre as proposições iniciais, desenvolvimento e resultados encontrados. O problem a de r ealizar inferências sobre prováveis relações causais, m esm o apontadas em evidências, deve ser considerado.

- Validade Ext erna: est abelecer o domínio sobre o qual as descobert as podem ser gener alizadas. Deve- se t est ar a coerência entre os achados do estudo e resultados de outras investigações similares.

- Confiabilidade: m ostr ar que o estudo pode ser r epetido obtendo- se as mesm as descobert as e conclusões.

Para cada test e, Yin [ 154] recom enda t áticas par a serem aplicadas ao longo do processo de pesquisa. A Tabela 15 apresen ta as t áticas utilizadas para atender aos requisitos dos diferentes t est es de validade e confiabilidade.

Ta bela 1 5 . V a lidade e confiabilida de do e st ud o [ 1 5 4 ]

Te st e s Tá t ica s _{que de ve se r aplica da} Fa se da pe squisa e m

Ocor rê ncia ne st a pe squisa Validade do

Constru to

- Uso de m últiplas fontes de evidências - Estabelecim ent o de cadeias de ocorr ên cia

e procedim ent os

- O rascunho do r elatório do estu do é revisado por inform ant es- chave

Coleta de dados Coleta de dados Análise de dados Fecham ento Sim Sim Sim Sim Validade I nt erna

- Ut ilização de padrões de análise - Ut ilização de explicação por result ados

obtidos

- Análise tem poral dos acont ecim ent os

Análise de dados Análise de dados Análise de dados Sim Sim Sim Validade Ext er na - Uso de m últiplos casos Proj eto de pesquisa Sim

Confiabilidade

- Uso de prot ocolo de análise de dados - Desen volvim ent o de um a base de dados

do estudo

Coleta de dados Coleta de dados

Sim Sim Além disto, tam bém foram identificadas importantes questões acer ca da integridade dos resultados encontrados. Par a ist o, seguiu- se a r ecomendação de Creswell [ 33] , que sugere que a integridade dos r esultados em pesquisas de base qualitativa deve ser garantida atr avés de alguns passos durant e o processo de pesquisa, quais sej am ( em ordem de freqüência de utilização, e apenas os passos que se aplicam nest a t ese):

- Triangular diferentes fontes de dados. Nest a t ese foram consideradas entrevistas e revisão de documentação par a confirm ar algumas das respost as;

- Revisar o relatório final com os respondentes para det erm inar se os resultados encontrados são precisos o suficiente. Nest a t ese, os resultados foram discutidos com os respondentes de form a a avaliar se os resultados encontrados refletiam a realidade das em presas estudadas. Estas discussões ocorreram através de reuniões presen ciais ou por telefone, quando os dados foram apr esent ados e discutidos. Além disso, no segundo estudo foram avaliados os resultados encontrados no primeiro estudo;

- Deixar claro o viés que o pesquisador pode trazer ao estudo. Nest a t ese, todos os resultados foram discutidos no grupo de pesquisa, incluindo o pesquisador, orientador, co- orientador e eventualm ente outros integrant es do grupo de pesquisa envolvido. Além disso, as publicações ger adas serviram par a r eceber r etorno da com unidade científica sobre os resultados encontrados;

- Vivenciar o m áxim o possível a realidade do problem a de pesquisa. O t em a dest a tese tem sido explorado pelo pesquisador há oito anos, fazendo com que exista um bom conhecimento do est ado da art e e do est ado da prática na área;

- Envolver profissionais que revisam e questionam o estudo. Nest a t ese, pesquisadores seniores foram envolvidos na discussão e revisão da m etodologia de pesquisa. Além disso, revisões de face e conteúdo foram planej adas em todos os estudos realizados, bem com o pré- test e.

- Utilizar auditorias externas par a revisar todo o projeto. Nest a t ese, um pesquisador sênior atuou como observador ext erno e revisor de todo o processo de pesquisa. Est e pesquisador m ais tarde foi oficializado como co-orientador do trabalho. Além disso, a pesquisa foi apresent ada em seminários específicos, tais com o um sem inário para alunos de doutorado na ár ea de Engenharia de Software Experim ent al, além de passar por avaliações de bancas específicas durante todo o processo.

Em sum a, o rigor do processo de pesquisa aqui proposto visa am pliar a confiabilidade e a validade dos r esultados. A validade dest e estudo foi garantida pelo processo de pesquisa com o um todo, um a vez que os resultados encontrados na primeira et apa foram avaliados na segunda et apa e os t est es sugeridos por Yin [ 154] foram devidam ent e desenvolvidos ao longo do estudo.