Para seleção dos trabalhos a serem examinados na pesquisa realizada por Johnson et al (2009), diferentemente daquelas realizadas por Cousins e Leithwood (1986) e Shulha e Cousins (1997), foram identificados, no período examinado, mais de 600 estudos empíricos que tratavam da utilização da avaliação, dentre artigos, relatórios e capítulos de livros, e 48 dissertações, sendo selecionados, ao final, apenas 41, que atenderam ao padrão mínimo de qualidade definido pelos autores, que permitiria a comparação com o trabalho anterior de Cousins e Leithwood (1986). Dos estudos selecionados, 38 tratavam da utilização dos achados e três do uso no processo.
Cabe observar que, para Johnson et al. (2009), a utilização da avaliação foi definida como a aplicação dos processos, produtos ou achados da avaliação para produzir um efeito (JOHNSON et al., 2009, p. 378, tradução nossa).
Os autores utilizaram como critérios para avaliar a qualidade dos trabalhos uma adaptação dos critérios propostos pro Guarino, Santibañez, Daley e Brewer (2004) e Guba e Lincoln (1989), que consideraram alguns aspectos como: definição clara do problema, adequabilidade do desenho da pesquisa, consistência entre as evidências apresentadas e as conclusões, bem como em que extensão a margem de erro pode ter comprometido os resultados. A equipe de pesquisadores também avaliou o tamanho da amostra, a seleção e mensuração das variáveis e a interpretação estatística dos estudos quantitativos, assim como a adequação metodológica, transparência, qualidade descritiva e padrões utilizados nos estudos qualitativos. Os estudos empíricos foram classificados em cinco níveis: podre, adequado- baixo, adequado-consistente, adequado-alto e excelente.
Quanto aos resultados da pesquisa, os autores constataram que a competência do avaliador é o novo fator identificado na categoria das variáveis independentes relacionadas à implementação da avaliação. Dos 41 estudos revisados, 6 indicaram que as características dos avaliadores sugeriam que esses profissionais desempenham um importante papel na condução da avaliação para que elas sejam utilizadas. Muito embora no trabalho de Cousins e Leithwood (1986), tenha sido considerado o fator credibilidade, no sentido da sua reputação técnica (escolhas de métodos e critérios), essa definição não abrange as características
67 relativas à competência e liderança, que se mostraram importantes na influência que exercem sobre a utilização. O que os autores ressaltam é que a nova característica da competência do avaliador tem uma relação maior com a pessoa do avaliador (quem ele é).
A outra contribuição do trabalho de Johnson et al. foi a identificação de uma nova categoria de variáveis independentes: o envolvimento dos stakeholders. A inclusão dessa nova categoria ao trabalho original de Cousins e Leithwood (1986) é um reflexo, segundo os autores, da ampliação da utilização das abordagens de avaliações participativas desde 1985.
Nessa nova categoria, os autores identificaram nove características, sendo que oito delas se parecem com aquelas identificadas por Cousins e Leithwood, mas sendo complementadas com o envolvimento (QUADRO 12). Muito embora o trabalho anterior incluísse o envolvimento dos stakeholders no fator comprometimento e/ou receptividade com a avaliação pertencente à categoria da decisão/política, no trabalho de Johnson et al. (2009), 23 dos 41 estudos relacionavam o envolvimento com a utilização, sugerindo tratar-se de uma nova categoria.
Categorias Cousins e Leithwood (1986) Fatores Johnson et al. (2009)
Implementação avaliação
Relevância Envolvimento com relevância
Comunicação Envolvimento com qualidade da comunicação
Qualidade da avaliação
Achados Envolvimento com achados
Credibilidade Envolvimento com credibilidade Competência do avaliador
Tempestividade
Decisão/Política
Compromisso/Receptividade da avaliação Envolvimento com compromisso ou receptividade da avaliação Necessidade de informações Envolvimento com necessidade de informações
Clima político
Informações concorrentes
Características pessoais Envolvimento com características pessoais Características da decisão Envolvimento com características da decisão Envolvimento
stakeholders
QUADRO 12 - RELAÇÃO ENTRE OS FATORES QUE FAVORECEM A UTILIZAÇÃO - IDENTIFICADOS POR COUSINS E LEITHWOOD (1986) E JOHNSON ET AL. (2009)
Em muitos estudos revisados, o envolvimento foi identificado como facilitador do processo de avaliação, que, em decorrência, contribuiu para aumentar a implementação da avaliação. Em outros, o envolvimento contribuiu para decisões ou definição de políticas que promoveram uma maior capacidade para utilização das informações disponibilizadas pelas avaliações. Pode-se inferir que o envolvimento dos stakeholders é um mecanismo que facilita o processo ou a definição da avaliação, facilitando a comunicação, o que leva a uma maior utilização. Os achados evidenciam, ainda, que a comunicação entre os avaliadores e seus
68 clientes é um fator crítico para a importância da utilização das avaliações (Johnson et al., 2009)
Característica Descrição da característica Envolvimento com compromisso
ou receptividade da avaliação O envolvimento dos stakeholders com a avaliação cria compromisso ou receptividade da avaliação. Envolvimento com qualidade da
comunicação O envolvimento dos stakeholders promove a melhoria da comunicação. Envolvimento direto dos
stakeholders A relação direta entre o envolvimento e a utilização da avaliação.
Envolvimento com credibilidade O envolvimento dos stakeholders aumenta a credibilidade do processo e/ou do avaliador. Envolvimento com achados O envolvimento dos stakeholders com a avaliação em conhecer e entender os achados da avaliação. Envolvimento com relevância A participação dos stakeholders para integrar ao desenho da avaliação problemas importantes da organização. Envolvimento com características
pessoais O envolvimento na avaliação de stakeholders de diferentes níveis da organização. Envolvimento com características
da decisão
O envolvimento de stakeholders de diferentes níveis, dependendo das características da decisão que precisa ser tomada.
Envolvimento com necessidade
de informações O envolvimento dos stakeholders facilita a introdução de suas necessidades de informações. QUADRO 13 - DESCRIÇÃO DAS CARACTERÍSTICAS (FATORES) DO ENVOLVIMENTO DOS
STAKEHOLDERS IDENTIFICADAS POR JOHNSON ET AL. (2009)
Os autores argumentaram que foi impossível responder à questão sobre que características (fatores) mais contribuíram para a utilização de uma forma direta.
A meta-análise dos estudos não é possível porque os mesmos não apresentaram ou mensuraram as variáveis da mesma maneira. Cousins e Leithwood compensaram esse problema por intermédio da criação de um índice que balanceava o número de achados positivos, negativos e não-significantes para cada característica, para criar o índice de “relação de prevalência”. Baseado nesse índice, eles concluíram que a qualidade da avaliação e as características da decisão estavam mais fortemente relacionadas com a utilização, seguidas dos achados, do comprometimento ou receptividade da avaliação e da relevância.
Esse índice fornecia os meios para comparação dos achados entre os estudos. Infelizmente, apresentar conclusões sobre que características estão relacionadas à utilização continua problemático, porque o tipo de meta-síntese é altamente afetado pelos componentes escolhidos pelos pesquisadores, e isso pode não incluir o que ocorreu de fato. Ao contrário, o presente estudo discute aqueles elementos que parecem ser mais “empiricamente suportados”- significando aqueles elementos que são mais estudados e suportados por evidências fortes da relação positiva com a utilização da avaliação - reestruturando a argumentação para discutir as características “empiricamente suportadas”, também permite a sugestão de evidências baseadas na prática que os avaliadores podem empregar para aumentar a utilização das avaliações (JOHNSON et al., 2009, p. 388-389, tradução nossa).