Limites et recommandations

conceitual descrita acima (FIGURA 21). Ele desenha-se através de itens e sub-escalas de pesquisa existente na aprendizagem organizacional, investigação avaliativa e capacidade de fazer e usar a avaliação (COUSINS et al., 1996, 1997, 2006; PRESKILL; TORRES, 1999; PRESKILL et al., 1999; SEIDEN, 1999; TURNBULL, 1999 apud GAGNON et al., 2018). O questionário solicita dos entrevistados que classifiquem seu nível de concordância com afirmações específicas ou com a frequência estimada de ocorrência de vários eventos / atividades associados ao arcabouço conceitual apresentado no modelo. Há onze partes no questionário. A primeira e a última seção de afirmações solicitam informações básicas sobre o respondente e sobre a organização. As demais seções medem opiniões auto-relatadas (avaliadas em uma escala do tipo Likert de sete pontos - variando de 1 “discordo totalmente” a 7 “concordo

fortemente”) ou frequência de comportamento ou prática (variando de 1 “nunca” a 7 “sempre”). Na pesquisa desenvolvida por COUSINS et al. (2014), as subescalas foram construídas com base nas subseções do instrumento. A consistência interna foi calculada pelo alfa de Cronbach para cada uma das subescalas e considerada satisfatória (variando de 0,68 a 0,97).

Os onze fatores identificados, compreendendo 111 dos 119 itens originais, corresponderam a 61,5% da variância total com os dados. Os autores, por meio de uma tabela,

Suporte Organizacional Treinamento Suporte Organizacional Formalização Consequências para Organização Capacidade de Aprendizagem Organizacional Capacidade para USAR Avaliação Investigação Avaliativa Capacidade para FAZER Avaliação Condições de Mediação Participação Stakeholder Antecedentes

interpretaram cada fator, identificando os itens que estes fatores representam e os relatórios sobre porcentagem de variância explicada por cada fator, bem como o índice de confiabilidade, alfa de Cronbach, calculado para cada fator. Praticamente todos os fatores obtiveram consistência interna de 0,80 ou mais, o que foi interpretado como um resultado bom a excelente. Isto se tornou possível, porque Gagnon et al. (2018) desenvolveram uma análise fatorial exploratória (EFA) e análise de trajetória latente (LPA) para entender melhor a estrutura subjacente da capacidade organizacional para fazer e usar os dados avaliativos. Foi escolhida a EFA ao invés de análise fatorial confirmatória (CFA), pois a abordagem CFA de fixar muitas ou todas as cargas cruzadas em zero pode forçar um pesquisador a especificar um modelo mais parcimonioso do que o adequado para os dados. Em situações onde a teoria substantiva e o potencial para cargas cruzadas justificáveis existe, o uso de EFA com rotação da matriz de fatores é recomendado em vez do CFA, que é muito restritivo. (ASPAROUHOV; MUTHÉN, 2009 apud GAGNON et al. (2018).

Foi adotada no processo de validação do ECOQ a análise PATH, de trilha, o que permitiu, por meio da padronização das variáveis e equações de regressão, estimar os efeitos diretos e indiretos das variáveis explicativas sobre uma variável explicada.

Gagnon et al. (2018) submeteu a amostra dos questionários respondidos na pesquisa à EFA para identificar quais variáveis no conjunto formaram subconjuntos ou fatores coerentes, e quais foram observados refletindo-se em processos subjacentes que criaram correlação entre as variáveis.

Em resumo, a estrutura de fator revelada confirma a concepção de capacidade avaliativa para fazer e usar avaliações em organizações (FIGURA 21), com três exceções. Por isso, com base nos resultados obtidos na validação do ECOQ pelos autores, foram realizadas reconfigurações a posteriori de representações de constructos a priori. A variável latente a priori "stakeholder" foi melhor representada como duas variáveis a posteriori, "usuários primários" e "stakeholders secundários". E da mesma forma, as variáveis latentes a priori "investigação avaliativa" foram melhor representadas por duas variáveis latentes a posteriori "avaliação do programa" e 'medição de desempenho' enquanto 'uso de avaliação' é melhor representada por "uso no processo" e "uso dos achados".

As evidências acumuladas na pesquisa desenvolvida por Gagnon et al. (2018) convergem para promover uma compreensão do ECB como uma capacidade organizacional de fazer e usar avaliações. Os resultados da análise fatorial são consistentes com modelos que conceituam a capacidade de aprendizagem organizacional como uma função da capacidade de uma organização para fazer e usar a avaliação. A estrutura conceitual de Preskill e Torres (1999)

identifica cultura, liderança, equipes, comunicação e sistemas e estruturas como centrais para a capacidade de uma organização conduzir avaliações e fazer uso de suas descobertas. Da mesma forma, o modelo conceitual selecionado para esta pesquisa apresenta evidências de que a capacidade de aprendizado de uma organização se baseia nas estruturas internas de suporte (treinamento e formalização), na capacidade de fazer e usar avaliações da organização e no engajamento ativo das partes interessadas no processo de investigação.

Consistente com o modo conceitual de King e Volkov (2005), os resultados da pesquisa que valida o ECOQ indicam que o desenvolvimento profissional, recursos e suporte, e ambiente organizacional são condições antecedentes da capacidade organizacional para aprender. A pesquisa de Bourgeois et al. (2013) coloca a capacidade avaliativa e os esforços de desenvolvimento de capacidade avaliativa em um framework conceitual mais amplo no que diz respeito a sistemas de aprendizagem organizacional e sua capacidade para fazer e usar a avaliação. Os resultados deste estudo concordam, sugerindo que à medida que a investigação avaliativa se torna enraizada na cultura de uma organização, a relação entre a capacidade de uma organização para fazer e usar as avaliações aumenta.

E, complementarmente, os resultados da pesquisa de Gagnon et al. (2018) indicam que a capacidade de aprendizagem de uma organização é de fato expressada por uma relação entre a capacidade da organização de fazer e usar avaliações, conforme demonstrado pelo teste de Nielsen et al. (2011) em seu próprio modelo conceitual. Essas observações fornecem ainda mais evidências da validade do constructo do EQOC.

Por fim, evidências fornecidas pelo teste estatístico LPA sugerem que a capacidade de aprendizagem de uma organização é reforçada pelas relações entre os vários fatores. Por exemplo, a capacidade de aprendizagem é estimulada por níveis crescentes de suporte organizacional para treinamento e outras formas de suporte a desempenhos individuais ou de grupo. Por sua vez, o suporte organizacional leva ao aumento na capacidade de fazer avaliações, o que, por sua vez, leva a uma maior participação e envolvimento na investigação avaliativa, seja na forma de avaliação de programa ou medição de desempenho. O aumento da participação e do envolvimento na avaliação leva a uma maior capacidade para usar a avaliação, seja por meio do uso no processo, do uso dos achados ou de ambos. Quanto mais stakeholders estiverem envolvidos no processo avaliativo e, especificamente, na medição do desempenho, maior a capacidade de uma organização para usar a avaliação e, mais precisamente, maior a capacidade de uma organização para utilizar os achados da avaliação.