Ainda na linha de que a maioria dos trabalhos na área se concentra apenas no lado da oferta da avaliação (capacidade de fazer avaliação) e pouca atenção é dada ao lado da demanda (capacidade de usar a avaliação), Cousins et al. (2014) procuraram demonstrar em um novo estudo, cuja evolução se deu a partir do modelo anterior proposto em Cousins et al. (2008), que a utilização das informações avaliativas nas organizações contribui para que as atividades avaliativas sejam valorizadas pelos atores com poder decisório para promover mudanças nas organizações ou nos programas (COUSINS; GOH; CLARK, 2005 apud COUSINS et al., 2014). Assim, na integração da avaliação à cultura organizacional deve-se considerar que a utilização das informações está diretamente relacionada ao valor da informação avaliativa para a organização.
Para defender esta linha de raciocínio em torno da ênfase na capacidade para fazer avaliação, os autores citam o modelo multidisciplinar do ECB desenvolvido por Preskill e Boyle (2008) no qual se identifica duas principais esferas de interesse (conhecimento de avaliação, habilidade e atitudes e prática de avaliação sustentável) com alguma consideração dada ao contexto organizacional no qual o ECB ocorre (por exemplo, liderança, cultura e comunicação), além do modelo integrado do ECB desenvolvido por Labin et al. (2012, 2014) o qual identifica explicitamente os resultados do ECB e os níveis individuais (atitudes, conhecimento e comportamento) e organizacionais (liderança, prática e recursos). Essas práticas e comportamentos poderiam ser interpretadas como capacidade organizacional para fazer avaliação, em vez de capacidade para utilizá-la.
Por outro lado, para que a demanda por avaliação seja desenvolvida é necessário, preliminarmente, que os tomadores de decisão vivenciem e assimilem os benefícios da avaliação e assim passem a disseminar e incentivar essa prática como um mecanismo para promoção de mudanças. (SERPA, 2014).
Nesta mesma linha, Patton (2011) concebe que os avaliadores devem trabalhar em estreita colaboração com os tomadores de decisões organizacionais para navegar na complexidade e melhorar a inovação. A avaliação neste contexto sistêmico está intrinsecamente ligada a usos organizacionais de investigação e evidência sistemática.
Em pesquisas recentes. Henry e Mark (2004) identificaram usos instrumentais, conceituais e simbólicos (persuasivos e legitimatizados) dos achados da avaliação e dos fatores
e condições que promovem esse uso. Por exemplo, a utilidade tem sido um elemento explícito e significativo do Joint Committee Standards for Educational Evaluation. Padrões de Avaliação de Programas desde a sua criação no início dos anos 80 e os usos apropriados da avaliação são inerentes aos princípios orientadores da AEA. (COUSINS et al., 2014).
O uso bem-sucedido de dados de avaliação em organizações promove sua valorização pelos membros bem como uma poderosa força para mudanças organizacionais e de programas (COUSINS; GOH; CLARK, 2005 apud COUSINS et al., 2014).
Para Cousins et al. (2014), o ECB direto é sempre intencional, mas o ECB indireto não é necessariamente assim. O constructo central válido no ECB indireto é o uso no processo. Através da experiência direta ou da proximidade da avaliação, os stakeholders não-avaliadores aprendem novas formas de conceituar; eles aprendem a pensar "de forma avaliativa". Deste modo, os autores deduziram que ao aceitar como razoáveis e justificáveis que as considerações de consequência deveriam ser integradas numa concepção do ECB, então um próximo passo lógico deveria ser dado, o de descompactar conceitualmente essa noção em um framework de capacidade avaliativa.
Como dito anteriormente, o modelo evoluiu a partir de uma integração e análise prévia da pesquisa e intercâmbio colaborativo entre os membros do grupo de pesquisa dos autores.
Utilizou-se como unidade de análise a organização com o desafio de integrar a avaliação na cultura organizacional (Cousins et al., 2004) e a concepção de avaliação como sistema de aprendizagem organizacional. O modelo emergiu a partir de um estudo de caso múltiplo realizado nos anos de 2007 e 2008, conforme visto anteriormente, com organizações do Governo Canadense. Apesar do desafio de integração e síntese dos dados, os autores defendem que a pesquisa fornece um olhar detalhado sobre a capacidade avaliativa organizacional em uma série de organizações comprometidas com a melhoria de suas capacidades.
O foco do modelo buscou integrar a capacidade de fazer e usar a avaliação e, como tal, considerar a capacidade avaliativa e quais efeitos seriam prováveis de se associarem. Isso é representado no lado direito da FIGURA 17, sendo a unidade de análise a organização. No lado esquerdo, representou-se as condições antecedentes e forças que influenciam ou ajudam a determinar a capacidade avaliativa dentro da organização.
Antecedentes do ECB. Foram capturadas as principais forças e influências no ECB organizacional em duas construções: fontes de conhecimento, aptidões e habilidades de avaliação (C / A / H) e estruturas de suporte organizacional
As fontes de conhecimento, aptidões e habilidades ( C / A / H ) relacionam-se de forma muito direta ao desenvolvimento de competências dos avaliadores e, sobretudo, treinamento pré e em serviço.
O aprendizado por fazer pode surgir através de cursos formais, aprendizagem incidental ou por ação, trabalho colaborativo em equipes, mecanismos de orientação, auto-aprendizagem. Assim, as fontes de C / A / H trabalham para melhorar a capacidade de fazer avaliação. Isso ocorreria primeiro, no indivíduo, e depois no nível organizacional, como a transferência de aprendizagem ocorre. Tais fontes estão fortemente concentradas em métodos e práticas de avaliação. Há sobreposição das mesmas com as estruturas e suporte organizacional, um segundo constructo antecedente à capacidade de fazer e utilizar avaliação que será analisado a seguir.
Figura 18 – Modelo conceitual de Cousins et al. (2014) para descrever a capacidade
organizacional de fazer e utilizar avaliação
FONTE: Cousins et. al., 2014.
Condições antecedentes que afetam a capacidade avaliativa Processos e capacidade avaliativa
Consequências da avaliação Legenda Consequências organizacionais Capacidade de aprendizado organizacional Estruturas e suportes organizacional Capacidade para USAR avaliação Condições mediadoras Investigação avaliativa Capacidade avaliativa para FAZER avaliação Fontes de Conhecimento, Competências e habilidades
Para Cousins et al. (2014) As estruturas e o suporte organizacional incluem a baixa formalização do trabalho e a aquisição de conhecimentos e habilidades organizacionais relevantes e apropriados pelos membros da organização. Eles também são representados por sistemas de recompensa, sob a forma de mecanismos de incentivos formais e informais e várias estruturas de comunicação dentro da organização, que servem para promover o fluxo horizontal e vertical de conhecimento e informação. As atividades de desenvolvimento profissional, seja formal ou informal, representam ainda outra estrutura de suporte organizacional. Tais atividades podem ser vinculadas de forma direta ao treinamento de avaliação, por isso a representação de sobreposição com fontes de C / A / H. Estruturas e suporte organizacional é um constructo antecedente no framework originalmente desenvolvido por Goh em seu trabalho de aprendizagem organizacional (GOH, 2000 apud COUSINS et al, 2014) cujo impacto potencial é a capacidade de fazer e usar avaliação dentro da organização.
Representados no lado superior direito da FIGURA 18, a capacidade organizacional para fazer e usar a avaliação são elementos associados à natureza da capacidade avaliativa organizacional e dimensões associadas. As conseqüências dessa capacidade estão representadas na parte inferior da figura e são descritas abaixo.
Na interpretação de Cousins et al (2014), a capacidade para fazer avaliação surge predominantemente de treinamento formal ou informal ou das oportunidades de aprendizagem. Essa capacidade refletiria a transferência de conhecimentos, aptidões e habilidades do treinamento para aplicações de trabalho. Aplicações podem significar planejar e elaborar a avaliação; incluindo o desenvolvimento e validação de instrumentos; considerações éticas; coleta de dados; processamento, análise e interpretação de dados; relatórios e acompanhamento; dentre outros. A capacidade de fazer avaliação ainda seria representada não apenas pelo conhecimento técnico processual, mas também por outras aptidões (skills softs), como resolução de conflitos, dinâmicas interpessoais apropriadas para a cooperação no trabalho em equipe, habilidades para facilitação.
A investigação avaliativa implica a natureza e extensão em que as práticas avaliativas ocorrem dentro da organização. A investigação pode ser executada por meio de projetos de avaliação internos ou comandada por avaliadores externos. Dependendo das necessidades de informação da organização, tais projetos podem ser de natureza formativa ou somativa; usar métodos quantitativos, qualitativos ou mistos; ser completamente implementados por avaliadores treinados; ou, alternativamente, serem altamente colaborativos e participativos. As
avaliações podem ser abrangentes para cobrir um programa ou podem ocorrer ao longo do tempo em um conjunto sequenciado de projetos.
As condições de mediação servirão para temperar ou moldar o impacto da avaliação dentro da organização. Tais condições foram identificadas a partir de pesquisa sobre o uso da avaliação (COUSINS, 2003; SHULHA; COUSINS, 1997 apud COUSINS et al, 2014), como também, mais especificamente, em pesquisa empírica sobre avaliação governamental (COUSINS et al., 2008) e referem-se à tempestividade, natureza construtiva do feedback, necessidades de informação dos usuários primários, credibilidade dos achados, acessibilidade aos usuários primários, comunicabilidade, envolvimento dos stakeholders não-avaliadores e relevância para as prioridades de decisão.
A capacidade de usar a avaliação é, desta forma, um constructo que reflete a natureza e a extensão em que o uso e a influência da avaliação ocorrem dentro da organização (por exemplo, COUSINS et al., 2004; MARK; HENRY, 2004; SHULHA; COUSINS, 1997 apud COUSINS et al., 2014).
Neste ponto, surge um questionamento para Cousins et al., 2014: Em que medida o programa-chave e os tomadores de decisão têm conhecimento sobre os processos e resultados da avaliação?
Os usos conscientemente planejados dos achados avaliativos deveriam incluir usos instrumentais como suporte à decisão, seja no nível de disposição do programa (por exemplo, término, continuidade e expansão) ou revisão do programa para sua melhoria; usos conceituais ou educacionais refletidos pelo aprendizado e descoberta associados ao próprio programa ou aos seus efeitos (intencional, não intencional) em curso; e usos simbólicos ou persuasivos, como o processo de valoração do programa, conformidade com os comandos de financiadores do programa e de dirigentes. O uso dos achados pode ser planejado e / ou consciente, ou o impacto pode assumir a forma de influência casual sobre a forma de ver a organização, o programa e a tomada de decisão.
A influência e o uso podem também surgir de processos de avaliação, independentemente da natureza dos achados ou do conteúdo proveniente dos dados avaliativos. O uso e a influência do processo ocorrem através da participação ou envolvimento do membro da organização na avaliação, seja por proximidade ou através da construção de relacionamentos entre avaliadores, treinados e stakeholders não-avaliadores (COUSINS, 2007; FORSS; REBIEN; CARLSSON, 2002; PATTON, 2008 apud COUSINS et. al., 2014).
Como exemplos, seriam o desenvolvimento de conhecimentos e habilidades na lógica de avaliação ou o desenvolvimento de uma abordagem de opinião para negócios e processos organizacionais de rotina. O uso no processo pode ser conscientemente planejado ou pode surgir incidentalmente através de indagação avaliadora ou exposição a ele.
A partir da visão de integrar a avaliação na cultura organizacional e de posicionar a avaliação como um sistema de aprendizagem organizacional, a capacidade organizacional para avaliação passa a estar naturalmente relacionada à capacidade de aprendizagem organizacional, uma construção multifacetada composta por blocos chave estratégicos encontrados nas organizações que aprendem (GOH, 2000 apud COUSINS et al., 2014).
Tais blocos são elencados da seguinte forma: missão e visão, liderança, cultura de experimentação, transferência de conhecimento e trabalho em equipe e cooperação. São dependentes, porém, das estruturas e suporte organizacional, ao passo que são aprimorados pela investigação avaliativa sistemática.
Em face disso, COUSINS et al. 2005 apud COUSINS et al., 2014 constatou: quanto mais uma organização experimenta o uso bem-sucedido da avaliação, mais inclinada estaria para engajar-se em tal prática, consoante a hipótese dos autores de que o uso dos dados leva à valoração dos dados.
O uso da avaliação no processo de forma planejada surgiu como um meio potencial de criar um processo organizacional sustentável, com base no comprometimento das pessoas nas atividades de avaliação (KING, 2007).
A capacidade de uma organização para usar a avaliação pode ser subdividida em dois fatores: uso no processo e uso dos achados (GAGNON et al., 2018):
O uso no processo refere-se e é indicado por mudanças individuais no pensamento e comportamento e mudanças no programa ou organização nos procedimentos e cultura, que ocorrem entre os envolvidos na avaliação como resultado da aprendizagem que ocorre durante o processo avaliativo. A evidência do uso no processo é representada por declarações como esta após uma avaliação: "O impacto em nosso programa veio não apenas dos resultados, mas também em passar pelo processo de pensar que a avaliação exigiu". (PATTON, 1997, p. 90)
Com base neste conceito, para Alkin e King (2016), se, por exemplo, o programa foi alterado devido ao processo de reflexão inspirado no envolvimento na avaliação, então essa era uma indicação do uso no processo. Ou o avaliador pode ter indicado que determinados tipos de dados seriam coletados como parte da avaliação. Uma compreensão das medidas a serem
utilizadas pode levar ao reconhecimento das deficiências do projeto antes de qualquer informação de avaliação ter sido coletada.
O uso no processo tem sido desde então vinculado a abordagens colaborativas, participativas, empoderadoras, centradas na utilização e orientadas para a aprendizagem avaliativa que defendem vários níveis de envolvimento direto ou indireto dos stakeholders no processo de avaliação (COUSINS; EARL, 1992; FETTERMAN, 2003; PRESKILL; CARACELLI, 1997, PRESKILL et al., 2003 apud AMO; COUSINS, 2007). O uso no processo também se apresenta conceitualmente muito próximo de outras conseqüências da avaliação observadas, como o aprendizado organizacional (COUSINS et al., 2004; PRESKILL, 1994
apud AMO; COUSINS, 2007), desenvolvimento da capacidade avaliativa (STOCKDILL et. al., 2002). e influência da avaliação (KIRKHART, 2000 apud AMO; COUSINS, 2007).
O uso no processo relaciona-se ainda à medida em que os membros de uma organização e colaboradores externo se beneficiam por estar perto ou participar da avaliação (Cousins et al., 2004). Como Patton (2008) sugere, o uso no processo é uma consequência adicional discernível da participação dos stakeholders nas atividades de avaliação ou conhecimento de suas atividades de avaliação. Em razão de sua proximidade com a avaliação, o envolvimento dos
stakeholders na avaliação pode se desenvolver de maneiras que sejam bastante independentes
dos achados da avaliação ou do conhecimento emergente da investigação avaliativa. Por exemplo, a participação na avaliação pode levar a uma melhor compreensão compartilhada do modelo lógico de um programa, um hábito de pensar avaliativo individual ou coletivo, ou uma tendência maior de questionar as premissas básicas acerca do programa ou política.
O uso dos achados refere-se às formas de uso tradicional, especificamente instrumentais, conceituais e simbólicas (WEISS, 1979 apud GAGNON et al., 2018). Por exemplo, inclui suporte para a tomada de decisão organizacional ou do programa de uma forma instrumental ou o uso dos resultados da avaliação de uma forma simbólica (por exemplo, de conformidade) ou política (por exemplo, persuasiva) (COUSINS et al., 2004).
Segundo Alkin e King (2016), alguns escritores identificaram erroneamente o uso no processo como um tipo de uso paralelo ao uso instrumental ou conceitual. Deve-se notar, porém, que o uso no processo não é uma categoria de uso adicional. Em vez disso, ele se refere à fonte do estímulo - isto é, o processo e não os achados.
Assim como com o uso de achados, o uso no processo tem conseqüências instrumentais e conceituais (ALKIN; TAUT, 2003). Dito isso, Alkin e King (2016) concluem que o processo
pode levar a decisões ou ações de programas que ocorrem ou a mudanças no pensamento e compreensão sobre si mesmo, o programa ou a organização. Assim, uma distinção pode ser feita entre o uso de resultados e o uso no processo, sendo cada um empregado de forma instrumental ou conceitual. Além disso, os usos simbólico e legitimador emanam do processo de avaliação. O uso legitimador, porque depende dos achados da avaliação para racionalizar uma decisão anterior, situa-se na categoria de uso de resultados; O chamado uso simbólico, que depende apenas do processo que está sendo conduzido, está na categoria de uso no processo. A Figura 19 abaixo ilustra os diferentes tipos de uso:
Figura 19 – Tipos de uso associados com os achados e o processo
FONTE: Elaborado a partir de Alkin e Taut, 2003.
Alkin e King (2016) explanam ainda que o uso no processo pode ocorrer em momentos diferentes quando comparado ao uso dos achados. O uso no processo instrumental ou conceitual pode ocorrer durante o curso da avaliação ou na sua conclusão. No último caso, pode-se considerar o resultado líquido e o impacto da participação no processo avaliativo completo. Em uma avaliação participativa, por exemplo, pode-se esperar que as habilidades avaliativas sejam adquiridas pela conclusão do processo de avaliação (uso no processo instrumental) ou que as atitudes das pessoas mudaram e podem ser aplicadas a outras situações (uso no processo conceitual).
Não obstante, Cousins et al. (2007) e Preskill e Torres (2000) ampliam a idéia de uso no processo para o impacto nos níveis organizacional e da equipe. Amo e Cousins (2007) explicam o mecanismo que transforma o uso no processo para a construção da capacidade organizacional e, em última análise, para um maior uso da avaliação. Segundo estes o uso no processo é pensado para melhorar a prontidão organizacional para a avaliação através do aumento da