Essa dissertação teve por objetivo analisar as inter-relações entre as dimensões da capacidade avaliativa dos centros regionais da Escola de Administração Fazendária no Nordeste e os fatores que contribuem para a prática organizacional de fazer e usar avaliação no âmbito da ação governamental de seleção, formação e desenvolvimento de pessoal. Neste sentido, no capítulo 4 apresentou-se os resultados da análise da capacidade organizacional da Escola de Governo para fazer e usar avaliação.
Mensusar o grau de capacidade avaliativa e analisar as inter-relações entre cada uma de suas dimensões (suporte organizacional, capacidade para fazer avaliação, investigação avaliativa, participação dos stakeholders na avaliação, condições de mediação do uso, capacidade para usar avaliação e para a aprendizagem organizacional) significa, sobretudo, possibilitar o diagnóstico do grau de maturidade para a institucionalização da função avaliativa na organização em uma associação direta com a busca do aperfeiçoamento de programas e políticas públicas, com o objetivo de assegurar maior efetividade e transparência das ações, mediante a melhoria da capacidade de gestão, por intermédio de informações e análises que favoreçam as escolhas alocativas, de forma a propiciar um alcance eficaz e eficiente dos resultados dessas ações
Esse foi o objetivo maior desta pesquisa, viabilizar a introdução no Brasil de um modelo de análise da capacidade avaliativa em organizações validado internacionalmente através do grupo de pesquisa da Universidade de Ottawa, composto por J. Bradley Cousins, France Gagnon, Tim Aubry e Swee C. Goh, e que gentilmente cedeu o questionário para sua aplicação nesta pesquisa. O modelo em questão tem sido aprimorado há mais de uma década, quando J. Bradley Cousins desenvolveu uma pesquisa com parceiros, publicada no artigo
Integrating evaluative inquiry into the organizational culture: A review and synthesis of the knowledg (COUSINS; GOH; CLARK; LEE, 2004). Naquele momento, desenvolvia-se o
primeiro modelo conceitual sobre o ECB.
Conforme recomendava Bourgeois e Cousins (2008, 2013), buscou-se desenvolver uma pesquisa em que fosse testada uma ferramenta integrada para medir o grau de capacidade avaliativa da organização e identificar pontos fortes e fracos específicos com base nas dimensões da capacidade avaliativa incluídas em seu framework.
Os resultados indicaram, em que pese os diferentes contextos regionais, que a capacidade avaliativa nos centros é similar em 4 das 7 dimensões, com exceção do suporte organiacional, participação dos stakeholders na avaliação e condições de mediação do uso. Com efeito deve-se buscar aprimorar os fatores que contribuem para o fortalecimento desses constructos, principalmente em Pernambuco.
Revelou-se ainda que as dimensões se classificam em termos de grau de alcance da seguinte forma (em pontuação decrescente por frequência das notas): i) suporte organizacional; ii) capacidade para usar avaliação; iii) capacidade de aprendizagem organizacional; iv) participação dos stakeholders na avaliação; v) investigação avaliativa; vi) condições de mediação do uso; vii) capacidade para fazer avaliação.
Com efeito, e como verificou-se na análise fatorial, é importante investir no desenvolvimento das dimensões para o fortalecimento de outras, principalmente nos fatores que apresentaram covariância alta, ou seja com alto grau de interdependência (ou inter-relação) numérica entre duas variáveis aleatórias (variáveis que observamos ao longo da distribuição das seções do questionário e que depois agruparam-se nos testes). Significaria, portanto, como Y variaria em relação a uma determinada variação de X.
Como diversos fatores se inter-relacionaram com uma alta carga, pode-se depreender que ações específicas podem ser executadas para o desenvolvimento da capacidade avaliativa na Esaf como, por exemplo, investir no Fator 5 “Qualidade” do modelo 6 o qual teve destaque para os itens J4 e J6, intrínsecos à dimensão Condições de Mediação de Uso, por sinal, um ponto crítico de Pernambuco. Esses itens mensuram diretamente como os respondentes avaliam a qualidade e precisão dos dados da avaliação para seu uso e foram uns do que obtiveram menores pontuações nas médias das notas. Melhorar a qualidade das avaliações e a fornecer resultados precisos influenciam o Fator 1 “Benefícios”, Fator 2 “Consistência e Disponibilidade” e Fator 3 “Uso dos Achados”. Assim, mediar as condições de uso em maior intensidade tendem a melhorar o uso dos achados bem como ampliar o uso dos achados influencia tal mediação.
Entende-se, assim, que algumas questões podem ser aprofundadas considerando os desafios propostos por Suarez-Balcazar (2013) e Taylor-Ritzler (2014) para pesquisas sobre o tema, quando alvitram que a pesquisa sobre ECB precisa ser informada por problemas
reais que acontecem na prática, e a prática precisa ser informada pelo novo conhecimento criado e não prescindir de que ciência aprimore a prática e por meio do fortalecimento desta refine-se a ciência. Seria requerido, pois, concentrar-se no fortalecimento de modelos existentes, validando aqueles que não são validados e aplicando modelos validados em outras organizações. Além disso, os modelos atuais poderiam ser fortalecidos mediante relações mais fortes entre os modelos existentes e seus correspondentes instrumentos de avaliação para integrar e sintetizar componentes de EC acordados atualmente (LABIN et
al., 2012; TAYLOR-RITZLER et al., 2013).
Tais questões podem estar relacionadas, por exemplo, a:
i) Investigar e atribuir o nível de maturidade de capacidade avaliativa à organização, conforme propõe Bourgeois (2013), a partir dos resultados obtidos com a aplicação do modelo conceitual de Gagnon et. al (2018);
ii) Analisar a influência de instrumentos direcionados para o aumento da aprendizagem organizacional a partir de sua aplicação no desenvolvimento da capacidade avaliativa.
iii) Aplicar o modelo de análise utilizado nesta pesquisa em outros setores governamentais e em diferentes organizações para que seja possível comparar os resultados e aprimorar o framework;
iv) Analisar a relação entre o aprimoramento do sistema de avaliação da organização e o desenvolvimento da capacidade avaliativa.
As limitações de tempo e escopo, por outro lado, não permitiu contemplar toda a Escola de Administração Fazendária, fator que contribuiu para a impossibilidade de adotar a análise fatorial confirmatória para análise do modelo, uma vez que o número de respondentes foi insuficiente para a significância dos testes. Além disso, as limitações metodológicas não possibilitaram inferências causais.
No entanto, um primeiro passo foi dado, possibilitando avançar em modelos e metodologias para investigar a capacidade avaliativa e o desenvolvimento de tal capacidade nas organizações brasileiras.
Por fim, espera-se que esta pesquisa contribua e possa ser útil para os futuros trabalhos que venham a ser realizados sobre o tema.
REFERÊNCIAS
ALKIN, Marvin C.; TAUT, Sandy M. Unbundling evaluation use. Studies in Educational Evaluation, vol. 29, p. 1-12, 2003.
ALKIN, Marvin C.; KING, Jean A. The Historical Development of Evaluation Use.
American Journal of Evaluation, vol. 27, n. 4, p. 568-579, 2016.
_______________. Definitions of Evaluation Use and Misuse, Evaluation Influence and Factors Affecting Use. American Journal of Evaluation, vol. 38, n. 3, p. 434-450, 2017.
_______________. Guiding principles for evaluators. American Evaluation Association,
2004. Disponível em: http://www.eval.org. Acesso em 05/12/2017.
AMO, Courtney; COUSINS, J. Bradley. Going through the process: An examination of the operationalization of process use in empirical research on evaluation. New Directions for Evaluation, vol. 116, p. 5–26, 2007.
BAMBERGER, Michael. The evaluation of international development programs: a view from the front.” American Journal of Evaluation, v. 21, n. 1, p. 95-102, 2000.
BASTOS, Glória Maria Merola da Costa Bastos; SERPA, Maria H. C. Uma investigação dos sistemas de avaliação de programas da administração federal direta no Brasil. Revista do TCU, v. 128. p. 28-37. 2013. set/dez
BOURGEOIS, Isabelle; COUSINS, J. Bradley. Informing evaluation capacity building through profiling organizational capacity for evaluation: an empirical examination of four Canadian federal government organizations. American Journal of Evaluation, v. 23, n. 3, p.
127-146, 2008.
_______________. Understanding Dimensions of Organizational Evaluation Capacity.
American Journal of Evaluation, v. 34, n. 3, p. 299-319, 2013.
BOURGEOIS, Isabelle. Evaluation Journal of Australasia. vol 16, n. 1, p. 11-18, 2016.
BOURGEOIS, Isabelle; WHYNOT, Jane; THÉRIAULT, Étienne. Application of an organizational evaluation capacity self-assessment instrument to different organizations: Similarities and lessons learned. Evaluation and Program Planning, n. 50, p. 47-55, 2015.
BOYLE, Richard. Professionalizing the Evaluation Function: Human Resource Development and the Building of Evaluation Capacity. In BOYLE, R e LEMAIRE, D. (Ed.). Building Effective Evaluation Capacity: Lessons from Practice. New Brunswick, N.J: Transaction
Publishers, 1999.
BRASIL. Constituição (1988). Constituição da República Federativa do Brasil : texto constitucional promulgado em 5 de outubro de 1988, com as alterações determinadas pelas Emendas Constitucionais de Revisão nos 1 a 6/94, pelas Emendas Constitucionais nos 1/92 a 99/2017 e pelo Decreto Legislativo no 186/2008. – Brasília: Senado Federal, Coordenação de Edições Técnicas, 2017. 522 p.
BROUSSELE, Astrid; CHAMPAGNE, François; CONTRANDRIOPOULOS, André-Pierre; HARTZ, Zulmira. Avaliação - conceitos e métodos, Rio de Janeiro, RJ: Editora FioCruz, 2011.
BROWN, T. A. Confirmatory Factor Analysis for Applied Research, 1ed. New York: The
Guilford Press, 2006.
CARDEN, Fred; ALKIN, Marvin C. Evaluation roots: an international perspective. Journal of MultiDisciplinary Evaluation, vol. 8, n. 17, p. 102–18, 2012.
CASSIOLATO, Martha; GUERESI, Simone. Como elaborar modelo lógico: roteiro para formular programas e organizar avaliação. Nota Técnica. IPEA. Brasília, 2010.
CHEN, Karen hui-Jung. Contextual influence on evaluation capacity building in a rapidly changing environment under new governmental policies. Evaluation and Program Planning, v.65, p. 1-11, 2017.
CHENG, Shu-Huei; KING, Jean A. Exploring organizational evaluation capacity and evaluation capacity building: A Delphi study of taiwanese elementary and junior high schools. American Journal of Evaluation, vol., 38, n. 4, p. 521-539, 2017.
CHRISTIE, Christina A.; ALKIN, Marvin C. Evaluation theory tree re-examined. Studies in Educational Evaluation, vol. 34, n. 3, p. 131-135, 2008.
CLINTON, Janet. The true impact of evaluation: motivation for ECB. American Journal of Evaluation, vol. 35, p. 120–127. 2014.
COOPER, Donald R.; SCHINDLER, Pamela S. Métodos de Pesquisa em Administração, v. 10. Porto Alegre: Ed. Bookman, 2011.
COPLIN, Willian D.; MERGET, A. E.; BOURDEAX, C. The professional researcher as change agent in the government performance movement. Public Administration Review, v.
62(6), p. 699–711, 2002.
COUSINS, J. Bradley., GOH, Swee. C., CLARK, Shannon; LEE, Linda E. Integrating evaluative inquiry into the organizational culture: A review and synthesis of the knowledge base. The Canadian Journal of Program Evaluation, vol. 19, n. 2, p. 99-141, 2004.
COUSINS, J. Bradley. Process use in theory, research, and practice. New Directions in Evaluation, v. 116, 2007.
COUSINS, J. Bradley; GOH, Swee C.; ELLIOT, Catherine. Organizational capacity to do and use evaluation: preliminary results of a pan-canadian survey of evaluators. The Canadian Journal of Program Evaluation, v. 23 (3), p. 1-35, 2008.
COUSINS, J. Bradley; GOH, Swee C.; ELLIOT, Catherine J.; BOURGEOIS, Isabelle. Framing the Capacity to Do and Use Evaluation. New Directions for Evaluation, n. 141, p.
COUSINS, J. Bradley; BOURGEOIS, Isabelle (2014). Cross-case analysis and implications for research, theory, and practice. New Directions for Evaluation, n. 141, p. 101–119, 2014.
DAHLER-LARLEN, Peter. The Evaluation Society. Stanford University Press, 2011. 280p. FÁVERO, L.P.; BELFIORE, P. Manual de Análise de Dados: Estatística e Modelagem
Multivariada com Excel, SPSS e STATA. 1ªEd. Rio de Janeiro: Elsevier, 2017.
FIERRO, Leslie; CHRISTIE, Christina A. Evaluator and program manager perceptions of evaluation capacity and evaluation practice. American Journal of Evaluation, v. 38, n. 3, p.
376-392, 2017.
FLICK, Uwe. Introdução à pesquisa qualitativa. 3. ed. Porto Alegre: Armed, 2009. FONSECA, J. J. S. Metodologia da pesquisa científica. Fortaleza: UEC, 2002. GIL, Antônio C. Como elaborar projetos de pesquisa. 4. ed. São Paulo: Atlas, 2007. GAGNON, France; AUBRY, Tim; COUSINS, J. Bradley, GOH, Swee C.; ELLIOT, Catherine. Validation of the evaluation capacity in organizations questionnaire. Evaluation and Program Planning, v. 68, p. 166-175, 2018.
GOH, Swee C. Improving organizational learning capability: Lessons from two case studies. Learning Organization, vol. 10, p. 216-227, 2004.
HATRY, Harry P. Sorting the relationships among performance measurement, program evaluation, and performance management. New Directions for Evaluation, v. 137, p. 19–32,
2013.
HOOD, Christopher. (1991). A public management for all seasons? Public Administration,
V. 69 (1), p. 3–19, 1991.
HUNTER, David E. K.; NIELSEN, Steffen. Bohni. Performance management and evaluation: Exploring complementarities. New Directions for Evaluation, v. 137, p. 7–17, 2013.
IFAC. International Federation of Accountants. Comparison of principles, 2013. Disponivel em: <http://www.ifac.org/sites/default/files/publications/files/Comparison-of-Principles.pdf>. Acesso em: 30/03/2018.
JANUZZI, Paulo de M. Indicadores Sociais no Brasil: conceitos, fontes de dados e aplicações. Campinas, Editora Alínea, 2. ed., 2003.
KING, Jean A. Building the evaluation capacity of a school district. New Directions for Evaluation, v. 99, p. 63–80, 2002.
_______________. Developing evaluation capacity through process use. New Directions for
Evaluation, v. 116, p. 45–59, 2007.
_______________. Putting evaluation capacity building in context: Reflections on the Ontario Brain Institute’s Evaluation Support Program.
KING, Jean A.; VOLKOV, Boris. A framework for building evaluation capacity based of the experiences of three organizations. 21st Annual Conference on Policy Analysis, 2005.
LABIN, Susan N.; DUFFY, Jennifer L.; MEYERS, Duncan C.; WANDERSMAN, Abraham and LESESNE, Catherine A. A research synthesis of the evaluation capacity building
literature. American Journal of Evaluation, v. 33, n. 1, p. 307-338, 2012.
_______________. Developing common measures in evaluation capacity building: an iterative science and practice process. American Journal of Evaluation, v. 35, p. 107-115,
2014.
LEEUW, Frans L; DONALDSON, Stewart I. Theory in evaluation: reducing confusion and encouraging debate. Evaluation, v. 21, n. 4, p. 467-480, 2015.
LEÓN, D. A. D. Análise Fatorial Confirmatória através dos Software R e Mplus. Monografia de Bacharelado em Estatística. Universidade Federal do Rio Grande do Sul. Instituto de
Matemática – Departamento de Estatística. Rio Grande do Sul, 2011.
LEVITON, Laura C. Some Underexamined Aspects of Evaluation Capacity Building.
American Journal of Evaluation, v. 35, n. 1, p. 90-94, 2014.
MACKAY, Keith. A Diagnostic Guide and Action Framework. Evaluation Capacity Development (ECD Working Paper Series No. 6). Washington, D.C.: World Bank, 1999. Disponível em: http://documents.worldbank.org/curated/en/807321468765312873/A- diagnostic-guide-and-action-framework. Acesso em 05/02/2018
_______________. (The World Bank’s ECB experience. New Directions for Evaluation, v.
93, 81-99, 2002.
MARK, Melvin; HENRY, Gary T.; JULNES, George. Evaluation: an integrated framework for understanding, guiding, and improving policies and programs. San
Francisco: Jossey-Bass, 2000.
_______________. The Mechanisms and Outcomes of Evaluation Influence. Evaluation, v.
10, p. 35-56, 2004.
NIELSEN, Steffen Bohni; LEMIRE, Sebastian; SKOV, Majbritt. Measuring evaluation capacity — results and implications of a Danish study. American Journal of Evaluation, v.
32, p. 324–344, 2011.
PATTON, Michael. Q. Utilization Focused-Evaluation. 4. ed. Thousand Oaks, CA, USA: Sage Publications, 2008.
PRESKILL, Hallie; BOYLE, Shanelle. A multidisciplinary model of evaluation capacity building. American Journal of Evaluation, v. 29, n. 4, p. 443-459, 2008.
PRESKILL, Hallie; TORRES, Rosalie. T. The learning dimension of evaluation use. New Directions for Evaluation, v. 88, p. 25–37. 2000
SERPA, Selma M. H. C. Uma leitura dos usos da avaliação na administração pública no Brasil a partir da caracterização dos sistemas de avaliação de programas governamentais. Brasília, 2014, 325p.
SHADISH, William R.; COOK, Thomas D.; LEVITON, Laura C. Foundations of Program Evaluation: theories of practice, Newsbury Park, CA, Sage publications. 1991.
SHAW, Jessica; CAMPBELL, Rebecca. The “Process” of process Use: methods for
longitudinal assessment in a multisite evaluation. American Journal of Evaluation, v. 35, n.
2, p. 250-260, 2014.
SIMÕES, Armando Amorim. Avaliação de Programas e Políticas Públicas. Caderno ENAP – Programa de Aperfeiçoamento para Carreiras, 2015, 50p.
SOUZA, Yalle Hugo; SECCHI. Extinção de políticas públicas. Síntese teórica sobre a fase esquecida do policy cycle. Cadernos Gestão Pública e Cidadania, v. 20, ed. 66, São Paulo: FGV, 2015. Disponível em
http://bibliotecadigital.fgv.br/ojs/index.php/cgpc/article/view/39619/0. Acesso em 25/03/2018
STITT-BERGH, Monica. Assessment capacity building at a research university. New Directions for Evaluation, v. 151, p. 69–83, 2016.
STOCKDILL, Stacey J.; DUHON-SELLS, Rose M.; OLSON, Ruth A.; PATTON, Michael Q. Voices in the Design and Evaluation of a Multicultural Education Program: A
Developmental Approach. New Directions for Program Evaluation, n. 53, p. 17-33, 1992.
STOCKDILL, Stacey H.; BAIZERMAN, Michael; COMPTON, Donald W. Toward a definition of the ECB process: a conversation with the ECB literature. New Directions for Evaluation, n. 93, p. 7-25, 2002.
STUFFLEBEAM, Daniel. L. Evaluation Models. New Directions for Evaluation, n. 89, p. 7-
82, 2001.
STUFFLEBEAM, Daniel. L. Evaluation Checklists: practical tools for guiding and judging evaluations. New Directions for Evaluation, v. 22, n. 1, p. 71-79, 2001.
SUAREZ-BALCAZAR, Yolanda; TAYLOR-RITZLER, Tina. Moving from Science to practice in evaluation capacity building. American Journal of Evaluation, v. 35, n.1, p. 95-
99, 2013.
TAYLOR‐POWELL, Ellen; BOYD, Heather H.; BRAVERMAN, Marc T.; ENGLE, Molly;
ARNOLD, Mary E.; RENNEKAMP, Roger A. Program Evaluation in a Complex
Organizational System: Lessons From Cooperative Extension. New Directions for Evaluation, v. 120, p. 55-69, 2008.
TAYLOR-RITZLER, Tina; SUAREZ-BALCAZAR, Yolanda; GARCIA-IRIARTE, Edurne; HENRY, David B.; BALCAZAR, Fabricio. Understanding e measuring evaluation capacity: a model and instrument validation study. American Journal of Evaluation, v. 34, n. 2, p.190-
TAYLOR-RITZLER, Tina; SUAREZ-BALCAZAR, Yolanda. Moving from Science to Practice in Evaluation Capacity Building. American Journal of Evaluation, v. 35, n. 1, p.
95-99, 2014.
TORRES, R.; PRESKILL, Hallie. T. Evaluation and organizational learning: Past, present, and future. American Journal of Evaluation, 22, 387–395, 2001.
VEDUNG. Evert. Four Waves of Evaluation Diffusion. Evaluation, v. 16, p. 263-277, 2010.
_______________. Avaliação de Políticas Públicas. Palestra proferida na Universidade Católica de Brasília, Brasília/DF, em 17/112017. Disponível em
http://www.ucb.br/Noticias/2/10522/EspecialistaEuropeuEmPoliticasPublicasPalestraNaUcb/. Acesso em 15/03/2018
VIEIRA, M. M. F.; ZOUAIN, D. M. (org.). Pesquisa qualitativa em administração. 1. ed. São Paulo: FGV, 2004.
WEISS, Carol. Theory-Based Evaluation: Past, Present and Future. New Directions for Evaluation, n. 76, 1997.
_______________. Evaluation. 2. Ed. Upper Saddle River: Prentice-Hall, Inc., 1998
WOOLDRIDGE, J. M. Introdução à Econometria: uma Abordagem Moderna. São Paulo:
Cengage Learning, 2015.
YANG, Kaifeng; HOLZER, Mark. The performance-trust link: implications for performance measurement. Public Administration Review, v. 66 (1), p. 114–126, 2006.
YIN, Robert K.; Estudo de caso: Planejamento e Métodos. 4. ed. Porto Alegre: Bookman, 2010.
APÊNDICE A
CAPACIDADE AVALIATIVA EM ORGANIZAÇÕES