Diante do exposto, é possível partir da premissa básica de que a avaliação de políticas públicas, desempenhada como um processo sistemático, integrado e institucionalizado, objetiva primordialmente acompanhar a eficiência dos recursos públicos, para que, quando necessário, atue-se no sentido de identificar as vias de aprimoramento da ação estatal, em prol da melhoria dos processos, dos resultados e da gestão pública.
Nesse sentido, as metodologias e instrumentos analíticos utilizados na avaliação de determinada política fundamentam o processo decisório dos gestores
públicos com vistas ao aperfeiçoamento das políticas em execução. Contudo, conceituar avaliação de políticas públicas não é uma tarefa simples. Cada autor atribui uma definição a esse estudo, a partir de diferentes escolas teóricas e metodológicas no qual estão inseridos.
Para Mény e Thoenig (1989), avaliar uma política pública pode ser traduzida como a apreciação das consequências de uma intervenção governamental, especialmente no que concerne à vida social e ao meio ambiente físico de uma sociedade. Na definição de Weiss (1978, p. 14):
La investigación evaluativa, em opinión de quienes la practican, es uma manera de aumentar la racionalidade de las decisiones. Al contar com información objetiva acerca de los resultados de los programas es posibles tomar decisiones atinadas em matéria de asgnacíon de partidas presupuestarias y de planeación de los programas).10
Isto é, avaliação apresenta-se como um importante instrumento de tornar o gasto público mais eficiente, como objetivava a reforma gerencial do Estado, além de contribuir para a qualidade da gestão, do controle social sobre a efetividade da ação do Estado, uma vez que os programas que obtiveram bons resultados nas avaliações poderão ser ampliados, na medida em que programas que não lograram êxito podem ser eliminados ou modificados, a partir dos dados obtidos na investigação que a diagnosticou.
Ao lado disso, Costa e Castanhar (2003), baseados na Unicef (1990), qualificam a avaliação de políticas públicas como o ato de mensurar o desempenho, implementação e resultados de um programa, finalizado ou em curso, a partir de um exame sistemático e objetivo desse, com fins de estabelecer o seu grau de eficiência, efetividade, impacto, sustentabilidade e relevância de seus objetivos. Consoante destaca Figueiredo e Figueiredo (1986), a avaliação visa estabelecer uma relação de causalidade entre a política e as modificações na realidade de seus beneficiários.
Certo é que avaliar uma política pública parte da premissa de atribuir valor (ARRETCHE, 2007), isto é, realizar um julgamento relativo ao fracasso ou sucesso de uma política, o que está sempre atrelada a diferentes fatores a serem considerados na realização da avaliação, a saber o tipo, ou a natureza e o seu momento. Quanto a
10 “A investigação avaliativa, na opinião daqueles que a praticam, é uma maneira de aumentar a
racionalidade das decisões. Ao contar com informação objetiva acerca dos resultados dos programas é possível tomar decisões precisas em matéria de alocação de itens orçamentários e de planejamento dos programas”, em tradução livre.
este último, é pacífico entre os autores das políticas públicas que podem ser de duas categorias: a) ex ante; b) ex post. As avaliações ex ante são aquelas realizadas antes da implementação da política e tem a finalidade de “produzir orientações para a melhoria do desenho e serve como ponto de partida para futuras comparações” (COSTA, 2015, p. 20). Costa (2015) citando Lobo (2009) afirma que existe um comprometimento das futuras avaliações na ausência de uma avaliação ex ante. Por outro lado, as avaliações ex post são aquelas executadas durante ou após a implementação do programa e busca aferir os graus de eficácia, efetividade (resultados, efeitos ou impactos) e eficiência (BRASIL, 2018).
Quanto à natureza, as avaliações de políticas públicas também podem ser subdividas, segundo Scriven (1967), em duas espécies: a) avaliação somativa; ou b) avaliação formativa. Enquanto a primeira atenta-se ao aperfeiçoamento do programa à medida em que este ainda está no processo de elaboração, com fins de averiguar a sua potencialidade e rever ou refazer partes ou o seu conjunto antes de sua implementação, a segunda destina-se a mensurar o desempenho do programa, a partir da análise do êxito no alcance ou não dos objetivos propostos, durante ou após a implementação.
Logo, observa-se que os resultados da avaliação vão servir para propósitos distintos. Ao passo que a avaliação formativa irá contribuir com o processo de implementação ou o aperfeiçoamento da política, apresentada por Faria (2009) como avaliação de processo ou de eficácia, em que atenta-se a testar o desempenho do programa, a fim de melhorá-lo, a avaliação somativa, constrói-se em torno da tomada de decisão sobre sua adoção ou expansão pelos gestores.
Faria (2009) ainda propõe outro tipo de avaliação, a ser o acompanhamento e monitoramento dos programas, em que se considera a sua eficiência, a partir da observância de adequação entre o plano e a execução, propondo-se mudanças mais amplas, tais como o cenário financeiro, jurídico, organizacional, entre outros. Todavia, é importante diferenciar o monitoramento da avaliação de políticas públicas.
Enquanto a avaliação consubstancia-se em um processo objetivo de análise e diagnóstico de determinada política pública, em que são levados em consideração aspectos como o modo segundo o qual a política está sendo implementada, seus efeitos adversos e almejados, os principais stakeholders, além da maneira como os recursos públicos estão sendo utilizados, o monitoramento é um processo contínuo que:
tem como objetivo controlar a entrega de insumos, o calendário de trabalho e verificar se os produtos estão de acordo com as metas. O monitoramento permite identificar problemas e falhas durante a execução que prejudicam as ações, os processos ou os objetivos da política pública e, assim, reúne condições para corrigir rumos ou ajustar os planos de implementação (BRASIL, 2018, p. 15).
Assim, tendo em vista que o monitoramento visa atuar junto ao ciclo de ajustes de uma política e de seu plano de gestão de riscos, deve ser realizado de forma habitual, sendo necessário, para a realização de um bom monitoramento, que os objetivos, insumos, processos, produtos, resultados efeitos da política tenham sido bem delineados, de maneira que haja indicadores para averiguar sua evolução e a consecução das metas instituídas.
Nesses termos, a definição clássica de Arretche (2007) ressalta a ideia de “valor”. Segundo a autora, a avaliação de políticas públicas constitui-se em um julgamento que indicará a aprovação ou reprovação de uma política, não havendo, portanto, a “possibilidade de que qualquer modalidade de avaliação ou análise de políticas públicas possa ser apenas instrumental, técnica ou neutra” (ARRETCHE, 2007, p. 1), razão pela qual é primordial a escolha adequada dos instrumentos de análise e avaliação, com o intuito de que não se confunda as opiniões pessoais do investigador com os resultados do estudo.
Na escolha dessas ferramentas de análise, Arretche (2007) destaca a importância de diferenciar a avaliação de políticas públicas da avaliação política e da análise de políticas públicas, uma vez que elas almejam objetivos distintos e, por isso, lançam mão de abordagens e instrumentos particulares.
Na medida em que a avaliação de políticas públicas visa precipuamente estabelecer uma relação de causalidade entre um programa x e um resultado y para contribuir com a reformulação do programa, quando essa for necessária, além de ser uma maneira de controle sobre as ações do governo pela sociedade civil; a avaliação política “examina os pressupostos e fundamentos políticos de um determinado curso de ação pública, independentemente de sua engenharia institucional e de seus resultados prováveis” (ARRETCHE, 2007, p. 2). Isto é, a avaliação política de um programa prescinde do estudo de sua implementação ou operacionalização, pois recai sobre o aspecto político (valores e critérios) da escolha daquela política e não de outra, por exemplo. No que concerne à análise de políticas públicas, a autora explica:
Por análise de políticas públicas, entende-se o exame da engenharia institucional e dos traços constitutivos dos programas. Qualquer política
pública pode ser formulada e implementada de diversos modos. Digamos, as possibilidades de desenho institucional de uma política nacional de saúde, por exemplo, são as mais diversas do ponto de vista das formas de relação entre setor público e setor privado, das formas de financiamento, das modalidades de prestação de serviços, etc. A análise de políticas públicas busca reconstituir estas diversas características, de forma a apreendê-las em um todo coerente e compreensível. Ou melhor dizendo, de forma a dar sentido e entendimento ao caráter errático da ação pública (ARRETCHE, 2007, p. 2).
No ponto, a análise de políticas públicas busca averiguar como a política se organiza, suas características institucionais. Para Draibe (2001), a análise de políticas públicas equivaleria a uma avaliação de processo, em que se envolve a avaliação das estratégias que orientam a implementação de determinada política. Nesse contexto, no que concerne à natureza das avaliações, Draibe (2001) delineia duas classes: a) as avaliações de processo; e b) as avaliações de resultado.
Enquanto a primeira objetiva detectar quais fatores, facilitam ou impedem, ao longo da implementação, o alcance dos objetivos propostos da melhor maneira possível, atentando para o desenho institucional, o desenvolvimento de programas e as características organizacionais da política, a segunda dispõe-se a avaliar se o programa atingiu ou não os seus objetivos, ou, mais do que isso, “quanto e com que qualidade” eles foram cumpridos (DRAIBE, 2001, p. 19).
Ademais, para esclarecer o conceito de “resultado”, Draibe (2001) secciona o termo em três acepções: a) resultados propriamente ditos (sentido estrito/outcomes); b) impactos; e c) efeitos, para auxiliar na escolha dos indicadores que irá aferir os diferentes níveis de realização do programa.
Tabela 3 - Avaliação de resultado segundo Draibe (2001).
Resultado (sentido estrito/outcomes)
Os “produtos” previstos na meta do programa;
Impactos Mudanças efetivas observadas na realidade dos beneficiários provocados pela política.
Efeitos Outros impactos, planejados ou não, que afetam o meio no qual o programa foi implementado.
Ao lado disso, apoiados no manual da Unicef (1990), Costa e Castanhar (2003, p. 973), elencam os critérios de avaliação mais comuns que servirão de base ao avaliador para julgar se a política funcionou, quais sejam: a eficiência (relação custo/benefício no alcance dos objetivos do programa); eficácia (nível em que o programa logra êxito em suas metas); impacto ou efetividade (efeitos positivos
causados no ambiente); sustentabilidade (capacidade de permanência dos benefícios após a finalização da política); análise custo-efetividade (seleciona-se a melhor atividade ou projeto que obtenha êxito em alcançar os objetivos com o menor custo, ao mesmo tempo que obtém os impactos desejados); satisfação do beneficiário (avaliação do comportamento do usuário no que concerne ao atendimento que recebeu do programa); e equidade (grau de distribuição justa e compatibilidade com as necessidades do beneficiário).
Arretche (2007) também procede com uma distinção dos tipos de avaliação de políticas públicas, sendo elas a) avaliação de eficácia; b) avaliação de eficiência; ou c) avaliação de efetividade.
A avaliação de eficácia é considerada a avaliação mais exequível e menos custosa a ser realiza, motivo pela qual é indubitavelmente a avaliação mais aplicada. Segundo Figueiredo e Figueiredo (1986) é a avaliação que analisa a relação entre as metas e instrumentos explícitos de uma política com os seus resultados propriamente ditos, ou seja, para se determinar o sucesso ou o fracasso de uma política, é necessário apenas relacionar as metas propostas pelo programa com as metas alcançadas, ou ainda, as ferramentas previstas para sua implementação e as ferramentas efetivamente empregadas. Para Arretche (2007, p. 5) a avaliação das ferramentas “consiste no exame da processualidade concreta e da adequação e coerência dos meios e instrumentos utilizados durante a vigência de um determinado programa”.
Importante notar que, embora seja a avaliação mais factível, também pode estagnar em algumas dificuldades. Arretche (2007, p. 5) observa que a avaliação de eficácia “exige pesquisas de campo capazes de aferir e reconstituir o processo de implantação e/ou implementação da política sob análise” e pode encontrar obstáculos na obtenção de informações, além de obter a garantia da veracidade dos no que tange ao funcionamento concreto do programa sob avaliação.
Todavia, ao passo que a avaliação de eficácia é a mais executada, considera- se que a avaliação de eficiência é a mais necessária. Tendo em vista que o objetivo macro de todos os tipos de avaliação é promover o uso adequado e eficiente dos recursos públicos, ao mesmo tempo que fornecer uma prestação de contas à sociedade dessa utilização, a avaliação de eficiência representa uma ferramenta de importante na racionalização de recursos já escassos.
Para Figueiredo e Figueiredo (1986), a avaliação de eficiência é entendida como a relação entre o esforço investido na implementação de uma política e os resultados alcançados. Isso porque ela busca avaliar o custo-benefício de um dado programa. A preponderância da “eficiência” na Administração Pública é, em outras palavras, investiga como o dinheiro público está sendo investido, na perspectiva de “aumentar o volume de recursos efetivamente disponíveis sem aumentar o volume de arrecadação e/ou sem aumentar rubricas de gasto” (ARRETCHE, 2007, p. 6).
Isso se faz especialmente relevante, na medida em que paralelamente à insuficiência de recursos públicos, os "universos" populacionais a serem cobertos pelos programas sociais são crescentes, e a, além disso, “a eficiência é um objetivo democrático” (ARRETCHE, 2007, p.6):
Na verdade, ao dispor de recursos públicos e ao implementar políticas públicas, o governo está gastando um dinheiro que não é seu; ao fazê-lo, o governo está gastando o dinheiro do contribuinte. Ora, a probidade, competência e eficiência no uso de recursos publicamente apropriados constituem, em regimes democráticos, uma das condições para a confiança pública (public confidente) no Estado e nas instituições democráticas.
Logo, as avaliações de eficiência contribuem também na aferição de corrupção, da má gestão governamental do dinheiro público, permitindo a detecção de falhas na alocação de recursos públicos, produzindo orientações que possibilitem essa correção, a fim de evitar o desperdício desses recursos.
Por último, Arretche (2007, p. 3) aborda a avaliação de efetividade. Apoiando- se na definição de Figueiredo e Figueiredo (1986), ela destaca que a avaliação de efetividade é compreendida como a análise da relação entre a implementação de um programa x e seus “impactos e/ou resultados, isto é, seu sucesso ou fracasso em termos de uma efetiva mudança nas condições sociais prévias da vida das populações atingidas pelo programa sob avaliação.”
Conforme a autora destaca, é na avaliação de efetividade que a diferença entre avaliação e análise se torna mais importante e clara, uma vez que a avaliação parte da premissa de relacionar casualmente os resultados encontrados na realidade social com àquela política sob avaliação. Conforme seu exemplo:
um programa de vacinação pode ser muito bem sucedido, como veremos mais adiante, em termos de sua eficácia, vale dizer, da possibilidade de efetivamente atingir uma quantidade satisfatória de suas metas de vacinação, por exemplo, vacinar x crianças em um prazo dado. Neste sentido, o programa foi bem sucedido do ponto de vista da efetiva produção de determinado produtos. Isto não significa necessariamente que o programa
seja bem sucedido do ponto de vista dos resultados dele esperados, vale dizer, da possibilidade de efetivamente reduzir a incidência da doença que se propunha a erradicar ou a diminuir substancialmente num horizonte x de tempo (ARRETCHE, 2007, p. 3-4).
Isso porque existe uma diferença entre os produtos de uma política e os seus resultados. Observa-se que este último se refere a mudança efetiva que ocorreu na vida dos beneficiários, enquanto aquela se relaciona aos produtos previstos nas metas do programa. No caso, as avaliações de efetividade se atentam para os efeitos daquela política na vida do seu público-alvo.
Entretanto, é de se notar que, assim como os demais tipos de avaliações, a avaliação de efetividade também enfrenta dificuldades metodológicas, da qual distinguir os produtos dos resultados é a menor delas.
Arretche (2007) ensina que a demonstração de que os resultados encontrados pela pesquisa guardam uma relação causal com os produtos oferecidos por uma determinada política é o maior desafio metodológico desse tipo de avaliação. Além de dificuldades mais simples, como a obtenção de dados sobre os programas e as populações analisadas, até as metodologicamente mais complexas, concernentes à possibilidade de isolar a influência das “variáveis intervenientes em qualquer sistema aberto próprio da análise social, passando pelas dificuldades operacionais, que dizem respeito aos custos financeiros e organizativos envolvidos em pesquisas de campo” (ARRETCHE, 2007, p. 4).
Nessa linha, as escolhas teórico-metodológicas do pesquisador ao longo do processo avaliativo, consoante Draibe (2001) é fundamental, aquilo que ela chama de “estratégia de avaliação”, isto é, a escolhas acerca dos objetivos, da natureza e do tipo de avaliação que se pretende realizar.
No ponto, percorreremos quais as escolhas teórico-metodológicas foram adotadas para a realização dessa pesquisa, para então passarmos aos resultados obtidos nela.
No que tange à natureza da avaliação realizada sobre o CRI/Natal não se trata de um mero monitoramento, uma avaliação política ou uma análise de política pública, mas uma avaliação da política pública propriamente dita. Sobre isso, como exposto acima, a literatura clássica sobre o tema, subdivide a avaliação em diferentes categorias – avaliação de resultado ou processo, para Draibe (2001), e avaliação de eficácia, eficiência e efetividade, de acordo com Arretche (2007) –. Neste estudo,
optou-se por adotar a linha teórica proposta pela segunda autora, notadamente a avaliação que diz respeito à efetividade do CRI/Natal.
Por se tratar de uma política pública voltada primordialmente para a reabilitação de crianças com deficiência, essa pesquisa tem por intuito avaliar os resultados que os serviços de reabilitação dispostos pelo CRI/Natal tem causado sobre o seu público- alvo atendidas no local. Por “resultados” entende-se a concepção de Arretche (2007), que são aqueles relacionados à mudanças efetivamente encontradas na realidade dos beneficiários de uma política.
Para isso, no que tange ao timing da avaliação do CRI/Natal nesta pesquisa, foi realizada uma avaliação ex post, isto é, avaliou-se a política durante a sua implementação, uma vez que a política começou a ser implementada em 1990 e a pesquisa se iniciou no ano de 2018 indo até o início de 2020.
Ao lado disso, com relação aos indicadores, Januzzi (2015) ensina que são um recurso metodológico e empiricamente referido, que usado para substituir, quantificar, identificar e medir um conceito, problema, fenômeno ou resultado de uma intervenção na realidade, isto é, os indicadores vão identificar e quantificar os resultados obtidos, funcionando como verdadeiros parâmetros de julgamento. Nesse sentido, existem inúmeras possibilidades de se usar esses parâmetros, que, por sua vez, se ajustam à área e ao objetivo da avaliação.
No que se refere aos diferentes tipos de indicadores para os diferentes tipos de avaliação, Secchi (2010) destaca que os indicadores de inputs medem os dados relativos aos gastos financeiros, além de recursos humanos e materiais; aqueles concernentes aos outputs são relacionados com a produtividade de serviços e produtos, ao passo que os indicadores de outcomes aferem os efeitos da política sobre o seu público-alvo, bem como a capacidade de solucionar ou minimizar o problema que impulsionou a formulação da política.
Nesse sentido, com relação aos indicadores, essa pesquisa irá adotar as disposições legais internacionais dispostas na CPCD, bem como o Guia From exclusion to equality: realizing the rights of persons with disability,11 produzido, em
2007, pela Secretaria da Comissão dos Direitos Humanos da ONU, logo após a conclusão da CDPCD, com o intuito de precisar o conceito de reabilitação.
11 “Da exclusão para a igualdade: entendendo os direitos das pessoas com deficiência”, em tradução livre.
Nesse sentido, a ONU (2007) estabelece a reabilitação como um processo que visa precipuamente possibilitar à pessoa com deficiência, seja ela adulto ou criança, o alcance, dentro de suas potencialidades pessoais, do nível necessário de desenvolvimento em todas as áreas de sua vida, tais como a educação, saúde, emprego e outros, que permitirão que o indivíduo trabalhe, perceba sua renda, contribua com a sociedade e exercite todos os seus direitos e liberdades individuais. Em suma, de acordo com o Guia (2007), reabilitar significa “Rehabilitation means restoring capacity and ability”12, visando conferir ao indivíduo “autonomia”.
Para fins dessa pesquisa, considerar-se-á uma criança reabilitada, aquela que