Diante das experiências aqui apresentadas, algumas considerações merecem destaque. A grande maioria dos indicadores desenvolvidos tem privilegiado a base de dados quantitativa e as análises em modelos matemáticos, o que representa uma limitação diante da dimensão subjetiva da realidade.
Quanto às questões metodológicas, percebe-se que existe uma forte tendência para a criação de sistemas compostos por uma série de indicadores e índices setoriais. Entretanto, não existem estudos suficientes que comprovem a validade e relevância da utilização dos indicadores propostos. O processo de seleção de indicadores e a definição dos métodos de ponderação ainda carece de uma sustentação teórica que justifique a sua utilização. A construção de índices compostos é um exemplo típico dessa necessidade, como foi observado de forma contundente por Valente (2002). O autor, ao realizar uma avaliação crítica do índice composto pela OMS para avaliar a saúde no mundo, observa que a metodologia aplicada não é consistente, uma vez que o índice composto variava sensivelmente em função do peso atribuído para cada indicador, o que conduz a uma alteração significativa no ranqueamento estabelecido pela OMS entre os países.
Um outro aspecto que deve ser levado em conta na aplicação de indicadores quantitativos é, além da confiabilidade dos dados, o seu poder de explicação da realidade. No primeiro caso, pode-se tomar como exemplo os dados levantados pelo Instituto Brasileiro de Geografia e Estatística (IBGE) sobre a destinação de dejetos. A forma como os dados são levantados não oferece confiabilidade, pois os pesquisadores não são treinados para reconhecer os dispositivos de destino dos dejetos e, por outro lado, a população não sabe informar com certeza qual o seu destino. Quanto ao poder de explicação da realidade, pode-se dar o exemplo de um dado extremamente utilizado: o percentual da população servida com abastecimento de água. Esse dado é levantado a partir do número de ligações à rede pública de água. No entanto, o fato de estar ligado à rede de água não significa que um domicílio esteja bem abastecido. As freqüentes manobras nas redes, em função da própria obsolescência
do sistema e da disponibilidade de água, fazem com que determinadas populações recebam quantidades de água insuficientes para as suas necessidades básicas20. Além disso, a intermitência da distribuição da água e o fato de não se dispor de sistemas de esgotamento sanitário pode contribuir para a contaminação da água na rede, alterando sua qualidade21.
Tais fatos demonstram que existem limites concretos na tentativa de avaliar a realidade, limites esses inerentes a qualquer método de aproximação da realidade, como foi bem observado por Augusto (2002):
O objetivo da informação ou do dado é descrever a realidade e, portanto, essa descrição não pode ser entendida como a realidade como ela é. Há sempre uma redução a uma escala sobre a qual se estabelecem operações possíveis, buscando-se assim, construir um objeto que se represente (ibid., p. 208).
Essa limitação pode ser em parte contornada por pesquisas qualitativas junto à população-alvo. Mesmo assim, é necessário admitir que existem aspectos que escapam à mensuração. Para minimizar essa dificuldade, Guimarães (1984) sugere que se deve buscar avaliar uma realidade junto a grupos, os quais devem participar no desenvolvimento e operação de um sistema de indicadores. Apesar de as limitações se relacionarem de forma intrínseca a qualquer modelo ou esforço de apropriação da realidade, elas também evidenciam a necessidade de se intensificarem as pesquisas nesse campo.
Um outro ponto que merece destaque diz respeito às unidades de análise. Por exemplo, o município como unidade de análise não proporciona um diagnóstico preciso das desigualdades espaciais tão característica de nosso processo de urbanização. Assim, no caso de políticas públicas locais, o sistema proposto deve contar com uma unidade de análise mais adequada, que seja capaz de captar os diferenciais intra-urbanos. No entanto, os sistemas também devem comportar avaliações mais globais, em âmbito estadual e federal. É importante, também, que se estabeleça um certo grau de coincidência nos indicadores sugeridos, de forma a racionalizar a coleta de informações.
Uma outra questão diz respeito à participação cidadã nos processos de construção e implantação de indicadores. Para Guimarães (1984), a qualidade do meio ambiente é uma meta social e comunitária, não podendo ser feudo exclusivo de administradores, técnicos ou cientistas. Para ele, deve-se promover a participação da comunidade no desenvolvimento e operação de um sistema de indicadores de qualidade, para se garantir o exercício do controle
20Moraes (1993), em pesquisa realizada na periferia de Salvador, obteve um consumo per capita de água de 40l/hab/dia,
contra os 400l/hab/dia fornecidos às classes de alta renda, fato esse relacionado às manobras realizadas na rede de distribuição de água.
21Moraes (1993), na pesquisa acima citada, constatou que 35,6% das amostras coletadas estavam contaminados com
direto sobre a destinação dos recursos públicos, visando à satisfação das necessidades coletivas.
Promover a participação social na avaliação de projetos e na geração de sistemas de indicadores é fundamental para que se promovam a capacidade crítica e os processos emancipatórios, na conquista de melhores condições de vida por parte da população. Nunca é demais recordar que a estatística, a coleta de dados sociais, têm sua origem nos esforços de controle dos processos sociais por parte do Estado. Atualmente, a informação se tornou um poder à parte. A informação é importante não só para orientar e avaliar as ações do Estado e regular o cenário sociopolítico, mas também é estratégica para a obtenção da produtividade, competitividade e controle sobre a sociedade, e, em última instância, para modelar o pensamento. Para Breilh (2000),
[....] la tecnología de la información y el conocimiento científico-tecnológico convertido en la más preciada mercadería permiten el dominio global sobre la economía e las vidas del mundo periférico, pero también han hecho posible la globalización de la hegemonía, mediante la imposición cultural e su juego en el modelage del imaginario colectivo. Y es precisamente en este sentido que la racionalidad de los actuales sistemas de información en salud se destaca como pieza valiosa pues, como lo destaca acertadamente Castiel (1999), en este mundo al revés, los poderosos han logrado dar la vuelta a los papeles de la realidad e de la ficción (ibid., p.102).
Assim, a participação da população se torna algo imprescindível para a promoção da cidadania e o controle social das ações do Estado. Por outro lado, a participação se torna fundamental, uma vez que somente através dela é possível avaliar o grau de satisfação da população quanto aos serviços implantados, em ternos de qualidade, quantidade, presteza, custo, gerência dos serviços e participação social na gestão.
Por fim, é importante ressaltar que qualquer esforço de construção de um sistema de indicadores se sustenta em um discurso científico, sendo, portanto,
Um produto especializado proveniente da atividade técnico-científica que se baseia em construções discursivas, mediante linguagens crescentemente formalizadas e reguladas, que se traduzem em sistemas conceituais (não só científicas, mas também de representações artísticas, religiosas e éticas) permitindo um esforço de coerência, guiado pelo valor de uma verdade objetiva (AUGUSTO, 2002, p. 298).
Percebe-se que a definição de prioridades de investimentos é meta social, uma tarefa coletiva, devendo-se não só criar instrumentos técnicos para auxiliar a decisão, mas, principalmente, mecanismos políticos de decisão que contemplem a participação e o controle social, permitindo, com isso, tornar a ação pública mais transparente e democrática, voltada para as reais necessidades da população.
Uma vez constatadas tanto a precariedade da qualidade das informações disponíveis no campo do saneamento como a insuficiência de marco teórico e metodológico que respaldem a definição de um sistema de indicadores para a avaliação do Programa Bahia Azul e dos serviços de saneamento na cidade do Salvador, optou-se por aprofundar as discussões sobre essa temática e testar um modelo de avaliação que contemplasse tanto a dimensão quantitativa (objetiva) como qualitativa (subjetiva) da realidade (Ver Capítulo 4).
3.4 OS PRINCÍPIOS DA AVALIAÇÃO DO PROGRAMA BAHIA AZUL E DOS