há a necessidade de se recorrer a um sistema de referências ou referencial, tal como é veiculado por Figari (1996, p. 47) “ […] de acordo com todos os autores, não se entrevê a realização de qualquer avaliação sem o recurso, implícito ou explícito, a um sistema de referências”. O autor concebe o ato de avaliar como uma reflexão, afastando-se, assim, da noção de medida, sobre a distância entre o referente e o referido. Ora, quando falamos em referencial imediatamente pensamos na noção de referente e de referencialização, termos que convém explicitar no âmbito deste estudo para que não existam ambiguidades de linguagem. Reportando-nos a Figari, autor que se constitui como uma referência mundial, neste campo de investigação, o termo referente será aplicado sempre que nos referirmos a tudo que desempenhe o papel de norma, que represente um modelo e o objetivo pretendido; o termo referencial será usado para designar o aparelho já construído, ou seja, o sistema de referentes. Por seu lado, a referencialização será evocada sempre que nos referirmos ao processo de elaboração dos referentes (idem, p. 52):
“A referencialização consiste em assinalar um contexto e em construir, fundamentando-o com os dados, um corpo de referências relativo a um objeto (ou a uma situação), em relação ao qual poderão ser estabelecidos diagnósticos, projetos de formação e avaliações. A referencialização pretende ser um método de delimitação de um conjunto de referentes e nisso se distingue do referencial que, por sua vez, designa um produto acabado e, mais exatamente, uma formulação momentânea da referencialização”.
Falar de referencialização é admitir que o referencial de avaliação está em permanente reconstrução mas, sendo a referencialização uma prática de investigação, o investigador necessita de recorrer a um modelo de leitura. A função básica de um modelo é a de proporcionar ao avaliador um marco de referência, umas diretrizes que o orientem na elaboração de uma avaliação criteriada (Ventosa, 2002).
Uma outra contribuição é dada por Rodrigues (1999) ao sustentar ser possível negociar um referencial comum de avaliação, apesar da diversidade de interesses e da pluralidade de referenciais, se os intervenientes, inspirados
152
nas correntes democráticas de planificação educativa, desenvolverem um trabalho colaborativo confrontando posições, negociando e comprometendo-se na elaboração de um referencial único que se adeque à comunidade a que se destina. O mesmo autor acrescenta que, embora negociada, a avaliação não deixa de exigir referentes (Rodrigues, 1999, p. 56):
“A avaliação não deixa, contudo, de requerer o estabelecimento de critérios e “standards”, dimensões e níveis, regras e normas em relação às quais compara as “performances”, julga a importância das discrepâncias e a sua adequação, suficiência, sucesso ou excelência”.
Na medida em que avaliar é comparar um fenómeno observado com um referencial (critérios, indicadores, objetivos) encontrámos, na literatura da especialidade (Castro-Almeida, Le Boterf, & Nóvoa, 1999, p. 127), referência aos critérios mais pertinentes para avaliação de projetos, que apresentamos no quadro 3:
Quadro 3 - Quadro de referência de alguns critérios que podem ser usados como referencial
Critérios de pertinência
Procuram verificar se os objetivos do projeto são válidos em relação aos problemas a resolver e aos interesses dos atores envolvidos. Critérios de
coerência
Procuram indagar o grau de adequação entre as decisões sobre o funcionamento interno e o contexto externo do projeto.
Critérios de eficácia
Tentam diagnosticar os efeitos das decisões tomadas e em que medida os resultados obtidos correspondem aos objetivos fixados.
Critérios de eficiência
Analisam a relação entre os resultados constatados e os meios (financeiros, humanos, institucionais) mobilizados para os atingir. Critérios de
oportunidade
Visam apreciar em que medida as decisões foram tomadas em tempo útil, obtendo o máximo de efeitos desejados.
Neste momento é oportuno clarificar o significado do conceito de critérios e de indicadores de avaliação, já que são termos relacionados com a temática que vimos a desenvolver e constituem elementos incontornáveis para a avaliação de qualquer projeto curricular. Invocamos as definições de Capucha (2008, pp. 21, 56) por serem de caráter nacional e direcionadas para
153
avaliação de projetos: critérios de avaliação são “[…] parâmetros de interrogação dos projetos […] mais ou menos padronizados”; um indicador é uma “expressão quantitativa ou qualitativa da realidade observada” ou seja é o indicador que dá a objetividade necessária aos critérios de avaliação, como o próprio autor afirma “Os critérios de avaliação só ganham corpo desde que se traduzam em indicadores que permitam aferi-los” (idem, p. 48). No paradigma avaliativo tem-se verificado que os indicadores ou sistemas de indicadores em educação que utilizavam apenas dados relativos ao Input e aos Resultados têm sido progressivamente substituídos por formas mais complexas que incluem dados relativos ao Contexto e ao Processo, como acontece com os sistemas de indicadores da OCDE e que é consentâneo com Scheerens (2004, p. 93):
“[…] o modelo contexto→input→processo→output que foi igualmente utilizado para classificar as categorias de fatores examinados nas investigações sobre a eficácia da educação, é o esquema analítico mais adaptado para sistematizar a reflexão sobre os indicadores da educação”.
Ora, os indicadores da educação podem ser utilizados em três contextos avaliativos: ao nível da pilotagem, ao nível do controlo de programas ou de projetos e ao nível da autoavaliação. Por outro lado, num contexto de mundialização das atividade humanas, os indicadores de avaliação contribuem cada vez mais para a regulação dos sistemas educativos tanto ao nível local e regional como ao nível nacional e internacional, o que é reflexo, no caso da EpS, de políticas de saúde mundiais bem espelhadas nos indicadores de avaliação elaborados pela UNESCO e pela OMS. Cabe às escolas experimentar processos de referencialização que as capacitem a determinar os critérios e os indicadores mais relevantes a implementar para avaliação dos seus próprios projetos, como é defendido por Figari (1999, p. 152):
[…] insistindo na definição necessária de um sistema de referências em relação ao qual vão ser escolhidos os critérios e, consequentemente, os indicadores desta avaliação, procurando que este processo não se realize em função de um referencial normativo preexistente e fechado, mas antes em função de uma referencialização a construir”.
154
Na linha de Figari (1999) sustentamos que a construção de um quadro de referências deverá ser rigorosamente criteriosa o que, aplicando-se aos PEpS, fruto de uma política educativa atual, exige cientificidade dos seus indicadores ao nível dos seguintes critérios:
- pertinência, no que respeita às razões que justificam o projeto, isto é, que o tornam prioritário em relação a qualquer outro;
- coerência interna entre as finalidades, os objetivos, os focos de intervenção do projeto e o diagnóstico feito;
- eficiência, uma vez que só vale a pena planear as mudanças que forem possíveis, mesmo que difíceis.
Para que estes critérios possam ser convenientemente imputados ao projeto, é necessário planear, desde o início, a avaliação, pois como refere Capucha (2008, p. 45) “Em primeiro lugar, há que saber exatamente para que se pretende avaliar o projeto, quais são os objetivos da avaliação”. Normalmente é possível distinguir dois grandes objetivos: (i) a prestação de contas às entidades que financiam as intervenções e/ou que tutelam as entidades promotoras; (ii) a construção de mecanismos de autocorreção do projeto a partir daquilo que os agentes envolvidos aprendem sobre o que está a acontecer. Estes dois objetivos não são mutuamente exclusivos, sendo o mais comum que o processo de reflexão/aprendizagem aproveite os elementos recolhidos e tratados para efeitos de prestação de contas.
Sendo a avaliação uma área complexa e por si só também problemática devido ao seu caráter multifatorial e multidimensional, consideramos de todo o interesse investigar e refletir sobre as suas modalidades, fatores e dimensões. Refletir sobre que indicadores devem figurar nos instrumentos de avaliação, selecionar os critérios de avaliação mais relevantes para cada projeto, construir instrumentos de avaliação adequados às intenções e aos contextos e escolher os principais momentos de regulação, são apenas alguns dos problemas que atualmente se colocam a todos os PEpS. No campo do planeamento e da implementação de projetos, avaliar aspetos como o desenvolvimento de competências pessoais e/ou sociais, o grau de satisfação dos destinatários, o nível de participação dos envolvidos, a qualidade da formação, a eficácia, a
155
pertinência e a indução de mudanças no ambiente escolar, são fulcrais para verificar em que medida os resultados obtidos refletem as finalidades e as metas do projeto e constatar se os seus efeitos têm ou não repercussão na qualidade de vida da comunidade escolar. Pelo exposto consideramos que o rigor, a adequação ética, a exequibilidade e a utilidade são também critérios científicos que não podem deixar de estar presentes num modelo de avaliação inscrito na quarta geração. Secundamos De Ketele e Roegiers (1993) quando advogam que a avaliação com funções de orientação tem um papel capital pois, quanto mais tarde for levada a cabo a primeira avaliação, mais difícil se tornam as decisões a tomar e as modificações a efetuar. A avaliação de orientação informa-nos sobre as forças e fraquezas que teremos de contabilizar no desenho de um programa, de um projeto ou de uma ação (idem, p. 50): “processo de avaliação que conduz a uma decisão de orientar […] uma ação no seio de um determinado sistema […] em função do contexto, das necessidades, das caraterísticas e das prestações anteriores do sistema […]”.
De igual modo é necessário ponderar que num projeto existe uma escolha política e subsistem orientações sociais, logo sendo o objeto da nossa avaliação o PEpS, começámos por nos questionar sobre a avaliabilidade do objeto e sobre o referencial a escolher para encontrar um sentido na avaliação a que nos propusemos. Nesta linha reflexiva, consideramos o modelo CIPP, pelas suas dimensões e globalidade, um dos mais apropriados para a avaliação qualitativa de projetos em contexto escolar, pois sendo um modelo de quarta geração, naturalista, é na aceção de Bonniol e Vial (2001), um modelo claramente de gestão em que avaliar é, essencialmente, intervir no sentido de aportar uma mais-valia à prática.