Adaptive Arithmetic Coding

À vista do considerado avanço do campo da avaliação observado nas últimas décadas, bem como de seu impacto, enquanto julgamento do mérito e do valor de uma política, programa, projeto ou instituição, aflora entre os avaliadores, demandantes e/ou interessados, a preocupação acerca da validade e da idoneidade dos processos avaliativos. Este movimento ocorre, sobretudo, no contexto norte americano, onde esta prática se instaura profissionalmente.

Neste processo a Joint Committee on Standards for Education

Evaluation1 e a American Evaluation Association (AEA) 2, se constituem em

1

O Joint Committee é uma coligação de grandes associações profissionais dos Estados Unidos e do Canadá que foi criada em 1975, mediante uma preocupação comum com a

associações de avaliadores que se destacam na preocupação com a profissionalização e a qualificação da avaliação, e, sobretudo, com o estabelecimento das normas, princípios e padrões que deliberam sobre os critérios que devem ser observados pelos avaliadores para que estes produzam o que, neste contexto, se considera de boas práticas avaliativas.

Estas normas, princípios e padrões adquirem centralidade na obra de Scriven (2015), considerado o primeiro a utilizar o termo meta-avaliação para definir qualquer avaliação de avaliação, sistema de avaliação ou dispositivo de avaliação. Sua preocupação consistia em utilizar procedimentos de avaliação para avaliar: primeiro os procedimentos teórico-metodológicos de uma avaliação e, segundo, os seus aspectos práticos, ou seja, avaliar seu desempenho. O que Souza (2016) chama de performance.

O interesse que perpassa a proposição de Scriven (1969) seria o estabelecimento de padrões, teóricos e metodológicos avaliativos mínimos, socialmente reconhecidos entre os avaliadores e consumidores de uma avaliação, governamentais e/ou não governamentais, que pudessem ser utilizados para aferir sua qualidade e confiabilidade.

Ressaltamos que esta discussão de Scriven (2015), como reforça Souza (2016), tem seu cerne na política educacional. É também neste campo que este autor concentra a maior parte de sua produção e desenvolve e aplica seus conhecimentos da meta-avaliação, inclusive com a construção de uma proposta de Cheklist3, direcionada empregar os critérios elencados nas normas

qualidade da avaliação. Esta tem publicado três conjuntos de normas para a avaliação que hoje são amplamente reconhecidas: O pessoal padrões de avaliação (2ª Ed.); O programa padrões de avaliação (3ª Ed.); Normas de avaliação da sala de aula para professores PreK-12. Suas normas são os únicos padrões educacionais certificados pela American National Standards Institute (ANSI). Para maior aprofundamento ver: http://www.jcsee.org/. 2

A American Evaluation Association (AEA) é uma associação profissional de avaliadores dedicada à aplicação e exploração de programas de avaliação, avaliação pessoal, tecnologia e muitas outras formas de avaliação. Possui cerca de 7100 membros representando todos os cinquenta Estados dos Estados Unidos da América bem como de mais de sessenta países estrangeiros. Sua Missão: melhorar as práticas e métodos de avaliação, aumentar o uso da avaliação, promover a avaliação como uma profissão e apoiar a contribuição da avaliação para a geração de teoria e conhecimento sobre a uma ação humana eficaz. Sua Visão: promover uma comunidade inclusiva, diversificada e de prática internacional, posicionada como uma respeitada fonte de informação sobre e para o campo da avaliação. Tem como Valores: valores de excelência em práticas de avaliação, utilização dos resultados da avaliação e a inclusão e a diversidade na comunidade de avaliação. Para maiores informações consultar: http://www.eval.org/p/cm/ld/fid=4

3

A Key Evaluation Checklist foi criada por Scriven (1969), mas aplicada por outros autores. Nela, a avaliação objetiva verificar a utilização de conceitos de avaliação, seus padrões e métodos. Esta se constitui em lista com questões contendo a descrição da avaliação, do

da Joint Committee e os princípios da AEA, na avaliação das avaliações dos espaços escolares.

Como um modelo de avaliação particular, a meta-avaliação, em seus moldes mais gerais, vivencia em sua construção e desenvolvimento, os impasses paradigmáticos e as imprecisões conceituais que notadamente vêm marcando os debates acerca da avaliação de políticas públicas.

Neste aspecto, é preciso considerar que, em uma realidade como a nossa, onde as relações que se estabelecem entre o capital e o trabalho se sustentam na desigualdade e no confronto entre diversas visões de mundo, a meta-avaliação não é uma prática vazia de significados. Ela é expressão de seu tempo histórico, portanto, no cenário do capitalismo contemporâneo, notadamente de cunho neoliberal, se legitima influenciada por perspectivas mais restritas de avaliação, ou seja, mais direcionadas à regulação e ao controle das políticas públicas que ao seu aprimoramento e ampliação.

Como consequência, até a compreensão do que é ou não finalidade avaliativa da meta-avaliação é um desafio que se coloca para esta prática no tempo presente, principalmente, quando, na maioria das vezes, os objetivos avaliativos se formatam avessos às necessidades de aprimoramento e ampliação dos serviços sociais e da construção de um aparato teórico e metodológico, ético-político e cultural que nos permita pensar esta prática sobre uma perspectiva mais ampla que se organize para além de sua funcionalidade para a (re)produção do capital.

Dito de outra forma: que possibilite questionar os fundamentos ideológicos, éticos e políticos da prática avaliativa da meta-avaliação em sua função de regulação e controle, revelar suas contradições e, a partir de então, buscar construir alternativas mais democráticas e participativas que contribuam para o aperfeiçoamento das políticas públicas na direção de um maior atendimento às demandas por serviços dos segmentos mais populares.

Notadamente nas proposições de Scriven (1969), a grande questão que se coloca para a meta-avaliação é a de verificar em que medida uma avaliação atende aos critérios avaliativos estabelecidos pelos padrões, normas e princípios da Joint Committée e da AEA. Neste sentido, a avaliação

cliente, dos recursos avaliáveis, padrões, processos, resultados, recomendações, etc. Para maior aprofundamento ver: http://www.michaelscriven.info/images/KEC_3.22.2015.pdf

desenvolvida pode ser considerada acrítica, pois está restrita ao trabalho de identificar e descrever uma dada avaliação a partir de padrões pré- estabelecidos, e não em questionar seus fundamentos, ou seja, em questionar as concepções e visões de mundo que servem de referência para emitir sobre esta um juízo de valor e de mérito, para definir o que é uma boa ou má avaliação.

Cabe salientar que o recurso ao estabelecimento de padrões, normas e princípios para regular os processos de avaliação de políticas, programas, projetos e instituições tem sido uma prática presente no processo histórico de construção da avaliação de políticas públicas e, também, da meta-avaliação.

No âmbito das políticas educacionais para o ensino superior, no Brasil, esta padronização, atualmente, acontece por meio do Sistema Nacional de Avaliação da Educação do Ensino superior – SINAES e o seu acompanhamento é efetuado por meio do INEP/MEC, a partir da utilização da avaliação interna, externa, de cursos e do desempenho dos alunos, inclusive com o uso de instrumentos como o checklist, este último direcionado a verificar quais das orientações desta lei foram ou não observadas pelas ações institucionais e aferir, sobre estes resultados, o valor e o mérito de uma instituição, ou seja, atribuir-lhe um conceito que exprima uma dita qualidade.

Na discussão apresentada por Lopes (2013), via de regra, a meta- avaliação teria dois significados, um fundamentado em autores clássicos como Scriven (1969) e Stufflebean (2001) que prevê a aplicação imediata do conceito a partir da elaboração e da aplicação direta de checklists; outro mais amplo e geral, que contempla referências e explicações de caráter axiológico, ideológico e epistemológico da avaliação.

Na visão de Diaz (2001), o momento da aplicação direta dos checklists na meta-avaliação se constrói tendo como fundamento um enfoque mais restrito e limitado aos processos e aos resultados das avaliações, por isto, tende a direcionar-se mais ao controle dos processos avaliativos e da capacidade técnica dos avaliadores. Dito de outra forma: a aplicação de

checklists tem considerável papel na definição do que avaliar, do como avaliar,

bem como do para que e para quem avaliar.

Para este autor, o rigor metodológico atribuído, neste caso específico, à

avaliação e para a produção de conhecimentos dos aspectos mais gerais da realidade, sobretudo, quando o que está em pauta são os estudos autoavaliativos,

Tiene, sin embargo, algunas ventajas importantes. Se propricia la construcción de instrumentos estructurados y bastante precisos para el levantamiento de datos y la elaboración de la información. Clave dentro de estos son las listas de comprobación (checklists) de critérios y de variables objeto de la (meta)evaluación. Outra ventaja es que la sencillez y el potencial desarollo de destrezas em el manejo de los instrumentos, admitem su adoción y uso como una técnica para la auto-evaluación (Díaz, 2001, P. 176).

Para nós, esta meta-avaliação mais aligeirada e restrita à qual se reporta Diaz (2001), pode até, se considerarmos a dimensão quantitativa dos dados, agregar a esta atividade elementos que contribuam para o desenvolvimento técnico e instrumental do estudo avaliativo, mas, ao mesmo tempo, esvaziam- no do significado ético, político e ideológico necessário à apreensão teórico- metodológica mais ampla e qualitativa do(s) significado(s) que estes passam a ter em dada avaliação, sobretudo se considerarmos que, neste campo, a atribuição do valor e do mérito é uma construção social formatada por múltiplas e complexas determinações.

Isto explica o porquê de Díaz (2001) considerar importante inserir a meta-avaliação no universo das explicações de caráter axiológico, ideológico e epistemológico de uma avaliação. Em seu entendimento, meta-avaliar é um processo social de aprendizagem cujo objetivo está em compreender, não só a dimensão técnica, mas também, ética e política e interpretar a avaliação, desta forma, pressupõe retroalimentação e aprendizagem acerca do processo avaliativo.

Neste sentido, é preciso que a meta-avaliação se direcione a apreender a avaliação para além dos seus resultados, ou seja, a analisá-la a partir da totalidade de seus múltiplos e complexos determinantes, considerando: "los valores en juego; las actitudes y la conducta del evaluador y de los afectados; la metodología, la lógica y la estrutura; la estética: los aspectos formales de la presentación y el estilo, y los lingajes y la codificación" (Ibdem, p. 177).

A partir do exposto por Díaz (2001) é possível compreender que a definição do que avaliar, do como avaliar, para que avaliar e para quem avaliar vai além de uma mera formalidade técnica e metodológica, antes expressam intencionalidades que se constroem a partir da uma perspectiva neoliberal de avaliação, na qual se destaca o avaliar para eficiência e eficácia, para a produtividade e para racionalização dos recursos, também no campo das avaliações das instituições educacionais.

É por isto que, em nosso entendimento, adentrar o universo dos valores, da ideologia, da dimensão ética e política de uma avaliação é tão importante para a compreensão das suas possibilidades e limites no âmbito das instituições de ensino superior, dentre estas, da Universidade Federal do Rio Grande do Norte, como buscaremos mostrar no decorrer deste trabalho.