Concept d’agent

A metodologia de process tracing busca a identificação e observação de mecanismos e variáveis que fazem parte de um processo. No caso desta dissertação, o processo é a institucionalização da avaliação de políticas públicas no domínio da educação básica.

A perspectiva de processos desta metodologia, bem como a lógica de arranjos temporais dos modelos de múltiplos fluxos (KINGDON, 1995) e da lata de lixo (COHEN;

120 MARCH; OLSEN, 1972; MARCH, 1994), demandam a identificação das variáveis e seu comportamento em recortes temporais. Considerando-se a importância do fluxo das políticas, como sugerido por Kingdon (1995), bem como sua sugestão de que os agentes mais relevantes no processo de políticas públicas são o Presidente da República e aqueles que se reportam a ele, os recortes temporais foram feitos com base nos diferentes mandatos presidenciais e regimes políticos, desde a criação do Ministério da Educação e da Saúde Pública, em 1930, até o período atual. A nomenclatura utilizada inspirou-se em Fausto (2001).

Período de até

Estado Getulista 3 de novembro de 1930 29 de outubro de 1945 Período Democrático 29 de outubro de 1945 31 de março de 1964 Regime Militar 31 de março de 1964 15 de março de 1985 Redemocratização 15 de março de 1985 31 de dezembro de 1994

FHC 1995 2002

Lula 2003 Presente

Quadro 3 – Recortes temporais

6.3.3.1 Operacionalização da variável dependente

A variável dependente foi analisada a partir do conceito de sistemas avaliativos desenvolvido por Leeuw e Furubo (2008), da qual derivou a definição de institucionalização da avaliação utilizada nesta dissertação.

Critério 1: perspectiva epistemológica distintiva Critério 2: responsabilidade organizacional Critério 3: permanência

Critério 4: foco no uso determinado da avaliação Quadro 4 – Critérios para identificação de sistemas avaliativos Fonte: Leeuw e Furubo (2008).

O critério 1, perspectiva epistemológica distintiva, foi operacionalizado a partir da observação das normas referentes à educação básica e, em especial, à avaliação educacional. Buscaram-se, na legislação, referências ao objeto, propósitos e metodologias das avaliações.

121 Também foram procuradas referências a atividades semelhantes ou que sirvam de instrumentos à avaliação, como pesquisa social e educacional ou levantamentos estatísticos.

Para a análise do critério 2, a responsabilidade organizacional, buscou-se por referências sobre as atribuições do Ministério da Educação (MEC), do Instituto Nacional de estudos Pedagógicos (INEP), e também do Fundo Nacional de Desenvolvimento da Educação (FNDE). Também observou-se a existência de estruturas organizacionais (secretarias, diretorias, departamentos ou coordenações) responsáveis por realizar avaliações ou elaborar diretrizes avaliativas).

Quanto ao critério 3, considerou-se que a própria referência à avaliação na legislação é indicador da permanência da prática da avaliação. Também se observou a existência de programas ou ações relativos à avaliação no Plano Plurianual (PPA), bem como a continuidade no fluxo de recursos para essas ações. Do mesmo modo, a perenidade de estruturas organizacionais também é indicador para este critério.

Por fim, para a análise do critério 4, que se refere à utilização da avaliação, procurou-se por referências a diretrizes sobre como a avaliação (bem como pesquisas e estatísticas) eram utilizadas, especialmente se havia recomendações para que a ação governamental se pautasse nesses instrumentos.

A legislação analisada foi levantada a partir de pesquisa nas seguintes bases:

 ProLEI (http://www.prolei.inep.gov.br/);  MEC Legis (http://meclegis.mec.gov.br/);

 Presidência da República (http://www.presidencia.gov.br/legislacao/); e  Rede de Informação Legislativa e Jurídica (http://www.lexml.gov.br/).

Foram selecionados os instrumentos normativos que disciplinam e orientam conteúdos relacionados à avaliação em projetos, políticas e atividades relativas à educação básica, no contexto federal, entre os quais: Constituições, leis, decretos, decretos-lei, portarias e resoluções. O escopo temporal foi de 1930, ano da criação do MEC, a agosto de 2010.

Para a busca da legislação nas fontes citadas, foram utilizadas palavras-chave como: avaliação, avaliação da educação, avaliação educacional, estatística, pesquisa educacional. Entre os normativos que retornaram à pesquisa, analisaram-se aqueles cuja ementa fazia

122 referências à educação básica, ignorando-se aqueles que tratavam somente da educação superior. Por fim, nem todos os instrumentos analisados traziam de fato referências à avaliação, pesquisa ou estatísticas da educação básica, de modo que o último filtro foi realizado com a ajuda de um cadastro, com o objetivo de levantar informações sobre o órgão a que a legislação se referia, sobre o objeto do normativo, se tratava ou não da estrutura e atribuições dos órgãos e, sobre o que especificamente falava a respeito da avaliação, pesquisa ou estatísticas educacionais. O formulário utilizado está reproduzido no Apêndice A. Ao final, foram identificados 118 instrumentos normativos que forneceram subsídios para a análise. Esses normativos estão especificados em cada um dos períodos analisados.

Para complementar a observação da institucionalização, considerou-se as seções da Revista Brasileira de Estudos Pedagógicos (RBEP). A partir do índice da Revista, observou- se o crescimento da relevância da avaliação a partir de sua presença como título de seção.

6.3.3.2 Operacionalização das variáveis independentes

As variáveis que influenciam a institucionalização da avaliação, especificadas acima no Quadro 2 e reproduzidas abaixo, são quatro. Esta seção trata da operacionalização de cada uma delas.

 Contexto (V1)

 Ideias e instituições informais (V2)

 Empreendedores políticos (V3)

 Instituições formais e estrutura organizacional (V4)

Contexto

Em relação a V1, foi observada a evolução demográfica da população na faixa etária

entre 5 e 14 anos e o número de matrículas no ensino primário e fundamental (conforme nomenclatura do período). Inicialmente, a intenção era utilizar a população entre 7 e 14 anos, de modo a calcular a evolução da taxa de frequência bruta a esse nível de ensino. Entretanto, as séries históricas disponíveis traziam, em sua maioria, o montante populacional agregado:

123 população entre 5 e 9 anos e população entre 10 e 14. Optou-se, portanto, por utilizar a faixa etária entre 5 e 14 anos, observando-se não mais a taxa de frequência bruta, mas simplesmente a relação entre o número de matrículas no nível de ensino em questão e a população nessa faixa etária, que será chamada, por conveniência, de taxa de frequência.

Os dados sobre população e matrícula foram levantados com base em informações do IBGE (especialmente o Banco de Dados Séries Estatísticas & Séries Históricas), e do INEP.

Ideias e instituições informais: problemas, soluções e valores

V2, ideias e instituições informais, foi operacionalizada a partir do discurso dos

agentes relevantes no processo de institucionalização da avaliação, no âmbito do governo federal. Com base em Kingdon (1995), optou-se por analisar o conteúdo do discurso da Presidência da República e do INEP a partir das seguintes fontes:

 Conteúdo sobre educação das Mensagens ao Congresso Nacional, encaminhadas pelo Presidente da República, na abertura de cada sessão legislativa;

 Editoriais da Revista Brasileira de Estudos Pedagógicos, publicação oficial do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP.

O objetivo foi analisar a evolução do discurso oficial (INEP/MEC, por meio da RBEP, e da PR) a respeito dos principais problemas e alternativas relativos à educação e, quando possível, à avaliação da educação básica, além dos valores manifestados por esses discursos.

A partir da hipótese de que a avaliação é um instrumento para a melhoria da qualidade na educação, categorizou-se avaliação como uma solução e a questão da qualidade como um problema (KINGDON, 1995). À categoria das soluções, analisaram as referências à pesquisa social e educacional e a estatísticas, na lógica de que também serviriam como uma alternativa para lidar com os problemas identificados. Quanto aos problemas, também foram analisadas referências à questão do acesso e universalização, um dos principais problemas apontados na área da educação ao longo do século XX.

124 A partir da revisão de literatura sobre concepções de avaliação, as referências sobre avaliação foram analisadas com base em quatro critérios, principais:

 Objetivos e propósitos da avaliação;  Objeto da avaliação;

 Metodologias; e

 Utilização da avaliação

Ao o que Kingdon (1995) classifica como fluxo de problemas e de soluções, Schmidt (2008) chama de ideias cognitivas. A autora ainda faz referência às ideias normativas, que seriam as instituições informais (DENZAU; NORTH, 1993; MANTZAVINOS, NORTH e SHARIQ, 2004; MARCH, 1994). Nesse sentido, levantaram-se, nas fontes analisadas, informações a respeito dos valores presentes no discurso dos agentes. Entretanto, para a categoria dos valores não se elaborou classificação prévio, sendo construída ao longo da análise dos documentos.

A análise dos documentos citados foi realizada com a ―aplicação da informática na análise dos dados‖ (Computer Aided Qualitative Data Analysis – CAQDAS) (LAGE; GODOY, 2008). Utilizou-se como ferramenta o QSR NVivo, versão 8.0. Com o auxílio do software, foi realizada a análise dos discursos e a categorização das referências, em cada um dos recortes temporais especificados.

A categorização foi feita a partir dos tree nodes, ou classificação hierárquica. Os parental nodes foram três: problemas, soluções e valores. Cada um desses nodes compunha- se de uma série de child nodes, que por sua vez podem ter seus próprios child nodes.

A Figura 8 mostra algumas dessas categorias de classificação, conforme layout do programa. As categorias utilizadas para categorização dos Editoriais e das Mensagens foram semelhantes, apenas com algumas especificidades, conforme a natureza da fonte. Esses detalhes estão no Apêndice B e no Apêndice C.

125 Figura 8 – Categorias utilizadas para análise dos Editoriais da RBEP e das Mensagens Presidenciais, no layout do QSR NVivo 8.0

Foi observado, em cada Editorial da RBEP e Mensagem Presidencial o conteúdo do discurso compatível a cada uma dessas categorias. A partir daí, analisou-se o número de referências em cada uma dessas categorias (nodes), bem como o percentual de cobertura dessa referência no texto.

Vale ressaltar que todo conteúdo codificado em um child node foi também codificado nos níveis acima. Por exemplo, em relação à codificações relativa à avaliação, o conteúdo codificado como sistemas educacionais foi codificado também em objeto; todo o conteúdo codificado em objeto também o foi em avaliação, por sua vez categorizado em soluções e alternativas.

Por fim, analisou-se a convergência em cada fonte e período das várias categorias. Por exemplo, observaram-se quantas referências tratavam ao mesmo tempo de soluções e problemas; de avaliação e qualidade.

126 Quanto aos agentes de mudança ou empreendedores (V3), utilizou-se como fonte

publicações especializadas, de modo a ver o reconhecimento que se dá à participação de agentes específicos no processo de institucionalização da avaliação da educação básica. Dentre as características que se buscará nesses agentes está o protagonismo de sua atuação, o acesso a recursos (financeiros, políticos ou organizacionais), sua capacidade de sua mobilização e de enquadrar e compatibilizar diversos discursos à ação (KINGDON, 1995; SCHMIDT, 2008). O papel dos empreendedores foi apresentado somente na seção Discussão dos Resultados.

Instituições formais e estruturas organizacionais

Embora a legislação, entendida como instituição formal, tenha sido analisada como indicador da variável dependente, ela também tem seu papel na restrição do comportamento dos agentes (NORTH, 1991).

Nesse sentido, em relação a V4, foi realizado um levantamento da evolução das

normas (instituições formais), a partir da análise de leis, decretos e portarias relativas à educação, além dos textos constitucionais, de modo a observar, em cada um dos recortes temporais especificados:

 Prerrogativas do MEC e do INEP em relação à política educacional;  Distribuição de responsabilidades e competência;

 Estrutura organizacional.

Primeiro, as prerrogativas e atribuições de cada órgão determinam legalmente o que deve e, no contexto do direito administrativo, o que pode ser feito pelas entidades da administração pública. Segundo, a estrutura organizacional reflete a capacidade organizacional para a realização de determinadas tarefas – no caso, avaliações, levantamentos e pesquisa educacional.