Key concepts of the research

Conforme a Lei 10.861/2004, que instituiu o Sinaes (Art. 5º), a avaliação de desempenho dos estudantes dos cursos de graduação é realizada por meio da aplicação de uma prova intitulada Enade, que substituiu o ENC ou Provão, para fins de:

[...] aferir o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas Diretrizes Curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento” (BRASIL, 2004a, p. 2).

O Enade é, portanto, o terceiro elemento ou “pilar” do Sinaes para a realização do processo avaliativo nacional e versa sobre os conteúdos curriculares previstos nas DCN. Assim, os cursos que ainda não possuem DCN estabelecidas, não realizam o Exame. A periodicidade para ocorrência da prova para uma mesma área é trienal, sendo operacionalizado por meio de quatro instrumentos de coleta de dados: (a) a prova; (b) o questionário de impressões sobre a prova; (c) o questionário do estudante (inicialmente denominado de socioeconômico); e (d) o questionário aplicado aos coordenadores de cursos.

Esse Exame manteve as seguintes características presentes no ENC: (a) é um componente curricular obrigatório, registrado no histórico acadêmico do aluno; (b) a divulgação dos resultados para a sociedade ocorre por curso de uma dada instituição, sendo que o resultado individual é disponibilizado apenas para o aluno que realizou a prova; (c) os melhores desempenhos por área do conhecimento são agraciados com bolsas de estudo em pós- graduação; (d) os instrumentos de coleta de dados utilizados por ocasião do exame permitem a obtenção de informações sobre o aluno, o curso e a IES (GRIBOSKI, 2015)

A partir da implantação do Sinaes, em 2004, o Enade passou a integrar a avaliação de cursos e instituições e a expressar o desenvolvimento da “aprendizagem dos estudantes ingressantes e concluintes dos cursos de graduação, em consonância com as Diretrizes Curriculares Nacionais” (DCN) para os cursos ofertados (GRIBOSKI, 2012, p.180).

O primeiro Manual do Enade foi editado em 2004, contendo: Lei do Sinaes, cópia da Portaria MEC 2051, de 09 de julho de 2004, explicitação dos objetivos do Exame, os quais estão direcionados à melhoria da qualidade da educação superior, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social, e especialmente, à promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional (INEP, 2004a, Art. 1º).

Além disso, o Manual trouxe, também, cópia da Portaria MEC 1606, de 01 de junho de 2004 (MEC, 2004b), que estabeleceu os Cursos que seriam avaliados no primeiro ano: Agronomia, Educação Física, Enfermagem, Farmácia, Fisioterapia, Fonoaudiologia, Medicina, Medicina Veterinária, Nutrição, Odontologia, Serviço Social, Terapia Ocupacional e Zootecnia. As edições de Manuais do Enade ocorreram de 2004 até 2016 e, sendo que o Inep

anunciou, em 2017, que descontinuaria a publicação dos manuais e que todas as informações pertinentes ao Exame, anualmente, constariam do seu Edital.

A normatização do Enade, aplicado anualmente, é composta por: (a) Lei 10861/2004, que instituiu o Sinaes (BRASIL, 2004a); (b) uma Portaria específica do MEC/INEP, editada a cada ano, contendo as diretrizes da prova para cada área: (c) Decreto 5773/2006 (BRASIL, 2006); (d) PN 40/2007 (BRASIL, 2007e), que instituiu o cadastro eletrônico de processos (pelo sistema e-MEC) e consolidou as disposições sobre IQ, o Banco de Avaliadores do Sinaes (Basis) e o Enade (BRASIL, 2007). No final de 2017, o Decreto 5773/2006 foi revogado pelo Decreto nº 9.235, de 15 de dezembro de 2017 (BRASIL, 2017d) e a PN 40/2007 foi alterada pela PN 23/2016 e, posteriormente, revogada pela PN 22/2017, datada de 21 de dezembro de 2017 (MEC 2017f). Mais recentemente foi editada a Portaria 840/2018, de 24 de agosto de 2018, dispondo sobre os procedimentos de competência do Inep referentes à avaliação de instituições de educação superior, de cursos de graduação e de desempenho acadêmico de estudantes, republicada pela edição do D.O.U. 169, de 31.08.2018, em virtude de ter saído na edição 165, de 27 de agosto de 2018, com incorreção (MEC, 2018). Desde sua criação, o Enade passou a ser um componente curricular obrigatório dos cursos de graduação, tendo a sua data de realização (ou de dispensa oficial pelo MEC) inscrita no histórico escolar dos estudantes, para fins de declaração da situação de regularidade com relação a essa obrigação. Sua aplicação é acompanhada de instrumento destinado a levantar o perfil dos estudantes, aspecto relevante para a compreensão de seus resultados (INEP, 2015).

Diante do exposto, emerge a compreensão de que o Enade constitui-se em uma ferramenta avaliativa importante para estudantes, professores, cursos e instituições, pois, por meio desse dispositivo, o Brasil se destaca como um país que aplica um exame nacional de caráter obrigatório aos estudantes concluintes dos cursos de ensino superior (VERHINE; DANTAS; SOARES, 2006).

O Enade corresponde ao indicador de qualidade que possui maior peso na sistemática do Sinaes, pois seus resultados influenciam diretamente o Conceito Preliminar do Curso (CPC) e, consequentemente, o índice Geral de Cursos (IGC). O CPC é constituído de oito componentes, que se encontram agrupados em três dimensões destinadas a avaliar a qualidade dos cursos de graduação: (1) desempenho dos estudantes; (2) corpo docente; (3) condições oferecidas para o desenvolvimento do processo formativo. O IGC é uma média

ponderada das notas contínuas de CPCs e dos conceitos Capes dos programas stricto sensu da Instituição. A ponderação é feita a partir do total de estudantes nos referidos níveis de ensino.

A orientação para os cálculos desses indicadores, acima especificados, vem sofrendo ajustes a cada ano. Os ajustes de 2014, divulgados pelo Inep em dezembro de 2015, seguiram as Notas Técnicas: NT-DAES/INEP 57/2015, para o Enade; NT-DAES/INEP 58/2015, para o CPC; e NT-DAES/INEP 59/2015, para o IGC (INEP, 2015a; 2015b; INEP, 2015c), cujo detalhamento integra o Capítulo 2.

Em conformidade com o último Manual do Enade (INEP, 2016a) são componentes desse Exame: a prova; o questionário do estudante respondido previamente ao dia da prova; o questionário de impressões dos estudantes sobre a prova, que é preenchido no dia do exame; e o questionário do coordenador do curso, que objetiva obter informações dos coordenadores sobre as questões do Exame, em relação aos conteúdos e quanto ao formato da prova. A partir dos resultados anuais são emitidos os seguintes documentos pelo Inep: Boletim de Desempenho do Estudante; Relatório do Curso; Relatório da Área; Relatório da Instituição e Resumo Técnico, conforme estabelece o Inep, em seu sítio eletrônico.

O Enade, realizado anualmente sob a responsabilidade do Inep e orientação da Comissão Nacional de Avaliação da Educação Superior - Conaes, conta com o apoio técnico de Comissões Assessoras de Área, considerando os cursos constantes no ciclo avaliativo trienal, que corresponde à periodicidade do exame aplicado a cada área.

Para o ano de 2018, o Edital do Enade (nº 40/2018) foi publicado no D.O.U. nº 119, de 22 de junho de 2018, determinando que seriam inscritos os alunos ingressantes e concluintes dos cursos integrantes do ciclo avaliativo anual, bem como os estudantes na condição de irregulares. O citado Edital informa que: (1) são considerados ingressantes os estudantes que iniciaram o respectivo curso no ano de edição da prova, devidamente matriculados, e que tenham cumprido de zero a 25% da carga horária mínima do currículo do curso; (2) estudantes concluintes são aqueles que têm expectativa de conclusão do curso até julho de 2019 ou que tenham cumprido 80% ou mais da carga horária mínima do currículo do curso; (3) alunos irregulares são aqueles que, mesmo habilitados ao Exame de anos anteriores, mas não foram inscritos pelas sua IES de origem ou, se inscritos, não compareceram à prova e não se beneficiaram por dispensa oficial concedida pelo Inep (INEP, 2017j).

A partir do ano de 2008, o estudante ingressante passou a ser dispensado dessa prova e o seu desempenho passou a ser obtido por meio da prova do Exame Nacional do Ensino

Médio - Enem. O estudante irregular também não realiza a prova; sua inscrição objetiva o registro no sistema que, uma vez processado, sana a irregularidade (INEP, 2008).

Os cursos de graduação de todas as IES participantes do SFE, possuidores de DCN, são distribuídos em grupos de vinculação, que recebem as denominações: verde, azul e vermelho. O grupo verde (ano I) correspondendo aos bacharelados nas áreas de saúde, agrárias e afins, foi avaliado nos anos de 2004, 2007, 2010, 2013 e 2016. O grupo azul (ano II), composto pelos bacharelados enquadrados nas áreas de ciências exatas e afins e licenciaturas nessas áreas, participou do Enade em 2005, 2008, 2011, 2014 e 2017. E o grupo vermelho (ano III), formado pelos bacharelados nas áreas de ciências sociais aplicadas, humanas e afins, integrou o Enade dos anos de 2006, 2009, 2012 e 2015 (SINAES, 2015), já divulgados, e o de 2018, ainda aguarda divulgação dos resultados individuais.

A base de cálculo do conceito Enade vem sofrendo ajustes ao longo das edições desse Exame e, para melhor entendimento dos componentes da fórmula de cálculo, pelas IES e pela sociedade, o Inep divulga Notas Técnicas que mostram a decomposição das fórmulas. O cálculo leva em conta: (a) a Nota do Indicador de Diferença de Desempenho (NIDD); e (b) o desempenho dos concluintes.

A PN-MEC nº 23, de 20 de dezembro de 2016, que foi reeditada com mesmo número em 2017, datada de 21.12,2017, publicada no D.O.U. 245 de 22 de dezembro de 2017, revogando vários dispositivos legais, dentre eles a PN-MEC nº 40/2007 (republicada em 2010), estabeleceu que o conceito Enade, seria calculado “a partir dos resultados dos estudantes concluintes no Exame, com referência à sua respectiva área de avaliação no Exame” (MEC, 2016, p. 1).

A referida PN-MEC nº 23/2016, informa que esses IQ, calculados no ano subsequente ao da realização do Enade, “com metodologias próprias descritas em documentação técnica elaborada pelo Inep, fazendo uso de resultados do Enade e de insumos constantes nas bases de dados de órgãos vinculados ao MEC” (MEC, 2016, p.2).

Além dos conceitos do Enade, passaram a ser divulgados pelo Inep, anualmente, os resultados referentes ao IDD, indicador desenvolvido para captar o valor agregado do curso, representando a diferença entre o desempenho médio dos concluintes de um curso e o desempenho médio estimado para os concluintes desse mesmo curso.

O IDD é “um indicador de qualidade que mede o valor agregado ao desenvolvimento dos estudantes concluintes, considerando seus desempenhos no Enade e suas

características de desenvolvimento ao ingressar no curso de graduação avaliado”, conforme descreve a NT nº 33/2017/CGCQES/DAES. (INEP, 2017i, p.1).

De acordo com o portal do Inep, a nota do IDD (NIDD) busca mensurar o valor agregado pelo curso ao desenvolvimento dos estudantes concluintes, considerando seus desempenhos no Enade e no Enem, como medida proxy (aproximação) das suas características de desenvolvimento ao ingressar no curso de graduação avaliado. A Nota do IDD (NIDD) vem sendo aperfeiçoada e, desde 2014, o cálculo ocorre para cada indivíduo que tenha participado do Enade e do Enem, recuperando-se os resultados do mesmo estudante nos dois exames a partir do número do CPF. Até 2015, a NIDD não era divulgada individualmente, figurando apenas como componente do Conceito Preliminar do Curso (CPC). Porém, passou a ser liberada, uma vez que representa a estimativa da parte do desempenho do estudante concluinte, decorrente da qualidade das condições de oferta no processo formativo do curso, indicando características de destaque no curso, que pode ser utilizada na análise institucional, como um ponto relevante a ser considerado ou um indicativo de necessidade de melhoria para aqueles cujos escores não se enquadram dentro dos referenciais pré-definidos (IKUTA, 2016).

Para Bittencourt et al (2008), o surgimento do IDD foi motivado pelo fato do perfil dos ingressantes variar entre os cursos e entre as IES, fazendo com que as notas dos concluintes reflitam essas desigualdades. Na fase de ajustes foram utilizadas diferentes variáveis, como desempenho de ingressantes e de concluintes, utilizando resultados do Enem e do Enade, nível de escolaridade dos pais dos ingressantes, razão entre o número de concluintes e ingressantes, entre outras, de acordo com o perfil de um mesmo curso. Porém, após a edição da NT nº 33/2017/CGCQES/DAES, o formato dos cálculos foi modificado, de modo que o cálculo do IDD é realizado por código de curso e considera as seguintes informações:

(a) número de estudantes concluintes, participantes do Enade; (b) desempenho geral dos estudantes concluintes no Enade;

(c) desempenho dos estudantes no Enem nas áreas de Ciências da Natureza, Ciências Humanas, Linguagens e Códigos e Matemática de suas Tecnologias;

(d) número de estudantes concluintes participantes do Enade com nota do Enem recuperada para o cálculo do IDD (INEP, 2017i).

São requisitos para que um curso tenha o IDD calculado: (a) Possuir, no mínimo, 2 (dois) estudantes concluintes participantes do Enade com dados recuperados da base de dados do Enem no período entre o ano de ingresso no curso avaliado e os 3 (três) anos anteriores; (b)

Atingir 20% (vinte por cento) do total de estudantes concluintes participantes com dados recuperados da base de dados do Enem.

Para tratar do desempenho dos concluintes o MEC edita uma Portaria que fornece as especificações do Exame para os cursos participantes do ciclo trienal. Com a finalidade de embasar a primeira versão do Enade, em 2004, foi editada a Portaria 1606, de 01 junho de 2004, explicitando os cursos que seriam avaliados e a Portaria MEC 2051, de 09.07.2004, regulamentando os procedimentos de avaliação do Sinaes, incluindo as competências da Conaes, os procedimentos inerentes à avaliação externa, com as informações e documentos exigidos na verificação, a responsabilização das IES quanto aos procedimentos de inscrição de alunos, dentre outros aspectos importantes relativos ao processo.

Em relação ao cálculo do conceito Enade, também têm ocorrido ajustes. Inicialmente, o Inep considerou, com fulcro na Portaria 107/2007, de 22.07.2007, como estudantes “ingressantes” aqueles que concluírem, até a data inicial do período da Inscrição, entre 7% a 22% (inclusive) da carga horária mínima do currículo do Curso da IES e como “concluintes” aqueles que tiverem concluído, 80% ou mais da carga horária mínima do curso, até a data inicial do período da inscrição. Ocorre que esse procedimento foi modificado pela versão inicial da Portaria Normativa 40/2007, que estabeleceu como ingressante o aluno com matrícula no ano de realização do exame e, posteriormente, em 2014, quando passou a considerar ingressante o aluno detentor de até 25% da carga horária do curso integralizada e como concluinte, além da situação anterior, aquele com expectativa de concluir o curso até o último dia de julho do ano de realização da prova (SINAES, 2007).

A Portaria Normativa 501, de 25 de maio de 2018, que estabeleceu os procedimentos para o Enade a ser realizado no ano de 2018, com resultados previstos para serem divulgados em novembro de 2019, considera ingressante “aquele que tenham iniciado o curso no ano de inscrição, esteja devidamente matriculado, e que tenha de zero por cento a 25% da carga horária mínima do currículo do curso cumprida até o término das inscrições. E concluinte é o estudantes que “tenha expectativa de conclusão do curso até julho do ano de inscrição ou que tenha cumprido 80% ou mais da carga horária mínima do currículo do curso da IES até o dia de retificação de inscrições, estabelecido no calendário do Enade (MEC, 2018a).

A metodologia empregada no cálculo do conceito Enade tem sido ajustada anualmente, e divulgada por meio de NTs editadas pelo Inep. A última divulgação de resultado

ocorreu em 2017, correspondendo ao exame de 2016, cujo cálculo obedeceu à Nota Técnica nº 32/2017/CGCQES/DAES (INEP, 2017l) segundo a qual o conceito Enade leva em consideração:

(a) o número de estudantes concluintes participantes;

(b) o desempenho dos estudantes concluintes na parte de formação geral (FG) do exame;

(c) o desempenho dos estudantes concluintes no componente específico (CE) do exame.

Essa NT estabelece passos para efetivação do cálculo:

(1) Obtenção do desempenho médio de seus concluintes na FG e no CE; (2) obtenção da média nacional da área de avaliação nos dois componentes;

(3) desconsideração dos cursos de graduação com média de desempenho igual a zero e aqueles com menos de dois concluintes participantes;

(4) cálculo do desvio padrão nacional de cada área de avaliação em FG e CE; (5) cálculo dos afastamentos padronizados em FG e CE;

(6) cálculo da interpolação linear para obtenção das notas padronizadas de FG e CE e, por fim, a obtenção do conceito que corresponde à média ponderada das notas padronizadas do respectivo curso em FG e CE, sendo 25% o peso da FG e 75% o peso do CE.

Desse modo, a Nota do conceito Enade do curso = 0,25.NPFG + 0,75.NPCE, cujo

resultado é uma variável discreta que assume valores de faixa de 1 a 5, sendo: (a) valores contínuos menores que 0.945 correspondem ao conceito 1;

(b) valores contínuos menores ou iguais a 0.945 e menores que 1,945 ficam com conceito 2;

(c) valores contínuos menores ou iguais a 1,945 e menores que 2,945 indicam conceito 3;

(d) valores contínuos menores ou iguais a 2,945 e menores que 3,945 denotam conceito 4;

(e) valores entre 3,945 e 5, correspondem ao conceito 5.

Ao se observar o percurso adotado para a instituição do atual sistema de avaliação vigente no País, a partir da Comissão Especial encarregada de sua criação (a CEA), vale relembrar que aquela comissão intitulou, em seu relatório, o novo Exame de Processo de

Avaliação Integrada do Desenvolvimento Educacional e da Inovação da Área (Paideia), que tinha como prioridade o enfoque de movimento e integração da avaliação. Foi apresentado pela CEA como um dos instrumentos que integrariam a nova proposta de avaliação da educação superior, havendo um destaque na importância de haver sempre um objetivo educativo, um caráter formativo e construtivo, para que pudesse desempenhar papel de destaque na busca efetiva pela melhoria da qualidade, constituindo-se como um instrumento de reflexão sobre ela. O exame Paidea veio a se tornar Enade.

Com as amplas discussões que ocorreram no segundo semestre de 2003 (época da liberação do Relatório da Comissão CEA) até abril de 2004 (época da edição da lei), ocorreram modificações da proposta original. O Enade, ao possuir componente avaliativo da formação geral, comum a todos os cursos de todas as áreas, buscaria investigar aspectos relacionados à formação de um profissional ético, competente e comprometido com a sociedade e, por meio do componente específico, teria a função de verificar, a aquisição de conhecimentos e habilidades, bem como identificar em que nível os cursos de graduação do País ministravam realmente os conteúdos contidos nas DCN, objetivando uma aproximação do currículo estabelecido em documentos daquele realmente ministrado em sala de aula. Nesse contexto, é lícito compreender que o Exame tem, de fato, alguns méritos.

Quanto a demérito, se é que se pode assim nominar, esse advém de outra conjuntura. Nesse caso, cita-se: deficiência de uma cultura avaliativa própria de sociedade deste século, a falta de integração entre constituintes do sistema, dificuldades que muitas IES possuem de articular, concretamente, os resultados de autoavaliações com avaliações externas e os incontáveis dados oriundos do Enade, nem sempre bem compreendidos por toda a comunidade acadêmica. Assim, os formatos avaliativos brasileiros realmente necessitam de constantes análises e reformulações para que não sejam convertidos em sistemas de ranqueamentos, que beneficiam as IES de larga experiência, corpo docente bem qualificado e possuidor de pesquisa consolidada, fazendo parecer que as demais não possuem nenhum mérito.