Como resultados do ciclo de coleta de dados da MAAI, tem-se a reunião dos dados obtidos no sistema acadêmico e na Pesquisa de Autoavaliação Institucional.
Os dados obtidos pelo sistema acadêmico são quantitativos ou estruturados. São obtidos em números absolutos, que registram a quantidade de estudantes ingressantes, matriculados, evadidos ou desistentes e formandos.
Nos diários de classe de cada disciplina, são obtidas as notas por aluno do aproveitamento nas disciplinas, o número de reprovados e aprovados. Esses resultados permitem gerar um conjunto de informações para aferir por desempenho quantitativo, comparativo entre pares, e desenvolver acompanhamento de séries históricas.
Os dados obtidos na Pesquisa de Autoavaliação Institucional, oriundos de questões objetivas e subjetivas apresentadas em um questionário on-line, são quantitativos e qualitativos, isto é, estruturados e não estruturados. Os dados da Pesquisa de Autoavaliação Institucional são gerados em uma única planilha digital (Excel), a qual contém, em colunas, todas as respostas emitidas pelos estudantes. Essa planilha digital, com respostas dos estudantes, passa por um processo de validação dos dados – algumas linhas com respostas dos estudantes, por inconsistência ou duplicação, são classificadas como nulas ou em branco, e podem ser descartadas. Deste modo, a planilha ficará pronta para tratamento estatístico, classificação e análise dos dados. Também essa preparação inicial deve cuidar para verificar qual é a representatividade da amostra, ou de participantes que estão avaliando um processo. É importante analisar a representividade e considerar os contextos da instituição, do projeto específico, e confirmar que os questionários foram aplicados e respondidos.
Para valorar os dados quantitativos oriundos das questões objetivas (escala Likert) da Pesquisa de Autoavaliação Institucional, os resultados de cada item de desempenho, além do cálculo simples de percentual obtido em cada escala de alternativas, são transformados em um grau médio, conforme demonstra a figura a seguir.
na nb nc nd ne nT Grau = (5 x na) + (4 x nb) + (3 x nc) + (2 x nd) + ne nT Exemplo de cálculo: Grau = (5 x 975) + (4 x 1488) + (3 x 822) + (2 x 508) + 278 4071 Grau = 3,6
Figura 9 - Tratamento dos dados estruturados em grau mensurável Fonte: Manual de procedimentos para análise de dados MAAI.
A figura demonstra como se dá a transformação de valores estabelecidos com base na escala Likert em um grau médio. Desse modo, cada item de desempenho recebe um valor que permita entendê-lo como uma grandeza.
Esta ação assegura a análise comparativa em relação aos demais itens avaliados. A Figura a seguir demonstra um exemplo com Itens de desempenho e seus graus obtidos na Pesquisa de Autoavaliação Institucional.
Tabela 4 - Lista de Itens de desempenho em grau descendente
Itens de desempenho Grau
Conhecimento do Professor para Ministrar a Disciplina 4,59
Entrega do Livro Didático 4,52
Avaliação Geral do Curso quanto aos Objetivos Propostos 4,49
Agente Aplicador das Avaliações 4,49
Avaliação Geral do Curso quanto às Expectativas 4,48
Apresentação Gráfica do Livro Didático 4,48
Domínio do Professor sobre a Metodologia da EAD 4,48
Monitoria 4,45
Manual do Aluno 4,44
Domínio do Professor em Relação à Teoria e Prática 4,43
Clareza e Adequação dos Objetivos de Aprendizagem 4,42
Coordenação 4,41
Comunicação/Assessoria Pedagógica: Professor/Aluno 4,41
Critérios de Avaliação Utilizados pelo Professor 4,40
Adequação das Questões de Avaliação ao Conteúdo Ministrado
4,39
Avaliação Geral do Curso quanto à Aplicabilidade dos Conhecimentos
4,39
Avaliação à Distância com Relação ao Conteúdo 4,38
Informações do Manual do Curso 4,38
Clareza e Adequação da Linguagem 4,37
Acesso ao AVA 4,35
Conteúdo atende aos Objetivos e Aprendizado 4,35
Cronograma de Atividades 4,34
Atividades de Autoavaliação da Aprendizagem 4,33
Atendimento da Secretaria 4,33
Ferramentas do AVA 4,32
Condições Ambientais da Sala de Avaliação 4,31
Conteúdo das Unidades On-Line 4,28
Atividades de Aprendizagem On-Line 4,27
Saiba Mais 4,25
Dicas 4,22
Autoavaliação da Aprendizagem na Disciplina 4,21
Dedicação do Estudante aos Estudos na Disciplina 4,14
Estímulo ao Uso da Biblioteca Virtual / Midiateca 3,82
Interação com a Turma 3,35 Fonte: Banco de dados relatórios UV 2008.2.
A Tabela 4 demonstra como é possível organizar e comparar os graus obtidos pelos itens de desempenho na Pesquisa de Autoavaliação Institucional, de modo a serem transformados em fontes de informação para análise sobre o desempenho e a qualidade do serviço educacional oferecido pelo projeto em EAD. A Tabela realiza uma análise comparativa de itens de desempenho que promovem maior e menor satisfação. Entre os cinco com maior avaliação, aparecem: Conhecimento do Professor em Ministrar a Disciplina; Entrega do Livro Didático; Avaliação Geral do Curso quanto aos Objetivos Propostos; Agente Aplicador das Avaliações; e Avaliação Geral do Curso quanto às Expectativas. E, em relação aos cinco menores desempenhos, aparecem (em ordem do menor resultado para o melhor resultado): Interação com a Turma; Estímulo ao Uso da Biblioteca Virtual / Midiateca;
Dedicação do Estudante aos Estudos na Disciplina; Autoavaliação da Aprendizagem na Disciplina; e Dicas.
O Gráfico 7, a seguir, mostra um exemplo de gráfico com graus de satisfação obtidos na Pesquisa de Autoavaliação Institucional sobre os componentes e agentes do projeto em EAD.
Gráfico 7 - Gráfico apresenta resultados da Pesquisa de Autoavaliação Institucional Fonte: Banco de dados relatórios UV 2009.
Índices de satisfação são registrados no gráfico sobre os itens de desempenho avaliados pelos estudantes, fazendo uma comparação de desempenho de um projeto específico (linha superior – azul) em relação à média do desempenho dos demais projetos (linha inferior – vermelha). Neste exemplo, um dos pontos que foi analisado na reunião de devolução da MAAI, em diálogo com os agentes internos, líderes das equipes que atuam no projeto, foi o item “Entrega do livro didático” (em destaque), buscando compreender quais as causas do índice de satisfação estar menor.
Para valorar os dados qualitativos oriundos das questões subjetivas, são traçadas estratégias de análise de conteúdo, colocando-se prioridades para o que analisar e por quê. Fazendo uso de uma estratégia geral, diversas estratégias específicas podem ser usadas, entre as quais, categorizações por processos, padrões de cruzamento; construção de explicações; e análise no tempo. Cabe destacar que a análise e agrupamentos de dados constituem tarefa que requer visão de um analista: não existe um modelo pronto, cada nova realização requer adaptação às necessidades do contexto analisado.
A análise dos dados quantitativos e qualitativos consiste, desse modo, na execução de tarefas tais como: observação, compilação de registros dos materiais coletados, criação ou especificação de categorias e estruturação dos conceitos e concepções mais abrangentes; consiste no exame, categorização, tabulação ou outras formas de recombinar as evidências dirigidas para estudo sobre o desempenho dos itens de desempenho projetados na etapa de planejamento. Tem-se, ao final de cada ciclo letivo, após preparação e tratamento dos dados extraídos do sistema acadêmico, os resultados dos índices de movimentação e do aproveitamento de aprendizagem.
Concomitante à aplicação sistemática das ações de cada semestre, ao longo dos semestres, a geração de um banco de Relatórios permite a análise longitudinal do desempenho da disciplina, do curso e institucional. O mesmo banco de Relatórios também fica disponível para outras pesquisas diversas que queiram acompanhar a evolução de processos, agentes e componentes do projeto em EAD. Como por exemplo, o Quadro 6, a seguir, apresenta análise que estabelece um ranking de performance dos melhores doze itens de desempenhos avaliados no segundo semestre de 2010, e cada item comparado aos seus resultados nos últimos cinco semestres.
Ranking 2008.2 Ranking 2009.1 Ranking 2009.2 Ranking 2010.1 Ranking 2010.2
Itens de desempenho Média
2010.2