A avaliação da terceira versão do tutorial foi efetuada em setembro de 2006, na segunda semana de aula do semestre letivo, com três turmas de alunos: Arquivologia (noturno), Biblioteconomia (diurno) e Ciência da Computação (diurno). A turma de Arquivologia era composta por 54 alunos de 3º e 4º semestre, a de Biblioteconomia por 33 alunos de 1º semestre e a de Computação por 24 alunos do 1º semestre.
Uma parte desses testes foi invalidado por motivos diversos:
a) um bom grupo dos alunos de Arquivologia já conhecia o código CDU por terem feito uma disciplina em que o aprenderam formalmente;
b) em todas as turmas houve alunos que encararam o teste como uma brincadeira, e não como ocasião de aprender. Este fato fica patente nos relatórios, pois o número de testes repetidos foi muito grande em pouco tempo, o que significa que o aluno estava apenas brincando de apertar o botão correto ou o errado. Foram eliminados todos os relatórios em que havia grandes seqüências de testes respondidos erradamente em pouco tempo. Foi fácil identificar esses casos, pois o número de acessos girava em torno de cinco vezes o número médio de acessos da turma;
c) também foram eliminados alguns relatórios de alunos que abandonaram o teste.
Na tabela 10 apresentam-se, para os três testes e para a média dos três, os valores da amostra original e dos testes válidos. Também se apresentam as porcentagens de alunos que declararam não conhecer a CDU ou conhecê-la parcialmente. Os que disseram conhecer parcialmente, comentaram que aprenderam com a experiência no próprio uso da BCE. A grande freqüência de alunos da Arquivologia que já tinham um pequeno conhecimento da CDU se explica pelo fato de serem do 3º ou 4º semestre, e portanto já estavam freqüentando a BCE. O índice baixo da Computação já
era esperado, pois os alunos deste curso utilizam pouco a BCE, o que já havia sido comprovado nos questionários aplicados em 2005.
A tabela 10 apresenta também a freqüência dos alunos a bibliotecas antes de entrarem na UnB. Novamente o índice da Computação foi o mais baixo e, entre os outros dois, o do curso diurno foi também previsivelmente mais alto que o do noturno.
Tabela 10 – Valores da avaliação da terceira versão do tutorial Curso Arquivologia Biblioteconomia Computação Média
amostra original 54 33 24
testes válidos 16 27 21
não conheciam a CDU (%) 20 41 81 47
conheciam parcialmente a CDU (%) 80 59 19 53
freqüentavam biblioteca ao menos
uma vez por mês (%) 31 56 29 39
freqüentavam biblioteca esporadicamente ou não
freqüentavam (%) 69 44 71 61
tempo para instruções 4,1 4,8 3,5 4,1
tempo para testes 26,6 25,4 19,5 23,8
tempo total 30,7 30,2 23,0 28,0
índice de aproveitamento 82,4 82,4 87,7 84,2
Aparecem ainda os tempos gastos para ler as instruções e para responder os testes, e o índice de aproveitamento de cada turma. O índice de aproveitamento foi definido como a porcentagem entre o número de questões respondidas corretamente dentro do número total de questões respondidas.
Os indicadores da Arquivologia e da Biblioteconomia foram muito parecidos. Provavelmente, a experiência dos alunos da Arquivologia (3º e 4º semestres) compensou a dificuldade maior que os alunos do curso noturno encontram em relação aos do diurno. Os índices da Computação foram um pouco melhores, talvez pela facilidade que alunos de Computação têm para assimilar processos algorítmicos, como é o caso da formação dos códigos da CDU.
Embora o índice de aproveitamento não tenha sido explicitado nas versões anteriores, uma análise das planilhas correspondentes permitiu
verificar que esse índice era de 69% na primeira versão e 62% na segunda versão.
O tempo médio total para cursar o tutorial também caiu bastante: 68 minutos na primeira versão, 60 minutos na segunda, e 28 minutos na terceira.
Foram feitos levantamentos de número de acertos e número de erros (ou desistências) para as três turmas, e verificou-se que os padrões eram muito parecidos. Calculou-se então a média das três turmas, obtendo- se como resultado o gráfico 24. O mesmo aconteceu para o número de acessos e tempo gasto por teste, obtendo-se o gráfico 25.
Comparando-se estes dois gráficos com os obtidos para a primeira versão, fica patente que a distribuição de conteúdo está muito melhor na terceira versão.
Pode-se observar que os testes 10 e 12 tiveram um gasto de tempo bem acima da média, embora a média de erros nesses testes não tenha sido maior que a dos outros. Isso significa que o conteúdo desses testes não é mais difícil que o dos outros, embora seja mais extenso. O teste 10 faz uma revisão de conceitos relativos ao assunto, portanto é natural que seja mais extenso que os outros. O teste 12 analisa quatro campos da etiqueta, mas não parece conveniente alterar esta distribuição, pois são quatro campos de menor importância e de fácil compreensão.
Por outro lado, pode-se também observar que os testes 8, 9 e 11 ficaram mais fáceis que os outros, com a média de número de erros aproximando-se de zero. No entanto, também neste caso o tempo gasto não é expressivamente menor que para os outros testes, portanto não parece conveniente alterar seu conteúdo.
Uma modificação necessária é a introdução de uma tela de apresentação, antes que apareçam os desenhos dos livros com as etiquetas, explicando um pouco mais claramente os objetivos e o funcionamento do GPS-BCE. Esta foi uma observação freqüente nos comentários dos alunos, e que pode ser confirmada pelo comportamento de muitos deles. O campo “tempo de instrução” media o tempo que o aluno
Média de acertos e erros (ou desistências) por teste 0,0 0,2 0,4 0,6 0,8 1,0 1,2 1 1. 2 2. 1 3 3. 2 4. 1 4. 3 5. 1 6 6. 2 7. 1 8 8. 2 9. 1 10 10 .2 11 .1 11 .3 12 .1
acertos erros ou desistências
Gráfico 24 – Média de acertos e erros (ou desistências) por teste na avaliação da terceira versão
Número de acessos e tempo gasto por teste
0,0 0,5 1,0 1,5 2,0 2,5 1 1. 1 1. 2 2 2. 1 2. 2 3 3. 1 3. 2 4 4. 1 4. 2 4. 3 5 5. 1 5. 2 6 6. 1 6. 2 7 7. 1 7. 2 8 8. 1 8. 2 9 9. 1 9. 2 10 10 .1 10 .2 11 11 .1 11 .2 11 .3 12 12 .1 12 .2
Número médio de acessos Média de tempo gasto (minutos)
Gráfico 25 – Número de acessos e tempo gasto por teste na avaliação da terceira versão
gasta lendo as instruções antes de iniciar o teste. Um grupo de alunos, antes de começar os testes, utilizou os botões para ver os conteúdos de todos os testes, e assim gastou um tempo enorme desnecessariamente. Os valores de “tempo de instrução” se situaram em duas faixas: um grupo oscilando em
torno dos 4 minutos e outro em torno dos 40 minutos. Para a tabela 10 só se levaram em conta os valores baixos, que são os mais realistas. Esse engano de alguns alunos mostra que as instruções ainda não estão suficientemente claras.
Outra modificação útil seria dar maior destaque ao quadro final que apresenta o escore obtido pelo aluno e o tempo total gasto, quando o tutorial é encerrado. Por ser muito parecido com os outros quadros apresentados nas respostas, muitos alunos não repararam e apertaram novamente o botão “Início”, dando início a uma nova seqüência de testes.