Core indicators: measurement and reporting

Com relação a Avaliação Cooperativa, foi utilizado o conceito apresentado por Santa Rosa e Moraes (2012), o qual especifica que a avaliação cooperativa é uma técnica que possui o objetivo de melhorar sistemas/produtos por meio da obtenção de dados do usuário, que atua predominantemente como um colaborador no processo de avaliação do sistema/produto. Os autores destacam que a técnica é útil para testes de protótipos ou redesign de sistemas e normalmente é realizada com um usuário por vez, o qual realiza tarefas representativas ao universo do público-alvo, ao passo que explicitam ao pesquisador o que estão fazendo ou pensando a respeito de cada tarefa, bem como da navegação, modelo de interação e elementos da interface. O Quadro 7 apresenta um roteiro dos procedimentos a serem seguidos, de uma maneira geral, quando da utilização da avaliação cooperativa.

a) Recrutamento: Seleção dos usuários que representam o público-alvo;

b) Elaboração de uma lista de tarefas que possam ser realizadas pelos usuários, abrangendo as principais tarefas realizadas por usuários do sistema/produto e que permitam uma exploração exaustiva de todas as funcionalidades do software/produto; c) Estimar a duração das tarefas a serem realizadas;

d) Verificar se as tarefas ou instruções foram redigidas de modo que os usuários as compreendam com facilidade;

e) Conduzir as sessões de modo que fique evidente ao usuário que o foco da avaliação é no sistema/produto;

f) Anotar cada comportamento inesperado e comentário do usuário a respeito da usabilidade do sistema/produto

g) Realizar uma sessão de briefing após o término das tarefas. É possível, neste instante, apresentar a gravação da navegação numa avaliação retrospectiva, e submeter os usuários ao preenchimento de questionários de satisfação durante a interação com o sistema/produto.

Quadro 7 - Roteiro para avaliação cooperativa

56 Adaptando-se o roteiro apresentado no Quadro 7ao projeto em tela, levando-se em conta as limitações do protótipo inicial criado, o qual permite a interação do usuário apenas por meio de cliques em elementos projetados nas interfaces, e funciona por meio de link público, sendo acessível em qualquer dispositivo conectado à internet, as questões e tarefas foram criadas com o intuito de obter dados dos estudantes que possibilitassem o aperfeiçoamento do protótipo preliminar, dando origem ao roteiro semiestruturado constante no Apêndice C. É importante destacar que em alguns momentos foram inseridas questões adicionais, em outros o modo de realização das questões variou de acordo com o perfil do estudante, de forma que o objetivo de cada questão ficasse da forma mais clara possível, com o cuidado de não desviar do contexto ou induzir o estudante a dar uma determinada resposta, de forma que o mesmo pudesse relatar suas necessidades informacionais, suas expectativas e desejos com relação aos protótipo, bem como contribuir, da melhor forma possível, para o aperfeiçoamento do mesmo.

Foram realizados cinco pré-testes com estudantes identificados com os perfis 2, 4 e 6, listados no roteiro para avaliação cooperativa, constante no Apêndice C, para verificação do tempo médio da avaliação e aperfeiçoamento das questões e tarefas preliminarmente estabelecidas. A solicitação para participação do pré-teste ocorreu de forma pessoal, na ocasião foi explicado aos respondentes os objetivos da pesquisa, o respeito ao anonimato e a importância da participação dos mesmos para o aperfeiçoamento do protótipo de aplicativo produzido. Verificou-se que a avaliação mais rápida durou 24 minutos, enquanto a mais longa durou 50 minutos. O tempo médio da Avaliação Cooperativa, foi de 35 minutos.

Após a realização do pré-teste, verificou-se a importância de aperfeiçoar as questões para possibilitar a otimização do tempo, a apresentação geral do protótipo e a percepção de quais funcionalidades são tidas como prioritárias por parte dos estudantes. No oitavo passo do roteiro (Apêndice C), foi inserido um momento para a apresentação das funções e conteúdo não abordado com o estudante até o momento, bem como a adição de uma questão (Questão 15), para possibilitar a percepção das funções tidas como prioritárias pelos estudantes.

A avaliação cooperativa foi realizada com 50 estudantes, identificados com os perfis estratégicos previamente estabelecidos, apresentados na Figura 6. O recrutamento dos estudantes foi realizado pelo critério da acessibilidade, utilizando-se de meios eletrônicos, relações interpessoais e visita a setores da Universidade que atendem a estudantes identificados com os perfis estabelecidos, em seguida, em uma sala silenciosa e com o auxílio de um notebook e um celular, conforme demonstram as Figuras 10 e 11, foi realizada a avaliação do

57 protótipo por parte do estudante, conduzida pelo pesquisador, e em paralelo por colaboradores, seguindo o roteiro semiestruturado constante no Apêndice C. As tarefas e questões estabelecidas pelo pesquisador objetivaram obter dados sobre as expectativas, desejos, dificuldades no uso do protótipo, sugestões, situações relatadas e comportamentos inesperados por parte dos usuários.

O convite virtual elaborado para o recrutamento dos estudantes, apresentado na Figura F-1, constante no Apêndice F, foi divulgado via whatsapp, com o auxílio de relações interpessoais, bem como do apoio dos colaboradores e do grupo de trabalho.

O Notebook, apresentado na Figura 10, foi utilizado principalmente para a gravação do áudio durante a avaliação cooperativa, e, em determinadas situações, para o uso do protótipo, quando o local não dispunha de acesso à internet. O celular foi utilizado para execução do protótipo, transmitindo uma sensação ao usuário mais próxima ao uso real de um aplicativo. O roteiro semiestruturado para avaliação cooperativa, constante no Apêndice C, foi utilizado para uma maior padronização do procedimento e dos dados, enquanto o termo de compromisso livre e esclarecido, constante no Apêndice D, para possibilitar ao estudante o conhecimento acerca da pesquisa e o seu livre consentimento com relação à participação.

Figura 10 - Equipamentos e documentos utilizados na avaliação cooperativa.

58 A maioria das avaliações cooperativas ocorreram em salas fechadas, como a sala de reuniões da PROGRAD, apresentada na Figura 11. Porém, algumas avaliações ocorreram em diferentes locais da Universidade e até mesmo fora dela, de acordo com a disponibilidade dos estudantes que participaram da pesquisa. Os principais locais utilizados foram: A Pró-Reitoria de Graduação da Universidade, o Instituto Metrópole Digital, os Núcleos de Pesquisas em Ciências Sociais Aplicadas I e II – NEPSA I e NEPSA II, a Biblioteca Central Zila Mamede – BCZM, os bancos de convivência existentes entre os setores de aulas III e IV da Universidade, o setor de aulas V, o Praia Shopping32 e a Faculdade de Farmácia da Universidade.

Na avaliação cooperativa os estudantes tiveram liberdade para expor os seus desejos e expectativas a respeito de um aplicativo que tem como objetivo possibilitar a integração dos mesmos com a UFRN. Para tanto, antes de apresentar o conteúdo projetado para o aplicativo, foram realizadas questões no sentido de identificar quais são os principais desejos e expectativas dos alunos com relação ao aplicativo. A questão 1, constante no Apêndice C, realizada quando os estudantes visualizavam a interface de login do protótipo, buscou identificar as expectativas gerais dos estudantes, em termos de informações e funcionalidades.

32 _{O Praia Shopping é um conhecido shopping da cidade de Natal/RN, localizado no bairro de Ponta Negra.} Figura 11 - Momento em que a estudante realiza a avaliação cooperativa do protótipo inicial.

59 Já as questões 4, 6, 8 e 10, do roteiro para avaliação cooperativa, constante no Apêndice C, objetivaram identificar as expectativas e desejos para funções específicas projetadas no protótipo, a saber: “Localização, Contatos e Horários”, “Central de Serviços”, “Documentos” e “Comunicação”. Essas questões foram realizadas no momento em que os estudantes visualizavam a interface principal do protótipo, que variava de acordo com o perfil com o qual o estudante se identificou, possuindo 3 visualizações: Ingressante, veterano e formando. Os estudantes identificados com os perfis de 1 a 4, relacionados no Apêndice C, visualizaram a interface apresentada na Figura E-9 (Apêndice E), os estudantes identificados com o perfil 5 visualizaram a interface apresentada na Figura E-8 (Apêndice E), enquanto os identificados com o perfil 6 visualizaram a interface apresentada na Figura E-10 (Apêndice E).

Nas questões 2, 3, 5, 7, 9, e 11, do roteiro para avaliação cooperativa (Apêndice C), os estudantes foram convidados a refletir sobre o conteúdo projetado para as principais interfaces do aplicativo, podendo criticar ou sugerir melhorias. Essas questões também foram úteis para a identificação e/ou confirmação de locais, serviços, documentos e contatos institucionais que são considerados importantes pelos estudantes.

A questão 12, realizada após a abordagem de todo o conteúdo projetado para o aplicativo, visou identificar quais são as principais possíveis situações de uso do aplicativo relatadas pelos estudantes. Na questão 13 os estudantes tiveram a oportunidade de relatar quais foram as principais dificuldades ou desvantagens percebidas durante a avaliação do protótipo. Já na questão 14, havia a possibilidade de adicionar novas sugestões, de forma direta, após o entendimento de todo o conteúdo projetado para o aplicativo.

A questão 15 buscou identificar as 3 funções projetadas para o aplicativo consideradas mais relevantes por parte dos estudantes. Essa questão foi inserida após o pré-teste, identificando-se que em uma etapa posterior, quando do desenvolvimento do código computacional, em uma possível situação de restrição de projeto, essa informação pode ser útil. Além disso, conhecer o que é mais relevante para os estudantes auxilia na alocação de recursos para o desenvolvimento do projeto, na ênfase quando do posicionamento dos elementos nas interfaces e na própria compreensão dos usuários por parte dos desenvolvedores.

60