Visando aferir a aceitac¸˜ao e o potencial das interfaces gr´aficas basea- das em conhecimento propostas neste trabalho, testes de usabilidade explo- rando a catalogac¸˜ao, e em especial, o processo de anotac¸˜ao de OAs ambien- tados no SRI descrito no Cap´ıtulo 7 foram conduzidos. Tais testes tamb´em serviram para colher sugest˜oes de melhorias nas implementac¸˜oes.
Ressaltamos que tais testes obtiveram o aval de todos os usu´arios par- ticipantes e foram aprovados pelo Comitˆe de ´Etica em Pesquisa com Seres Humanos (CEPSH) em processo registrado junto a tal org˜ao sob o t´ıtulo “Tecnologias de Informac¸˜ao aplicadas na Formac¸˜ao e Aperfeic¸oamento de Profissionais da UnA-SUS - UFSC”, cujo n´umero do processo ´e 1827. O certificado que respalda os testes pode ser visualizado no Anexo D.
Para preservar o anonimato, conforme estipulado no Termo de Con- sentimento Livre e Esclarecido (TCLE), o qual figura no Anexo D e que os usu´arios tiveram acesso antes dos testes, a identidade dos usu´arios partici- pantes foi omitida. Deste modo, daqui para diante eles ser˜ao chamados de avaliadores (avaliador 1, avaliador 2, e assim por diante).
8.1.1 Objetivos
Os objetivos dos testes de usabilidade com catalogac¸˜ao de OIs s˜ao:
1. Avaliar a aceitac¸˜ao das soluc¸˜oes propostas e a satisfac¸˜ao dos usu´arios ao fazerem uso de tais soluc¸˜oes.
2. Avaliar o potencial das soluc¸˜oes propostas. 3. Avaliar a efic´acia das soluc¸˜oes propostas. 4. Avaliar a eficiˆencia das soluc¸˜oes propostas.
5. Quantificar poss´ıveis melhorias alcanc¸adas pela aplicac¸˜ao da abor- dagem proposta de suporte ao uso de conhecimento de dom´ınio em comparac¸˜ao a uma abordagem desprovida de tal suporte.
6. Avaliar a eficiˆencia para se acessar, navegar e explorar as funcionalida- des do AVEA UnA-SUS UFSC.
7. Detectar poss´ıveis falhas decorrentes da falta de escalabilidade do sis- tema.
8. Colher observac¸˜oes, cr´ıticas e sugest˜oes junto aos avaliadores. Pela aplicac¸˜ao do m´etodo GQM (Goal, Question, Metric) (BASILI; ROMBACH, 1988), quest˜oes e m´etricas de avaliac¸˜ao foram esmiuc¸adas a par- tir do refinamento dos objetivos. A seguir, sucintamente, s˜ao esboc¸ados os subprodutos resultantes do m´etodo aplicado: as quest˜oes e as m´etricas. 8.1.1.1 Quest˜oes
As quest˜oes desdobram os conceitos abstratos relatados nos objetivos em subfatores, facilitando o entendimento de tais conceitos. Para o objetivo 1, as seguintes quest˜oes foram elaboradas:
Quest˜ao Descric¸˜ao M´etrica Q01 Os usu´arios gostam de usar as interfaces
baseadas em conhecimento?
M1, M2, M3, M4 Q02 Os usu´arios julgam ser f´acil usar as inter-
faces baseadas em conhecimento?
M1, M2 ,M3, M4 Q03 Os usu´arios preferem qual interface base-
ada em conhecimento?
M5, M6, M7 Q04 Os usu´arios julgam que as interfaces base-
adas em conhecimento s˜ao claras e f´aceis de entender?
M1, M2, M3, M4
Tabela 3: Quest˜oes do objetivo 1. No Anexo F est˜ao descritas todas as quest˜oes. 8.1.1.2 M´etricas
Para responder as quest˜oes, m´etricas foram operacionalizadas. As se- guintes m´etricas dizem respeito `as 4 quest˜oes do objetivo 1:
M´etrica Coletada via Descric¸˜ao
M01 Question´ario N´umero de avaliadores que escolheram “Discordo fortemente”.
M02 Question´ario N´umero de avaliadores que escolheram “Discordo”.
M03 Question´ario N´umero de avaliadores que escolheram “Concordo”.
M04 Question´ario N´umero de avaliadores que escolheram “Concordo fortemente”.
M05 Question´ario N´umero de avaliadores que escolheram “Autocompletar”.
M06 Question´ario N´umero de avaliadores que escolheram “Hier´arquica”.
M07 Question´ario N´umero de avaliadores que escolheram “Hi- perb´olica”.
Tabela 4: M´etricas das quest˜oes do objetivo 1.
As demais m´etricas est˜ao descritas no Anexo G. Elas foram coleta- das atrav´es de um question´ario aplicado aos avaliadores, fichas catalogr´aficas
preenchidas pelos avaliadores e ferramentas espec´ıficas para a realizac¸˜ao de testes de usabilidade, tais como o software Morae1, al´em da instrumentac¸˜ao do c´odigo (logging) do SRI.
8.1.2 Ambiente
Os testes de usabilidade com catalogac¸˜ao de OIs foram realizados nos Laborat´orios de Inform´atica (LIICT) do Centro Tecnol´ogico (CTC) da Uni- versidade Federal de Santa Catarina (UFSC). Cada avaliador recebeu um lo- gine uma senha para acessar via navegador Web o SRI do estudo de caso descrito no Cap´ıtulo 7. As m´aquinas disponibilizadas aos avaliadores contam com Windows XP, processador Intel Core 2 Duo E7500 de 2.93 GHz e 2 GB de mem´oria RAM e navegadores Web Firefox e Internet Explorer.
8.1.3 Avaliadores
Os testes contaram com a participac¸˜ao de 25 avaliadores, os quais fo- ram recrutados conforme o ramo de atuac¸˜ao profissional:
• 18 usu´arios da ´area de tecnologia da informac¸˜ao (TI). • 04 profissionais da ´area de sa´ude.
• 03 profissionais da ´area de design gr´afico (DG) e desing instrucional (DI).
Os usu´arios da ´area de TI representam os usu´arios que navegam na Web e contribuem com a vis˜ao t´ecnica e possivelmente avaliam mais aspec- tos de ordem tecnol´ogica, enquanto os profissionais da ´area da sa´ude e de DI s˜ao os reais usu´arios do AVEA UnA-SUS UFSC. Esses dois ´ultimos podem contribuir com suas percepc¸˜oes enquanto se ambientam com o sistema. Tais avaliadores foram reunidos em grupos conforme a disponibilidade de hor´ario. Os profissionais da sa´ude figuram em menor n´umero devido a indisponibili- dade de agenda. J´a os 3 profissionais de design envolvidos nos testes s˜ao a totalidade de membros de DI e DG alocados para o projeto UnA-SUS, no contexto da UFSC.
8.1.4 Procedimento dos testes
Visando avaliar a utilizac¸˜ao das funcionalidades para anotac¸˜ao de OIs do SRI e dar aos usu´arios a oportunidade de explorar tais funcionalidades, os avaliadores realizaram uma seq¨uˆencia de tarefas de catalogac¸˜ao de OAs. Antes da execuc¸˜ao destas tarefas, os avaliadores receberam instruc¸˜oes verbais amparadas por uma apresentac¸˜ao, receberam um guia como o mostrado no Anexo I, assistiram a um v´ıdeo sobre o reposit´orio e se familiarizaram com as interfaces baseadas em conhecimento, com o DeCS e com dois OAs, com os seguintes t´ıtulos:
• OA1: Principais Agravos `a Sa´ude da Crianc¸a.
• OA2: Infecc¸˜oes Respirat´orias Agudas mais Comuns nas Crianc¸as. As tarefas realizadas foram as seguintes:
• T1: Catalogar o OA1 manualmente via o preenchimento de uma ficha catalogr´afica em papel (vide Anexo J).
• T2: Valendo-se da ficha catalogr´afica do OA2 previamente preenchida por especialistas de dom´ınio (vide Anexo K), catalogar o OA2 no re- posit´orio.
• T3: Valendo-se da ficha catalogr´afica preenchida manualmente pelo avaliador em T1, catalogar o OA1 no reposit´orio.
Por´em, devido `a disponibilidade de tempo, para um grupo de 15 alu- nos da disciplina de Engenharia de Usabilidade do curso de Sistemas de Informac¸˜ao da UFSC, T2 foi alterada, tornando-se T2’ e uma quarta tarefa (T4) foi criada:
• T2’: Valendo-se da ficha catalogr´afica do OA2 previamente preenchida por especialistas de dom´ınio, catalogar o OA2 no reposit´orio utilizando somente a interface gr´afica nativa do DeCS2para buscar os termos que descrevem o OA2.
• T4: Valendo-se da ficha catalogr´afica do OA2 previamente preenchida por especialistas de dom´ınio, catalogar o OA2 no reposit´orio utilizando as interfaces baseadas em conhecimento para buscar os termos que des- crevem o OA2.
Ressaltamos que devido `a limitac¸˜ao de tempo das equipes, as tarefas T2’ e T4 n˜ao puderam ser aplicadas aos profissionais das ´areas de sa´ude, design gr´afico e desing instrucional.
8.1.5 Question´ario
Ap´os a execuc¸˜ao das tarefas descritas na sec¸˜ao anterior, aos avaliado- res foi aplicado um question´ario para coleta dos dados exigidos pelas m´etricas definidas para avaliar o sistema que implementa a nossa proposta. A maio- ria das alternativas de resposta s˜ao baseadas na escala de Likert de 4 pontos (LIKERT, 1932). O respondente indica o seu grau de concordˆancia ou dis- cordˆancia, selecionando para cada item do question´ario um valor de resposta na escala dada. As opc¸˜oes de resposta s˜ao:
• Discordo fortemente • Discordo
• Concordo
• Concordo fortemente
O Anexo H apresenta todas as quest˜oes do question´ario.