Neste estudo iremos verificar se usuários não-programadores, jogadores de World of Warcraft, conseguem criar extensões para o jogo utilizando a ferramenta EUPAT for WoW.
5.3.1 Metodologia
Similar aos estudos realizados previamente, este também foi dividido em duas partes. Na primeira, foi realizado o Uso Exploratório com o objetivo de avaliar se o participante consegue interpretar os significados da Interface de Usuário da ferramenta (Comunicabilidade). Na segunda parte, Construção de Add-ons, o objetivo foi avaliar se o participante consegue utilizar a ferramenta com eficácia e eficiência para construir extensões.
5.3.1.1 Perfil dos participantes
Para a realização do estudo, foram selecionados 5 (cinco) participantes, na faixa de 15 e 25 anos de idade. Estes participantes foram organizados em um único grupo:
Grupo 1: 5 (cinco) participantes sem conhecimento em programação. Consideramos um participante não possuir conhecimento em programação se ele não tiver tido contato com programação ou não tiver cursado nenhuma disciplina de programação em curso técnico ou superior.
5.3.1.2 Tarefas dos participantes
As tarefas deste estudo são as mesmas descritas no estudo anterior. Na primeira etapa, de uso exploratório, os participantes foram convidados a realizar a construção de um Add-on, sem nenhuma explicação da ferramenta. Neste processo, eles foram instruídos a desenvolver os exemplos 1, 2 e 3 do Tutorial da ferramenta EUPAT for WoW.
Os exemplos 1 e 2 do Tutorial correspondem, respectivamente, ao uso de variáveis e exibição de informações na tela de jogo, através de Frames. O
exemplo 3 do Tutorial corresponde ao uso do condicional IF (Se .. então). Os participantes tiveram 15 (quinze) minutos para realizarem sua tarefa. Esse tempo foi estipulado levando em conta a natureza do processo avaliativo: para não sobrecarregar os avaliadores e participantes foi determinado que se o usuário levasse mais de 15 (quinze) minutos realizando sua tarefa o mesmo seria considerado como não apto a concluir; e levando em conta também a experiência anterior com tarefas semelhantes.
Durante esta etapa, os participantes realizaram o pensamento-em-voz-
alta enquanto observados por um especialista, indicando a sua interpretação
sobre os elementos da ferramenta. Essas informações foram mapeadas com as observações de erros cometidos pelos usuários e com outros comentários: realizados durante e após o estudo. Não foram contabilizados o número de erros nem a quantidade de tentativas.
Já na segunda etapa, de construção de Add-ons, os participantes utilizaram a ferramenta EUPAT for WoW para construir suas extensões.
O grupo de participantes foi instruído a realizar a seguinte tarefa:
Criar Add-ons usando EUPAT for WoW para exibir as seguintes mensagens na tela do jogo:
1. Os Pontos de Vida atuais e os Pontos de Vida totais do seu personagem.
2. A proporção entre os dois valores informados anteriormente (Pontos de Vida atuais e totais). Sendo a proporção dada por: (P.V. atuais / P.V. totais) * 100.
3. Uma mensagem que informe ao usuário sempre que a Energia do seu personagem estiver cheia. Considera-se que a Energia está cheia quando a Energia atual é igual à Energia total.
4. Uma mensagem que informe ao usuário sempre que a Energia do seu personagem estiver abaixo de 10%. A Energia está abaixo de 10% quando (Energia atual / Energia total) for menor que (Energia
total / 10).
Testar os Add-ons criados um por um.
Neste estudo os participantes não tiveram tempo limite para realizarem suas tarefas.
Durante a realização das tarefas, os participantes foram avaliados de acordo com:
1. Desempenho: Tempo decorrido (medição quantitativa).
2. Facilidade de uso: Erros cometidos percebidos e quantidade de tentativas (medição quantitativa) e comentários que o usuário fez durante e após o estudo (qualitativa).
Para apoiar a realização do estudo, foram aplicados questionários para: 1- Coletar informações acerca do perfil do participante;
2- Coletar informações e opinião do participante sobre programação, aprendizado de programação, e sobre a ferramenta EUPAT for WoW; 3- Relacionar o desempenho do participante de acordo com as tarefas
propostas no estudo.
O questionário aplicado é igual ao do primeiro estudo e pode ser encontrado no Anexo 3.
5.3.2 Resultados do Uso Exploratório
A partir das observações dos comentários dos usuários, o avaliador pôde inferir os problemas de interpretação na IU e o grau de satisfação deles com a ferramenta EUPAT for WoW. Melhorias e mudanças a serem feitas na ferramenta foram sugeridas.
Dentre as sugestões estão:
a. Melhorar as explicações de alguns conceitos: variáveis, funções da API e comandos condicionais.
2. Algumas sugestões ao uso da ferramenta:
a. Um dos participantes pensou que os comandos eram executados em paralelo (atribuindo valores as variáveis após as mesmas terem sido utilizadas).
5.3.3 Resultados da Construção de Add-ons
Nesta seção, iremos listar os resultados obtidos relacionados ao desempenho dos participantes do estudo. A Tabela 14 descreve o tempo gasto e o número de tentativas (incluindo testes mal sucedidos) necessário para a construção dos Add-ons propostos.
Tabela 14. Desempenho dos participantes não-programadores.
Participante Tempo Tentativas
1 12,34 min 16
2 19,54 min 20
3 9,44 min 15
4 13,22 min 18
5 16,03 min 17
Apesar de terem conseguido desenvolver a tarefa proposta na etapa de uso exploratório do estudo de forma satisfatória, os participantes (não- programadores) não conseguiram concluir as tarefas dessa segunda etapa sem o auxílio do avaliador. Esse auxílio consistiu de o avaliador reexplicar os conceitos do Tutorial que o participante não havia entendido.
Esses participantes tiveram problemas no que diz respeito ao entendimento de conceitos de programação, tendo dificuldade na aplicação desses conceitos, e também na lógica de resolução dos problemas. Tendo isso em vista, não podemos afirmar que os participantes do estudo, com o perfil não programador jogador de World of Warcraft, conseguem desenvolver
Add-ons - no nível proposto na tarefa - utilizando apenas o Tutorial da
ferramenta.
Durante o estudo, foram coletados alguns dados, dentre eles: os comentários realizados pelo avaliador sobre o desempenho do participante e os erros cometidos pelo participante. Os principais comentários e erros cometidos estão relacionados ao entendimento de alguns conceitos de programação como o uso de variáveis, conceito de igualdade e atribuição, raciocínio lógico de condicionais (como o IF .. THEN), raciocínio matemático (proporção de valores) e a exibição de informações através de Frames, além de esbarrarem no entendimento do que são e como trabalhar com funções da API.
5.3.4 Análise Geral do estudo
A partir dos resultados obtidos, levando em conta o perfil e a quantidade de participantes utilizado no estudo, consideramos que:
1- Utilizando a ferramenta EUPAT for WoW, a maioria dos usuários que participaram do estudo, com o perfil não programar jogador de
World of Warcraft, apenas conseguiram construir corretamente Add- ons corretos para o jogo com auxílio do avaliador para o entendimento
dos conceitos de programação.
De uma forma geral, o estudo mostrou que não-programadores conseguem construir as extensões, muito embora tenham alguma dificuldade e necessitem de ajuda. Além disso, a partir dos resultados obtidos, podemos inferir que as dificuldades encontradas pelos participantes não-programadores ao desenvolverem Add-ons utilizando EUPAT for WoW podem ser atribuídas a dois fatores.
O primeiro deles é a necessidade de uma melhor estruturação do tutorial da ferramenta, que no momento atual não é suficiente para introduzir conceitos de programação a usuários não-programadores. O segundo fator está relacionado à natureza do estudo: pela própria
dificuldade de resolução da tarefa proposta.
Espera-se que com mais treinamento, ou com a aplicação de tarefas mais simples, estes participantes possam melhor assimilar os conceitos básicos de programação propostos.