As técnicas qualitativas adotadas foram pesquisa documental, entrevista individual (incluindo entrevista telefônica), análise de contexto, testes automáticos e manuais com os portais web dos serviços públicos eletrônicos selecionados, avaliação heurística e grupo focal. A pesquisa documental englobou leitura e análise de normas, diretrizes, manuais gerados pelo Departamento de Governo Eletrônico e Secretaria de Logística e Tecnologia da Informação, atas de reuniões dos Comitês Executivo e Técnicos do Governo Eletrônico, além de relatórios de outros estudos ou auditorias, documentos gerados por fontes diversas sobre o Programa E-Gov, coletados pela Internet. Alguns
dos documentos pesquisados, por serem documentos internos, foram solicitados à gerência do Programa (Apêndice 9.1, p. 241). Foram também analisados dados do Sistema de Informações Gerenciais e de Planejamento (Sigplan) da Administração Pública Federal referentes ao Programa E- Gov e do Sistema de Inventário de Sítios Governamentais Federais. A pesquisa documental também foi empregada na análise das normas, recomendações e manuais produzidos e/ou adotados pelas prestadoras dos serviços públicos eletrônicos selecionados.
A técnica de entrevista individual foi adotada com quatro fontes de informação diferentes e com propósitos diferentes. A entrevista com os gestores do Programa E-Gov teve, como objetivo, entender o contexto e a forma como o Programa funciona. Foram entrevistados o Secretário de Logística e Tecnologia da Informação, a Diretora do Departamento de Governo Eletrônico, e o Coordenador do Comitê Técnico de Gestão de Sítios On-Line, Secretário de Comunicações da Presidência da República, por ser esse comitê o que mais se aproxima da temática desta pesquisa.
A entrevista com os gestores de portais e-gov das áreas sociais Educação, Previdência Social, Saúde, e Trabalho e Emprego teve, como propósito, compreender a estratégia adotada por cada Ministério na implementação de seus portais web e ainda solicitar, a cada um, lista de serviços públicos eletrônicos por eles prestados, para atendimento direto ao cidadão. Tal lista foi utilizada na seleção dos serviços deste estudo de caso, já mencionada no item 4.2.1 (p. 105).
As entrevistas individuais com os gestores dos serviços públicos eletrônicos selecionados, responsáveis tanto pelo conteúdo quanto pela implementação eletrônica dos serviços Declaração Anual de Isento, requisições de auxílio-doença, pensão por morte e salário-maternidade, e Primeiro Emprego, possibilitaram a coleta de informações tais como público-alvo, universo atendido, disponibilidade do serviço, técnicas de análise de necessidades, monitoramento e avaliação adotadas, entre outras. Os resultados dessas entrevistas foram utilizados como subsídios para a elaboração do instrumento de coleta de dados quantitativo enviado aos gestores de portais e-gov não selecionados para a pesquisa qualitativa (Apêndice 9.11, p. 274).
Nessas entrevistas também foram apresentados, aos gestores, o questionário sobre medidas adotadas em relação à segurança de dados (Apêndice 9.6, p. 260), baseadas na Resolução nº 7, de 29 de julho de 2002 (Brasil – CEGE, 2002), e os questionários da pesquisa de satisfação (Apêndices
9.9 e 9.10 – p. 267 e 270), correspondente ao seu serviço, para que indicassem que respostas esperavam receber de seus clientes. A confrontação das respostas dos gestores e dos clientes dos serviços ao mesmo questionário permite mostrar até que ponto a percepção do gestor quanto à qualidade do serviço prestado se compara à percepção dos clientes do serviço.
As entrevistas telefônicas, por sua vez, foram feitas com 142 usuários dos serviços DAI, PNPE e Auxílio-doença46, em um universo de 2.301 que se prontificaram a participar47, estratificados por serviço (Gráfico 1, p. 120) e selecionados aleatoriamente, com o objetivo de identificar os pontos positivos e negativos desses serviços, na opinião desses usuários. O tamanho da amostra, representando 1/16 do universo, foi calculado com nível de confiança de 95%, +/- 8% de erro amostral e proporção, mais conservadora, de 50/50 do universo em questões com duas opções de resposta (Dillman, 2000, p. 206). Dentro de cada estrato, isto é, da lista de respondentes de cada serviço, ordenada por data de recebimento do questionário, foi adotado o intervalo amostral de 16, isto é, uma em cada 16 pessoas da lista foi selecionada para a amostra. Naqueles casos em que a quantidade de tentativas para fazer a entrevista excedeu o limite preestabelecido de três ligações, por vários motivos (linha ocupada, ligação não atendida, atendimento por secretária eletrônica, participante não disponível no momento da ligação), considerado razoável para pesquisas de mercado (Lavrakas, 1998), foi selecionado o próximo participante da lista remanescente de possíveis entrevistados. As entrevistas foram realizadas em dezembro de 2005, gravadas e transcritas.
Gráfico 1 Participantes da entrevista telefônica por serviço utilizado.
46 Foram eliminados os serviços Pensão por morte e Salário-maternidade por não terem atingido quantidade significativa de
respondentes na pesquisa on-line.
47 Uma das perguntas do questionário pedia para que o usuário informasse seu nome e telefone, caso se interessasse em
participar de entrevista telefônica.
Participantes da entrevista telefônica
(Universo: 2301; Amostra: 142)
60
51 31
Declaração Anual de Isento Auxílio-doença
Na análise do contexto, foram utilizadas ferramentas típicas de diagnóstico em avaliação de programas: análise de grupo de interesse (stakeholder), análise SWOT, painel de referência, diagrama de verificação de riscos (DVR) e matrizes de planejamento e de achados de auditoria, que auxiliaram na compreensão do contexto estudado. Os modelos de tais diagramas e matrizes constam do Apêndice 9.4 (p. 245). Para o painel de referência foram convidados dois especialistas em governo eletrônico, três auditores, e um especialista em avaliação de programas de governo para debater a matriz de planejamento deste estudo.
Para a avaliação da interface web dos serviços selecionados foram realizados testes automáticos de acessibilidade - ferramentas automáticas, disponíveis gratuitamente na Web, que avaliam a acessibilidade de páginas web, por meio de análise estática dessas páginas. Como essas ferramentas automáticas só conseguem detectar um número limitado de problemas potenciais, foram utilizados outros métodos complementares, manuais, de avaliação de acessibilidade: teste com diferentes tipos de navegadores web, em condições variadas (com figuras e sons habilitados; figuras desabilitadas; sons desabilitados; sem utilizar o mouse; e com diferentes resoluções de vídeo). Essas condições simulam restrições de navegação a que alguns usuários estariam submetidos, seja por estarem usando tecnologias assistivas48, hardware e software mais antigos ou mais modernos, seja por terem limitações físicas ou mentais.
Outra técnica adotada para avaliação da interface dos serviços selecionados foi a avaliação heurística - método de inspeção sistemático da usabilidade de sistemas interativos, cujo objetivo é identificar problemas de usabilidade de sistemas informatizados. Esse método envolve a participação de um pequeno grupo de avaliadores na análise do fluxo de interação necessário para iniciar e completar tarefas reais, e no julgamento dos elementos interativos do sistema, em relação a princípios reconhecidos de usabilidade, designados também como "heurísticas" (Nielsen, 1993). Essa avaliação complementa os testes automáticos em pontos passíveis de verificação apenas manual,
48 Software ou hardware especificamente concebido para ajudar pessoas com incapacidades ou deficiências a executarem
atividades do cotidiano. Esse novo termo, apesar de não existir nos dicionários de língua portuguesa, nem tão pouco nos de língua inglesa, tem se incorporado ao vocabulário técnico e popular de vários idiomas, sendo classificado como todo e qualquer item, equipamento, produto ou sistema que propicia, ao portador de deficiência, uma vida mais independente, produtiva, agradável e bem sucedida, por meio do aumento, manutenção ou devolução das capacidades funcionais dessa pessoa.
como por exemplo, o contraste de cores e a adequação do texto de um link ao conteúdo por ele apontado.
A avaliação heurística foi desenvolvida explicitamente como um método de "engenharia de usabilidade com desconto49", o qual não tem a pretensão de "prover resultados perfeitos ou identificar todo e qualquer problema de usabilidade de uma interface" (Nielsen, 1993, p. 160). Justamente por ser fácil, rápido e pouco oneroso, esse método é considerado adequado para a avaliação de portais web (Instone, 1997). Neste estudo de caso, foram analisados, por um especialista em usabilidade e um analista de sistemas, separadamente, os cinco serviços públicos eletrônicos selecionados, comparando suas características com as recomendações, princípios e/ou heurísticas previamente escolhidos (Apêndice 9.5, p. 248).
Mesmo existindo uma lista predeterminada de verificações, os avaliadores especialistas puderam considerar quaisquer outros princípios que vieram à sua mente durante a inspeção das interfaces web e que tenham considerado relevantes. Ao final de todas as avaliações, os resultados individuais foram congregados em uma lista consolidada de problemas.
Essa avaliação considerou 10 dimensões, ponderadas de acordo com sua importância, sob o ponto de vista da maioria dos 4.505 usuários pesquisados no levantamento on-line (Quadro 5, p. 123)50. Os itens da lista de verificação, gerada a partir de normas e recomendações produzidas pelo Governo brasileiro (Resolução n° 7, Modelo e Cartilha Técnica de Acessibilidade, e Cartilha de Usabilidade para sítios e portais), e por pesquisadores independentes (Dias, 2001; Stutz et al., 2002; Vilella, 2003), disponível no Apêndice 9.5 (p. 248) deste documento, foram ponderados de acordo com a seguinte escala:
• Peso 3 – artigos, incisos e alíneas da Resolução n° 7 (Brasil – CEGE, 2002);
• Peso 2 – recomendações de prioridade 1 da Cartilha Técnica de Acessibilidade (Brasil – MP, 2005d) e parâmetros mínimos da Cartilha de Usabilidade (Brasil – Governo Eletrônico, 2004);
49 Tradução da expressão em inglês Discount usability engineering method - denominação dada por Nielsen (1993) à avaliação
heurística, por ser um método mais rápido e barato do que os tradicionais testes com usuários.
50 No cômputo do grau de importância das dimensões, foram considerados os itens apontados como mais importantes (questão
• Peso 1 – recomendações de alta prioridade de Vilella (2003), heurísticas de Dias (2001) e recomendações do manual do governo alemão (Stutz et al., 2002).
Dimensão Peso
Privacidade e segurança de dados 3
Disponibilidade 3
Tempo de atendimento 3
Acessibilidade 2
Capacidade de resposta a dúvidas 2
Confiabilidade 2
Facilidade de localização do portal da instituição 1 Facilidade de localização do serviço eletrônico 1
Usabilidade 1
Conveniência51 -
Quadro 5
Pesos das dimensões – grau de importância indicado pelos usuários pesquisados.
Tal ponderação considerou o fato de a Resolução n° 7, deliberada pelo Comitê Executivo do Governo Eletrônico (CEGE) e, portanto, norma a ser cumprida, e das Cartilhas Técnica de Acessibilidade e de Usabilidade serem documentos do Governo brasileiro, mesmo que não coercitivos, mas certamente mais significativos para os gestores de portais da Administração Pública Federal do que as recomendações de pesquisadores independentes.
Os avaliadores especialistas efetuaram também classificação dos serviços oferecidos no portal da Previdência (www.previdencia.gov.br), tomando como base o conteúdo disponível no período de 16 a 18 de novembro de 2005. O objetivo desse levantamento foi identificar a taxa de serviços interativos colocados à disposição do cidadão. Foram pesquisados links a informações e serviços existentes até o terceiro nível de navegação (acessando até três páginas a partir da página inicial do portal, considerada ponto 0). O conteúdo foi classificado como serviço quando havia alguma
51 A dimensão “Conveniência” não foi considerada na avaliação heurística por falta de itens associados a este tema nos
interação do portal com o usuário, como preencher campos, fornecer senha, acessar dados, e como informação, quando o portal apenas fornecia qualquer informação oficial ao usuário.
Para confirmar, refutar ou compreender melhor os resultados do levantamento quantitativo realizado com os gestores de serviços e-gov, foram realizados três grupos focais com gestores, nos dias 09, 11 e 17 de novembro de 2005, totalizando 23 representantes de 10 Ministérios, cinco agências reguladoras e oito unidades vinculadas à Presidência da República, empresas públicas, autarquias ou fundações, selecionados aleatoriamente dentre aqueles residentes em Brasília que se identificaram como interessados em participar desse tipo de entrevista52. Nesses grupos focais participaram ainda um moderador e três observadores para registrar as discussões, já que, para esse grupo de pessoas, talvez fosse constrangedor gravar suas intervenções. Os temas discutidos foram os mesmos da etapa quantitativa: planejamento, gerência, monitoramento e avaliação dos serviços públicos eletrônicos por parte dos próprios órgãos prestadores dos serviços, e a atuação da coordenação do Programa Governo Eletrônico.
Para promover a discussão sobre a atuação da coordenação do Programa no monitoramento e avaliação da qualidade dos serviços públicos prestados via Internet, foi realizado, no dia 03 de novembro de 2005, grupo focal com os oito coordenadores de Comitês Técnicos de Governo Eletrônico. Dada a quantidade reduzida de coordenadores, não houve outra alternativa a não ser a de realizar apenas um encontro com todos eles, mesmo contrariando a recomendação de realizar vários grupos focais para poder se chegar a uma conclusão mais próxima da realidade, sobre o tema discutido. Nesse grupo focal também participaram um moderador e três observadores, sem gravação de áudio ou vídeo.
O uso de grupos focais nesta pesquisa teve como intenção provocar o confronto de opiniões, percepções, sentimentos, atitudes e idéias dos participantes a respeito desses temas. De acordo com Johnson (1994), os usuários dessa técnica partem do pressuposto de que a energia gerada pelo grupo resulta em maior diversidade e profundidade de respostas, isto é, o esforço combinado do grupo produz mais informações, e com maior riqueza de detalhes, do que o somatório das respostas
52 Uma das perguntas do questionário pedia para que o gestor indicasse seu interesse ou não em participar de grupos focais
individuais. Resumindo, a sinergia entre os participantes leva a resultados que ultrapassam a soma das partes individuais.
A análise dos resultados obtidos a partir de todas essas técnicas qualitativas foi essencialmente qualitativa (análise de conteúdo, sumarização, interpretação de opiniões e atitudes), apesar de terem sido contabilizados, estatisticamente, os resultados dos testes automáticos, manuais e da avaliação heurística das interfaces dos serviços públicos eletrônicos examinados.
4.3.2.1 Instrumentos de coleta de dados
Para orientar as discussões nas entrevistas individuais com os gestores dos serviços e-gov selecionados, com os gestores do Programa E-Gov, e com os gestores de portais e-gov para seleção dos serviços a serem avaliados, assim como nos grupos focais com coordenadores dos Comitês Técnicos do Programa Governo Eletrônico e gestores de serviços e-gov, foram elaborados roteiros de entrevista distintos, disponíveis nos apêndices deste documento. Para os testes nos portais web dos serviços e-gov selecionados, foram utilizadas as seguintes ferramentas:
• Cyberspyder - www.cyberspyder.com/cslnkts2.html
Ferramenta gratuita que permite a verificação de links com problemas em páginas web.
• Dasilva - www1.acessobrasil.org.br/dasilva/
Ferramenta desenvolvida pelo grupo Acessibilidade Brasil - ACBR , com base nas diretrizes internacionais do World Wide Web Consortium (W3C, 1999), porém traduzidas para o português. Desde o dia 24/02/2005, o programa Dasilva avalia também a primeira página dos portais web com base nas recomendações do Programa Governo Eletrônico, para construção de sítios e portais acessíveis – Modelo de Acessibilidade do Governo (Brasil – MP, 2005c).
• Wave - www.wave.webaim.org/index.jsp.
Ferramenta gratuita desenvolvida pelo Temple University Institute on Disabilities, baseada no projeto original do Dr. Leonard Kasday em conjunto com Webaim (Web
Accessibility in Mind) do Centro para Pessoas com Deficiências da Universidade
• Navegadores gráficos de diferentes fornecedores (Internet Explorer, Mozila Firefox). Para a avaliação heurística, foi utilizada a lista de verificação para portais e serviços e-gov, desenvolvida pelo pesquisador e disponível no Apêndice 9.5 (p. 248) deste documento, baseada em normas brasileiras que tratam de governo eletrônico e recomendações de pesquisadores independentes.
5 Análise dos dados
O contexto desta pesquisa, cujo objetivo geral foi definir e validar método de avaliação dos resultados de programas de governo eletrônico sob a ótica dos cidadãos-clientes, limitou-se a dois aspectos essenciais. O primeiro foi a confrontação dos resultados de programas de e-gov com seus objetivos (eficácia, qualidade e articulação institucional). O segundo foi a avaliação de serviços públicos eletrônicos com benefícios diretos ao cidadão, envolvendo avaliações individualizadas da satisfação dos usuários com alguns serviços selecionados, e avaliações de suas interfaces web, sob a ótica dos usuários, baseadas em padrões de qualidade nacionais e internacionais. Para tanto, foi identificada, na literatura, documentação sobre programas de governo eletrônico, métodos e métricas para sua avaliação; elaborados modelos de avaliação de governo eletrônico, e outros baseados nos métodos identificados e selecionados na literatura; selecionados o Programa E-Gov brasileiro e cinco serviços públicos eletrônicos a serem avaliados; e, por fim, proposto método de avaliação de programas de governo eletrônico, o qual foi aplicado e validado ao longo desta pesquisa. Vale ressaltar que o modelo de avaliação de governo eletrônico, proposto no item 3.5 (p. 96), atende aos requisitos de seleção e definição de construtos, contexto, critérios, métricas e metodologia de Saracevic (2000), explanados no item 3.6 (p. 97).
Apesar de estarem presentes neste estudo, como canal de comunicação eletrônica de massa, as tecnologias web não são um fim em si mesmas, visto que se olha o problema pelo ângulo da Ciência da Informação. Nesse sentido, traçou-se, no marco teórico desta pesquisa (capítulo 3, p. 83), um modelo conceitual como paralelo entre fidelidade do processo de comunicação e qualidade de serviços públicos, destacando que o importante é determinar o que aumenta ou reduz tal fidelidade ou qualidade. Esse novo ângulo, abrangendo conceitos teóricos advindos da Administração, da Ciência da Computação, e da Ciência da Informação, aplicado à avaliação da qualidade ou fidelidade de serviços e-gov, colocou de um lado a pesquisa de satisfação de clientes e do outro o monitoramento e a avaliação de indicadores de desempenho por parte do governo.
A análise dos dados desta pesquisa, norteada por esse modelo conceitual, compreende, além das fases de análise de contexto e avaliação do Programa Governo Eletrônico e serviços públicos eletrônicos específicos, o perfil dos respondentes das pesquisas on-line, a análise das técnicas utilizadas no modelo proposto de avaliação de governo eletrônico (item 3.2, p. 87), em resposta à
questão de pesquisa de “Como avaliar os resultados de programas de governo eletrônico sob a ótica
do cidadão-cliente?”, e a análise da relação entre construtos do modelo de avaliação da satisfação
(item 3.4, p. 90), em resposta à questão de pesquisa “Há relação direta entre o atendimento aos
padrões de qualidade adotados e a satisfação do cidadão-cliente com os serviços de governo eletrônico?”.