Para implantar o Sistema Brasileiro de TV Digital, o governo brasileiro estimulou a criação de um fórum como órgão de apoio do comitê de desenvolvimento. O Fórum Sistema Brasileiro de TV Digital (SBTVD) é composto, entre outros, por representantes
do setor de radiodifusão, do setor industrial e da comunidade científica e tecnológica.
As atividades do fórum tiveram início em 2006 e, segundo Filho (2007), tiveram a proposta de promover a definição, desenvolvimento, planejamento, implantação e imple- mentação dos padrões técnicos voluntários ou obrigatórios do Sistema Brasileiro de TV Digital por meio de:
• identificação e harmonização dos requisitos; • definição das especificações técnicas;
• coordenação da cooperação técnica entre as indústrias eletroeletrônica e de radiodi- fusão;
• organização e divulgação das especificações técnicas referentes ao SBTVD a serem elaboradas e que incluem sistemas voltados para geração, distribuição e recepção para a televisão digital, incluindo, porém não se limitando àqueles referentes à alta definição;
• desenvolvimento de soluções para questões relacionadas à propriedade intelectual no processo de implantação do SBTVD;
• promoção de discussões e soluções para questões relacionadas aos recursos humanos do SBTVD.
O resultado dessas definições e planejamentos resultou nas normas técnicas da ABNT que descrevem como o middleware deve se comportar para as diversas plataformas e formatos.
2.2.3.1 Os testes do fórum SBTVD
A suíte de teste do fórum SBTVD é resultado de estudos e reuniões do fórum que culminaram em casos de teste de conformidade para garantir que as implementações do middleware estivessem aderentes às normas ABNT, especialmente às aplicações interativas de natureza declarativa. Foram elaborados 2.812 casos de testes com formato semelhante ao apresentado no apêndice (A) desse documento. Esses documentos ficaram à disposição das entidades associadas ao fórum SBTVD e a implementação dos casos de testes era de responsabilidade de cada parte. Os casos de teste do fórum SBTVD, quando interpretados, gerariam uma aplicação declarativa NCL que seria executava pelo middleware, funcionando como entrada do sistema e, em caso de ser executada com sucesso, geram as saídas esperadas para o caso de teste na tela conforme especificadas pela especificação do fórum SBTVD.
Haja visto que cada entidade pode ter a sua própria implementação do Ginga em linguagens de programação distintas, as mesmas têm que atender aos critérios estabelecidos pelas normas ABNT para que a sua implementação do middleware esteja conforme. A principal maneira pela qual se verifica que a implementação está conforme atualmente é executando os casos de teste do fórum SBTVD. Nada impede que entidades criem seus próprios casos de teste, porém se alguma entidade associada ao fórum SBTVD considerar que algum caso de teste da suíte de teste oficial deve ser removida ou acrescentar algum novo caso de teste, esse procedimento deve ser realizado mediante reuniões do módulo técnico e aprovação de seus membros.
3 Análise de Cobertura dos casos de teste do
Fórum SBTVD
Como já visto anteriormente, esta dissertação foi realizada no contexto da equipe de desenvolvimento da empresa MOPA Embedded Systems, mais especificamente, no contexto do processo de testes do middleware Ginga. Tal processo baseia-se fortemente na suíte de 2.812 casos de testes definidos pelo fórum do Sistema Brasileiro de TV Digital (SBTVD). Os testes do fórum SBTVD são obrigatoriamente executados pela empresa porque seus resultados servem de base ao documento de declaração do fornecedor, o qual deve garantir que o middleware Ginga esteja totalmente aderente aos requisitos de um dos perfis definidos na norma ABNT NBR 15606-1, Seção 9 (ABNT,2018, p. 35).
Os casos de testes do fórum SBTVD são definidos como especificações de aplicações NCL que exercitam o código do middleware Ginga. Estes testes visam cobrir requisitos funcionais e não-funcionais de diferentes funcionalidades do middleware e não requerem o conhecimento do seu código-fonte para serem executados e verificados. Sendo assim, os testes do fórum SBTVD podem ser categorizados como testes funcionais (caixa-preta) no nível de sistema.
Inicialmente, os casos de teste do fórum SBTVD eram executados manualmente por testadores, num processo lento e tedioso. Ao longo do tempo, a equipe de desenvolvimento buscou automatizar estes testes e, para isso, desenvolveu a ferramenta de automatização para ambiente desktop chamada de screen-tester, que utiliza uma estratégia de teste denominada Record and Replay. Essa estratégia é uma maneira de automatizar os testes sem que exista necessariamente o conhecimento do código. A ferramenta screen-tester permite que ações pré-determinadas sejam configuradas em um arquivo de configuração e lidos para cada caso de teste. Dessa forma, o teste pode ser gravado e sua saída pode depois ser comparada com o estado corrente da aplicação. Essa comparação realizada pelo screen-tester é denominada na literatura de oráculo de teste (Barr et al., 2015). O oráculo de teste é um instrumento, diferente do sistema sob teste, pelo qual se decide se uma determinada saída de uma execução do sistema está de acordo com a saída esperada.
Resumidamente, o screen-tester automatiza a execução do Ginga e das aplicações NCL especificadas pelos testes do fórum SBTVD e emula entradas que simulam os botões do controle remoto da TV através de uma estratégia Record and Replay. Para verificar o comportamento da versão atual do Ginga, a screen-tester registra um screen shot do estado final da aplicação NCL para cada caso de teste e compara-o a uma imagem que representa o estado final da mesma aplicação NCL numa versão anterior do Ginga. Isso é o que pode-se denominar de oráculo de teste para o sistema. Desta forma, é realizado
um tipo de teste de regressão para verificar se mudanças realizadas no código do Ginga introduziram mudanças no comportamento das aplicações NCL.
É importante ressaltar que o processo de teste adotado pela empresa MOPA encontra-se em um estágio de maturidade inicial, evoluindo de um estágio em que o processo de testes baseava-se na execução manual dos testes do fórum SBTVD para um estágio em que o processo de teste passa a contar com uma suíte de testes automatizados para identificar regressões durante os ciclos de desenvolvimento. Cabe ressaltar também que, num momento posterior, os testes do fórum SBTVD são executados manualmente no ambiente da placa da TV, que é o ambiente em que o Ginga será operado em produção.
Neste contexto de maturação do processo de testes da empresa MOPA, em especial da automatização dos testes do fórum SBTVD, percebeu-se a necessidade de avaliar e mensurar a efetividade da suíte de testes automatizados executada em ambiente desktop com o apoio da ferramenta screen-tester. Considerando que a suíte de testes automatizados está exercitando o código-fonte do middleware Ginga através da execução das aplicações NCL, decidimos avaliar o grau em que o código do Ginga é exercitado nesta estratégia de automatização dos testes do fórum SBTVD. Em outras palavras, usaremos um critério de cobertura como um critério de avaliação da efetividade da suíte de teste. Assim, é esperado coletarmos dados iniciais que evidenciem até que ponto a suíte de testes automatizando os casos de testes do fórum SBTVD realizada pela empresa MOPA cobre as principais partes do código do Ginga, apoiando a equipe de desenvolvimento a decidir se e até que ponto tal suíte é minimamente efetiva em detectar defeitos no código do middleware Ginga.
Este capítulo está dividido da seguinte forma: Na seção (3.1) é descrita a ferramenta desenvolvida pela empresa para automatização dos testes visuais. Na seção (3.2) é descrita a metodologia utilizada para coletar e analisar os dados da cobertura dos testes do fórum SBTVD, e na seção (3.3) são mostrados o resultados obtidos com a análise da cobertura dos testes.