A Tabela 4.6 apresentada a seguir é composta inicialmente pelas colunas NOME DO TESTE, que apresenta os 15 testes e NOTA MÍNIMA, cuja informação deriva do relatório do NIST da Figura 4.1. Na coluna MÉDIA ALCANÇADA é reproduzida a coluna Proportion Statistical, informação também resgatada da Figura 4.1. Por fim, na coluna SITUAÇÃO, é indicado se a sequência binária avaliada foi aprovada ou reprovada em cada teste.
Tabela 4.6 Exemplo de resultados NIST para 100 sequências de 10^6 bits produzidas por AC
Porém, para a coluna MÉDIA ALCANÇADA, os valores referentes a um único teste são transportados do relatório do NIST. Já para os testes com subtestes é calculada a média, resultando em um único valor, podendo ocorrer valores fracionários.
Desse modo, ao observamos a nova estrutura do relatório, vemos os resultados consolidados e apresentados de uma forma mais concisa. Nota-se que na coluna MÉDIA ALCANÇADA, existem valores que vão de 96 a 100 e de 55 a 58, ao final o valor 78,55 indicando a média das médias. No entanto, essa média não é coerente, pois existem valores com escalas diferentes que foram considerados nesse cálculo, como é o caso dos dois testes Random Excursions.
A NOTA MÍNIMA (valor proveniente do relatório do NIST) indica o número de sequências, dentre as 100 testadas, que deveriam passar no teste para ele ser considerado satisfatório (96 na maior parte dos casos para este exemplo em particular).
Há alguns testes (Random Excursions e Random Excursions Variant) que utilizam os dados de forma distinta, como pode ser verificado em [SYS 2015]. O software do NIST só realiza esses testes se a sequência passar no Frequency Test e o número de ciclos calculados for maior que 500; caso contrário o teste não é aplicado e o resultado do p-value é considerado zero. Nesses dois casos em particular, somente 58 das 100 sequências são usadas pelos programas do NIST e 55 aprovações são exigidas como NOTA MÍNIMA para aprovação.
Por esse motivo, e para deixar os valores de MÉDIA ALCANÇADA nos testes Random Excursions e Random Excursions Variant dentro de uma mesma escala de 0 a 100, fizemos uma adequação de escala nas NOTAS MÍNIMAS e MÉDIAS ALCANÇADAS para esses testes. A razão para os dados fracionários nesses testes se dá por serem constituídos por subtestes.
Então, propomos converter os valores nos testes Random Excursions e Random Excursions Variant, em um intervalo que vai, de 0 a 100 e normalizar a MÉDIA ALCANÇADA neste mesmo intervalo, facilitando o cálculo de uma nova média para quantificar a qualidade dos ACs. Além disso, propomos também anular os valores de MÉDIA ALCANÇADA abaixo da NOTA MÍNIMA exigida, e nivelar a diferenciação entre os valores de aprovação.
Como pode ser observado na Tabela 4.6, há uma grande concentração de notas próximas ao valor máximo possível (100) e até mesmo a NOTA MÍNIMA fica próxima a esse máximo. Esse fato deixa uma faixa muito estreita para comparação entre os diversos ACs e, por esse motivo, propomos uma escala relativa de comparação que transforma o intervalo entre nota mínima e máxima em um intervalo de 0% a 100%. A MÉDIA ALCANÇADA no teste é então convertida para esse intervalo e recebe o nome de Fator de Qualidade Inicial (FQI), como mostrado na Eq. (4.1). Observe que notas obtidas abaixo da nota mínima resultam em FQI nulo, de maneira a levar em conta apenas as notas de testes onde ocorreu aprovação.
FQI = max(0, (MÉDIA ALCANÇADA - NOTA MÍNIMA) / (Nota Máxima - NOTA MÍNIMA) x 100%) (4.1)
Como desejamos comparar diversos ACs, precisamos de um FQI médio que mostre a efetiva contribuição de cada teste em que a sequência tenha sido aprovada (mesmo que com nota no mínimo necessário) e que também reflita, ainda que indiretamente, o número de aprovações. Na forma definida para FQI não é possível fazer uma distinção entre um FQI = 0 de um teste que aprovou a sequência no limite (nota mínima) e o de um teste que tenha reprovado a sequência.
Para alcançar o propósito de um FQI médio mais representativo, definimos uma Nota Mínima de Referência (NMR) situada no primeiro ponto abaixo da Nota Mínima definida pelo teste do NIST (isto é, NMR = NOTA MÍNIMA - 1), como pode ser observado na Tabela 4.7 e Eq. (4.2). Assim, que todas as notas iguais ou inferiores à NMR passam a ter FQ igual a zero.
Desse modo, para cada conjunto de 100 sequências binárias testadas, calculamos um FQ médio somando todos os FQs calculados pela Eq. (4.2) e, com isso, dividimos pelo total de 15 testes. Portanto, quanto menos testes aprovados (são os que contribuem efetivamente para o cálculo da média), mais baixo será FQ Médio, mesmo que os FQs dos testes aprovados sejam altos. Isso pode ser observado na coluna FATOR DE QUALIDADE.
FQ = max (0, (MÉDIA ALCANÇADA - NMR) / (Nota máxima - NMR) x 100%) (4.2)
Tendo criado esse fator de qualidade e calculado o FQ médio dos 15 testes, é possível agora fazer comparações entre os diversos ACs. Essa comparação é feita por meio do FQ médio, já que ele mostra quão satisfatória foi a avaliação do conjunto de sequências binárias produzidas por um determinado AC. A Tabela 4.7 apresenta um exemplo de como ficaria o parâmetro FQ após os ajustes descritos na Eq. (4.2).
Além do número de sequências aleatórias aprovadas nos testes, os relatórios fornecem também um valor estatístico p-value (teste de hipótese nula indicado nos relatórios como P-VALUE) para melhor qualificar cada resultado.
Os valores de P-VALUE próximos de um indicam sequências mais aleatórias. Propomos, então, utilizar o produto do Fator de Qualidade pelo P-VALUE de cada teste, como uma métrica que representa melhor o quão bem se saíram as sequências analisadas nesse teste específico.
Tabela 4.7 Exemplo de resultados NIST para 100 sequências de 10^6 bits produzidas por AC regra 30 de 32 células usando FQ
Dessa maneira, quanto maiores forem o FQ e o P-VALUE de cada teste, maior será o produto e mais bem avaliada será a sequência nesse teste. Já a métrica final responsável por consolidar a qualidade da sequência aleatória em relação aos testes padronizados pelo NIST será dada, então, pela média aritmética simples dos produtos FQi x P-VALUE i (Eq. 4.3).
𝑀é𝑑𝑖𝑎 𝐹𝑖𝑛𝑎𝑙 =
∑𝑖= 𝐹 𝑖∗ 𝑖(4.3)
Com essa métrica, a consolidação de vários resultados de testes estatísticos em um só valor pode ser vista como uma medida da qualidade relativa (ou da aleatoriedade) da sequência de bits analisada.
A Média Final definida acima pode não ser a melhor alternativa e estudos futuros buscarão outras formas, como média geométrica, por exemplo. Com outros tipos de média será possível destacar o papel de testes ruins, colocando mais peso nos mesmos. Isso pode ser interessante, pois são os testes aprovados, mas com baixas notas, que irão definir a qualidade de uma sequência aleatória.
4.6 Conclusões
Neste capítulo apresentamos uma metodologia para comparação e identificamos elementos importantes para sua realização, tais como: definição dos parâmetros de tamanhos (32, 64 e 128); estratégia de coleta de bits (se por linha, plano, ou por coluna); e a quantidade necessária de sequências a serem submetidas aos testes do NIST.
Apresentamos também as dificuldades de interpretação dos testes do NIST e as soluções para resolver esses problemas, como a criação de uma nova métrica.
No próximo capítulo serão apresentados os resultados consolidados com o uso da nova métrica.