Em resumo e como já temos observado, para sistematizar o processo de execução dos experimentos foram criadas várias rotinas em linguagem shell script para Linux. Para cada cenário, um ou mais scripts executaram comandos que representaram as ações de cliente, servidor, switch, controlador, e analisador de tráfego, sequencialmente. Os scripts, ao final de cada execução, copiaram seus arquivos salvos localmente para um diretório compartilhado num servidor de armazenamento com capacidade para 100 GB, que ficou disponível em todos os sistemas operacionais do AEV. Com base em (LARSON; FARBER, 2010, p. 221), para dar confiança estatística aos dados, foi determinada a quantidade de 30 repetições para cada cenário de teste, o que permitiu um nível de confiança de 95%. Os testes foram planejados em conformidade com RFC’s como (CONSTANTINE; KRISHNAN, 2015) que descreve uma metodologia para benchmarking de tráfego indicando apenas números mínimos de 10 repetições e duração de 60 segundos para cada iteração nos testes.
Neste capítulo, definimos todos os aspectos relativos à montagem e execução dos experi- mentos no cenário real inter-campi e dentro do AEV. Mostramos todos os detalhes necessários para medir e configurar as características do cenário real inter-campi, além de mostrar as es- pecificidades para execução dos cenários no AEV, antes e depois da solução com SDN e QoS. Todos os scripts aqui mencionados foram executados por vários dias e geraram um volume de dados considerável no storage, esses dados foram organizados (muitas vezes manualmente) com auxílio das ferramentas e são apresentados e explicados no próximo capítulo.
74 74 74
5
ANÁLISE E APRESENTAÇÃO DOS DADOS
Neste capítulo tratamos da análise dos dados coletados e apresentação dos mesmos graficamente.
Primeiro é realizada a caracterização da rede inter-campi (UFPE Recife - Caruaru) e são feitos comentários sobre os gráficos e métricas apresentadas. Destacamos ainda as ferramentas que foram utilizadas nesse cenário
Em seguida, avaliamos os gráficos gerados com base nos resultados dos experimentos no AEV. Em geral, utilizaremos gráficos de dois tipos, a) série de dados que mostra o valor da métrica para cada iteração no experimento; b) Intervalo de dados médios, calculados em função de um nível de confiança de 95%, mostrando a evolução do cenário SQ para o 2 CQ no mesmo gráfico, para facilitar a visualização.
Em alguns casos, no mesmo gráfico serão comparadas várias variações de uma determi- nada métrica, como é o caso do jitter, que mostra 4 linhas, de (jitter médio SQ, jitter máximo SQ, jitter médio SQ e jitter máximo CQ), também com a intenção de facilitar a visualização e a comparação.
5.1 CENÁRIO REAL INTER-CAMPI
Para caracterizar o tráfego inter-campi, analisamos a rede em produção da UFPE, em particular a comunicação entre os campi Recife e Caruaru, localizados nas cidades de mesmo nome, no estado de Pernambuco. Dentro da rede de cada campus foi utilizada uma máquina virtual, e foi liberada a comunicação específica para que os testes de tráfego ocorressem de forma segura entre os dispositivos. Nestas máquinas foram instaladas as ferramentas para geração de tráfego, recepção do tráfego e análise da comunicação, como mostra o Quadro 5.1.
Durante as transmissões de vídeo foi realizada coleta de todos os pacotes que trafegaram, com auxílio da ferramenta tshark, que executa as funções do wireshark em linha de comando. Com a ferramenta speedometer foi medida a vazão nas interfaces e com o cvlc, opção de linha de comando do VLC, foi realizada a transmissão e o recebimento do vídeo, via RTP.
A estrutura básica da comunicação inter-campi (Recife - Caruaru) é mostrada na Fi- gura 5.1. A universidade possui atualmente uma conexão de 100 Mbps de largura de banda
CAPÍTULO 5. ANÁLISE E APRESENTAÇÃO DOS DADOS 75 Quadro 5.1: Ferramentas utilizadas no cenário em produção
Ferramenta Principal função
Iperf31 medidor de tráfego
VLC2 servidor/cliente RTP
ping3 testes ICMP (RTT)
wireshark/tshark4 coletor e analisador de pacotes RTP
ssh5 acesso remoto
speedometer6 monitoramento de vazão Fonte: elaborado pelo autor
Figura 5.1: Visão geral da rede real
Fonte: elaborado pelo autor
disponível entre as redes dos seus dois campi. Para caracterizar o tráfego de vídeo na rede, foram realizados testes (30 repetições) na rede em produção, isso para reproduzir uma suposta situação real de uso da rede, em que um servidor de vídeo estaria localizado em Recife disponibilizando um conteúdo de vídeo em HD, um usuário no campus Caruaru requisita esse conteúdo que é enviado pelo servidor. Para isso foram configurados um servidor de vídeo em Recife e um cliente (receptor) de vídeo em Caruaru. A requisição do cliente, no experimento, foi realizada durante horário normal de experiente da Universidade, e assim, o tráfego do vídeo foi misturado a um tráfego real sendo consumido ao fundo. Vale ressaltar que na rede real inter-campi, atualmente, nenhum tipo de tratamento de prioridade é dado a nenhum tipo de aplicação.
Antes de iniciar o tráfego de vídeo RTP, foram realizados alguns testes mais básicos com a ferramenta "iperf3", com envio de tráfego do cliente ao servidor. No primeiro teste, injetando tráfego TCP, verificou-se a capacidade máxima da conexão atingida durante aquele período. Como essa análise isolada não faz parte do nosso escopo, é possível apenas comentar que em 100% das repetições de medição com TCP, a média de vazão real disponível no link variou
abaixo de 40% da sua capacidade nominal de 100 Mbps.
Na injeção de tráfego UDP, foi necessário definir a carga de banda em Mbps. Por segurança, esse teste foi realizado no período da madrugada, visto que o UDP não tem controle
CAPÍTULO 5. ANÁLISE E APRESENTAÇÃO DOS DADOS 76
e poderia gerar uma sobrecarga prejudicial à rede num horário de funcionamento normal dos campi. Num primeiro momento foi realizada a coleta com essa vazão definida ao valor máximo de de 100 Mbps, durante o experimento percebemos que mesmo solicitando o envio de dados a 100 Mbps, o tráfego não ultrapassou os 30 Mbps. Em se tratando de tráfego UDP e verificados os logs do "iperf3", percebemos que muitos pacotes estavam sendo descartados, algo em torno de 70%. Baseados nessa resposta dos logs, no teste seguinte essa vazão foi reduzida para 30 Mbps e ainda se observou perda. Apenas quando reduzida para 25 Mbps obtivemos um tráfego UDP normal com descarte mínimo. A relação entre vazão configurada e perda de pacotes obtida é mostrada no Figura 5.2
Figura 5.2: Gráfico: Relação Configuração da vazão vs. Perda: Inter-campi
Fonte: elaborado pelo autor
O último teste realizado no ambiente real foi com o tráfego de vídeo RTP. Utilizamos o vídeo em HD em experimentos de 150 segundos. Todos os pacotes foram capturados e os arquivos de saída do vídeo foram armazenados. Após serem definidos os parâmetros e comandos necessários locais e remotos, a rotina das 30 repetições da transmissão do vídeo foi automatizada através de shell script e os dados foram coletados. Os parâmetros de configuração do script para todas as ferramentas utilizadas foram utilizados conforme o Código 6.6
Os detalhes acerca dos resultados dessa análise do cenário real inter-campi são apresen- tados nas próximas seções para cada métrica avaliada.
5.1.1 Atraso
Foi avaliado o tempo que um pacote levou entre o servidor e o cliente, através do Round Trip Time (RTT), foram realizadas requisições Internet Control Message Protocol (ICMP) através da ferramenta "ping", disponível no Linux, a ferramenta calculou os tempos (médio e máximo) que o cliente ICMP levou entre o envio da sua requisição e recebimento da resposta. Foram enviados 30 vezes o comando que requisitava 30 respostas (no final eram calculadas as estatísticas de RTT). Com isso fizemos um cálculo da média dos 30 valores médios. Podemos observar os
CAPÍTULO 5. ANÁLISE E APRESENTAÇÃO DOS DADOS 77
resultados na Figura 5.3. O intervalo de valores médios de atraso com nível de confiança de 95% foi de 4,11 ms chegando o pico ao valor máximo de 28,18 ms. Com esses valores pudemos fazer uma estimativa de atraso da rede.
Figura 5.3: Gráficos de RTT: Inter-campi
(a) RTT (b) Intervalos de RTT (95% IC)
Fonte: elaborado pelo autor
5.1.2 Rede real inter-campi: Vazão
Em relação à métrica vazão que foi observada no tráfego de vídeo entre Recife e Caru- aru, foi verificado que o vídeo precisava trafegar a uma taxa próxima à taxa de referência da codificação, em torno de 5,5 Mbps, no entanto, observamos na Figura 5.4 a) uma taxa que variou muito em cada experimento, o que demostrou que poderia haver alguma instabilidade no link. A Figura 5.4 b) apresenta o valor médio e as barras referentes ao nível de confiança de 95%. O tráfego alcançou uma média de 5,08 Mbps.
Figura 5.4: Gráficos de Vazão: Inter-campi
(a) Vazão (b) Intervalo de Vazão (95% IC)
Fonte: elaborado pelo autor
Vale ressaltar que foi possível ficar próximo da velocidade requerida pelo vídeo, o que é o ideal, mas os testes foram realizados numa rede em situações normais, sem sobrecarga aparente, dessa forma podemos dizer que a velocidade do vídeo foi compatível. É necessário compreender
CAPÍTULO 5. ANÁLISE E APRESENTAÇÃO DOS DADOS 78
para esta métrica, que caso o vídeo trafegasse a uma taxa muito abaixo da taxa de referência do vídeo (menor que 5 Mbps), muitos pacotes seriam descartados, o que implicaria em quadros faltando na visualização do vídeo, degradando a sua percepção pelo usuário final.
5.1.3 Rede real inter-campi: Perdas
Para a métrica "perdas", optamos por colocar no mesmo gráfico as perdas de quadros e perdas de pacotes, por serem valores que apresentam valores similares, haja visto o comporta- mento das linhas da Figura 5.5 a). Em teoria, um quadro é formado por vários pacotes, e a perda de um pacote pode implicar na perda deste quadro. Portanto espera-se um número absoluto maior do número de pacotes perdidos, porém proporcionalmente as duas perdas se assemelham, o que ocorreu na comunicação de vídeo entre Recife e Caruaru. O valor médio de perda de pacotes com nível de confiança de 95% foi de 4,27% de pacotes perdidos, que devido às oscilações da rede e do tráfego real, chegou a atingir um valor máximo de 13,7% de perda. Esse valor de perda é aceitável num tráfego de vídeo, quadros são perdidos no vídeo, mas a informação geral do vídeo continua inteligível. Muitas vezes esses quadros faltantes nem são percebidos pelo usuário, já que nesse vídeo, por exemplo, são exibidos cerca de 24 quadros em um segundo.
Figura 5.5: Gráficos de Perdas (de Pacotes e de Quadros): Inter-campi
(a) Perda (b) Intervalos de Perda (95% IC)
Fonte: elaborado pelo autor
5.1.4 Rede real inter-campi: jitter
A métrica jitter, ou variação do atraso, é uma métrica objetiva de QoS, calculada em milissegundos, que pode ter influência negativa na qualidade dos vídeos. Durante o tráfego do vídeo inter-campi, avaliamos duas medidas, a do jitter médio e o jitter de pico (máximo). Além da importância do valor médio de jitter, que quando adequados denotam a estabilidade no recebimento dos pacotes em tempo certo no cliente, nessas situações onde ocorrem os picos (variações de atraso muito altas), pode significar que um pacote se perdeu, o que pode ocasionar cortes na comunicação (espaços vazios) e ruídos, quando o pacote chegar fora de tempo, interrompendo a fluidez da comunicação. Para comunicações em multimídia, em geral,
CAPÍTULO 5. ANÁLISE E APRESENTAÇÃO DOS DADOS 79
RAHRER; FIANDRA; WRIGHT (2006) recomenda variações de atraso abaixo de 50 ms para fluxos de alta definição codificados em MPEG-4. Nos testes visualizados na Figura 5.6 obtivemos valores médios de jitter baixos, já os de pico se aproximaram do limite recomendado, chegando próximo dos 45 ms, o que pode ser considerado aceitável, mas pode ser um fator a ser deixado em observação. Analisamos então que para essa métrica, o vídeo trafegou normalmente, podendo ter ocorrido falhas durante a reprodução, mas que provavelmente não interferiram na percepção de qualidade e muito menos no entendimento geral do vídeo.
Figura 5.6: Gráficos de jitter: Inter-campi
(a) jitter (b) Intervalos de jitter (95% IC)
Fonte: elaborado pelo autor
Finalizamos aqui a coleta de métricas da rede real inter-campi. Essas informações serviram de base para montarmos o experimento e definirmos as características da rede de teste. Como já relatamos, na rede real seria quase impossível observar o comportamento de um congestionamento por conta de tráfego concorrente, são emulados nos cenários do experimento virtual tais situações de baixa capacidade de vazão.