14 - GESTION DES RISQUES

E por último, calculamos a Similaridade Estrutural, outra métrica comparativa pós PSNR que utiliza a distorção estrutural para calcular as distorções em imagens. Como podemos ver na Figura 5.14, confirma-se a melhoria na qualidade da percepção do vídeo, onde obtivemos valores melhores, que no caso do SSIM deve ser o mais próximo de 1. Nos gráficos também observamos menos variações, o que demonstra mais uma vez um comportamento mais estável no cenário após a configuração de QoS.

Finalizando este capítulo de análise e apresentação dos dados podemos concluir que a abordagem de caracterização da rede inter-campi foi adequada e permitiu realizar os experimentos no AEV. Sobre os experimentos no AEV, podemos concluir que foram eficazes permitindo observar o comportamento de tráfego. Em linhas gerais, obtivemos melhores valores de métricas de qualidade quando habilitamos o cenário com QoS, isso fica comprovado após a presentação

CAPÍTULO 5. ANÁLISE E APRESENTAÇÃO DOS DADOS 84

Figura 5.14: Gráficos de SSIM: Experimentos AEV

(a) SSIM (b) Intervalos SSIM (95% IC)

Fonte: elaborado pelo autor dos gráficos e valores neste capítulo.

No capítulo seguinte faremos as considerações finais sobre o trabalho e sobre a elaboração deste documento.

85 85 85

6

CONCLUSÕES

Nessa proposta, identificamos como principal contribuição a construção de uma me- todologia flexível e adequada à experimentação em SDN / OvS / OF para análise de tráfegos concorrentes, onde podemos tomar como exemplo a nossa abordagem que utilizou vídeo RTP e de background. Depois de testes em alguns cenários como mininet, chegamos à conclusão de que nosso objetivo só seria atendido com a criação desse cenário baseado em máquinas e redes virtuais. A partir deste nosso trabalho torna-se possível o surgimento de vários outros usando essa mesma metodologia e personalizando o Ambiente virtual de experimentação.

Após todo o processo de pesquisa, avaliação do cenário real e prova de conceito sobre priorização com OF, tivemos algumas realizações.

Foi realizada uma análise do estado da arte em pesquisas relacionadas QoS e QoE baseadas em SDN. Muitas outras soluções foram vistas, o que já nos deixa atentos para novas abordagens futuras. Nessa análise conseguimos fazer comparações a respeito das características das principais soluções. Outros artigos ainda foram analisados, mas não foi possível inseri-los neste trabalho. Concluímos que muito trabalho foi realizado e muito conhecimento foi adquirido; Do ponto de vista profissional, como é objetivo desse trabalho, observamos que poucos métodos de controle institucionais existem atualmente. Essa iniciativa é de certa forma pioneira e desperta o interesse em se estudar o tráfego institucional de ambientes reais e propor soluções diversas baseadas no promissor paradigma SDN e nos recursos do protocolo OpenFlow;

Outra realização do trabalho foi a análise de métricas de QoS no tráfego de vídeo dentro da estrutura real em produção, avaliando a comunicação entre dois campi universitários, Recife e Caruaru. Essa iniciativa também teve um certo pioneirismo e a partir dela pode-se pensar em formas de monitorar e controlar as características desse tipo de comunicação. Esse estudo mostrou que foi viável fazer experimentações sem prejudicar o funcionamento da instituição;

Sobre a análise do tráfego, em linhas gerais observamos que as técnicas de priorização e classificação de tráfego proporcionadas pelo protocolo Openflow no paradigma SDN são eficazes. Para todas as métricas coletadas obtivemos valores melhores quando habilitamos a priorização, o que pode ser muito bem utilizado dentro de um ambiente educacional onde existem aplicações que podem ser consideradas prioritárias.

CAPÍTULO 6. CONCLUSÕES 86

6.1 PERGUNTAS DE PESQUISA

E em relação à pergunta de pesquisa inicialmente realizada: É eficaz prover o controle de QoS, através de priorização de tráfego institucional, em redes definidas por software, avaliando QoE em ambientes em produção?

Após todo o processo de testes e prova de conceito, podemos afirmar que sim, através dos recursos do protocolo OF é possível obter Qualidade de serviço nas redes institucionais, e, consequentemente melhorar a Qualidade de experiência do usuário. No entanto, precisaremos verificar melhor a eficiência dos métodos de avaliação das métricas de QoE quando realizadas no âmbito do tráfego sobre um meio onde há perdas de quadros até o seu recebimento no destino.

6.2 OBJETIVOS ALCANÇADOS

Sobre o objetivo geral traçado desde o início, o desempenho da solução baseada em SDN para QoS com priorização de tráfego foi analisado e um modelo inicial foi proposto para permitir o desenvolvimento de uma aplicação para controle de QoS.

Em relação os objetivos específicos:

 Um Ambiente de experimentação virtual específico foi construído desde o início, como esperado. Foram testadas muitas ferramentas até a escolha final das mais ade- quadas, o AEV funcionou perfeitamente atendeu inteiramente aos nossos propósitos, esse modelo permite no futuro até mesmo aumentar a escala e a configuração dos experimentos. Vários scripts foram gerados para criação dos cenários facilitando trabalhos futuros. Isso foi de fato importante, até mesmo para permitir que a pesquisa possa sair mais facilmente do papel, numa estrutura como essa, além de mostrar- mos viabilidade de configuração, nos permite a montagens de cenários na forma de protótipos que podem ser migrados para produção muito rapidamente;

 A transmissão real inter-campi foi analisada. Avaliamos o máximo possível da comunicação, sempre com a preocupação de ter base em aplicações reais e cuidado para que o funcionamento da rede real não fosse prejudicado. Esse trabalho de avaliação real também pode ser considerado um ponto de partida, a partir dele novas análises podem ser propostas baseadas no mesmo modelo, e como os cenários foram executados através de scripts fica muita mais fácil ajustar esse modelo;

 Técnicas de transmissão e métricas de Qualidade utilizadas nos paradigmas tradicio- nais e foram analisadas e associadas ao funcionamento em SDN, em geral as mesmas técnicas foram aplicadas e o funcionamento foi adequado;

 As principais métricas objetivas de Qualidade de Serviço e Qualidade de Experiência foram analisadas em cenários de utilização com RTP, desta forma foi possível

CAPÍTULO 6. CONCLUSÕES 87

compreender as formas e ferramentas para calculá-las, e aprender sobre os modos de funcionamento para melhor utilizá-las posteriormente;

 Foi testada uma proposta uma solução de controle de QoS, baseada em técnicas de baixa complexidade através da classificação e enfileiramento Openflow, o que seria compatível com mecanismos de muitos switches legados, e ao mesmo tempo habilita SDN;

 Ao fim, confirmamos que as estratégias de priorização são eficientes para melhoria das métricas de qualidade de vídeo em tempo real. Baseado na proposta de sistema de controle de QoS, será desenvolvida uma solução para ajuste dinâmico de QoS baseado em SDN/OF.

6.3 LIMITAÇÕES DO TRABALHO

Vale a pena ainda ressaltar algumas limitações que tivemos que impor a este trabalho: Inicialmente, trabalharíamos com duas hipóteses, mas que não acabamos não encontra- mos meios e ferramentas institucionais que nos permitissem prová-las justificando ainda mais a necessidade da nossa proposta: a) que o tráfego de vídeo é relevante dentro de uma instituição educacional; e b) o referido tráfego inter-campi é relevante e representativo para uma instituição; Por restrições de tempo, e visto que a UFPE não possuía dispositivos SDN disponíveis na rede de produção para realização de experimentos, nem foi possível instalar, não realizamos os testes na rede real com dispositivos SDN. Desta forma não foi possível num segundo momento, na rede real, avaliarmos o impacto que SDN causaria na rede e compararmos os cenários antes e depois de SDN.

Devido à problemas de implementação no controlador Opendaylight (DOL) utilizado inicialmente, migramos deste software o controlador de rede Ryu, o utilizamos por pouco tempo, o que acabou impossibilitando o desenvolvimento das aplicações de controle dinâmico (iniciamos o módulo de cálculo de estatísticas do tráfego), o que acabou limitando a implementação da proposta.

6.4 DIFICULDADES ENCONTRADAS

Algumas dificuldades encontradas foram:

Devido ao trabalho envolver três temas grandes como SDN, QoS e QoE, Foi preciso dedicar muito tempo à análise de literatura de várias áreas, vários artigos ainda ficaram de fora desse documento. Houve muita dificuldade em encontrar um modelo de experimento, foi necessário agir inicialmente por tentativas alternando entre acerto e erro, em seguida aprovei- tando as abordagens de trabalhos relacionados, mas o nosso acabou sendo feito de forma bem personalizada. De qualquer forma isso acabou demandando tempo acima do esperado.

CAPÍTULO 6. CONCLUSÕES 88

A montagem do experimento foi feita toda do zero, como não haviam, precisamos definir todos os parâmetros, comandos e configurações testando um a um, diversas repetições adicionais foram realizadas. No início, muito foi feito manualmente, só depois de definido cada parâmetro foi possível testar e montar os scripts dos experimentos.

Outra dificuldade encontrada foi o grande volume de dados coletados, tanto que ao final chegamos a uma base de aproximadamente 1500 arquivos armazenados, o que inclui os dados dos experimentos feitos com tráfego isolado (UDP, TCP e RTP). Se contarmos a quantidade de vezes que foi necessário repetir os experimentos e gerar novos arquivos e apagar, teríamos uma quantidade de arquivos ainda bem superior.

Diferentemente dos trabalhos que utilizam experimentação em ambientes controlados, como no mininet, Ns-2 e "evalvid", trabalhar com tráfego e aplicações reais é um desafio bem complicado e transformamos esse desafio num compromisso, isso por que tentamos tornar o trabalho factível e não apenas deixá-lo como mais uma pesquisa em laboratório a ser arquivada. Uma série de plataformas, sistemas e ferramentas tiveram que ser analisadas até se definir um modelo para experimentação, o que também acabou tomando muito tempo;

6.5 TRABALHOS FUTUROS

Como possíveis trabalhos futuros e como continuação dessa pesquisa, teremos pela frente:

Pretendemos avançar com a criação da aplicação de monitoramento e controle dinâmico de QoS baseado em SDN e controlador Ryu aqui proposta;

Pretendemos avaliar uma implementação incluindo o protocolo OF-Config que pode ter um papel importante no controle de QoS, sendo muito útil na configuração remota de dispositivos OF;

Esse trabalho poderia ser estendido a mais casos de uso, avaliando o tráfego de vídeos em altíssima resolução (4K e futuramente 8K) e de maior duração. É possível pensar numa solução para distribuição de vídeo que incorpore esquemas SVC, ABR, e outras métricas e abordagens de avaliação QoE. Seria interessante também variar os tipos de vídeo utilizados e incluir aplicações reais como os sistemas de web e videoconferência da instituição;

Cogitamos expandir os testes e até comparações utilizando outros switches SDN, como OpenWRT e ofsoftswitch do CPQD, habilitando a utilização dos Medidores para limitação de tráfego. Nesse último, com suporte completo ao OF 1.3, é possível se adotar uma abordagem baseada na medição em tempo real das taxas de fluxos de forma ainda mais eficiente;

Foi inicialmente idealizado e pretende-se evoluir a pesquisa para a elaboração de uma abordagem para classificação de tráfego em SDN, de forma automatizada, integrada a ferramentas de Deep Packet Inspection (DPI);

Numa transferência em tempo real por um canal de comunicação é comum ocorrerem perdas. E as métricas objetivas que calculam QoE como PSNR, VQM e SSIM realizam com-

CAPÍTULO 6. CONCLUSÕES 89

paração quadro a quadro de um vídeo original (enviado) com o vídeo processado (recebido). Percebemos durante este trabalho, que ao compararmos os vídeos, os valores das métricas absolutos de QoE representavam sempre uma qualidade considerada na literatura como baixa (per exemplo, PSNR < 20). Visualizando os vídeos percebemos que isso não corresponde à realidade. No nosso entendimento, as perdas acontecem desde o início do vídeo, então os espaços dos quadros perdidos vão sendo ocupados pelos próximos, o que se propaga por todo o vídeo, tirando quase todos os quadros de ordem. Na hora do cálculo da métrica, não há uma referência (um ID) do quadro, e a comparação é baseada na ordem de chegada dos mesmos. Com essa desordenação do vídeo recebido, a comparação é sempre feita com os quadros errados. As ferramentas populares (como "ffmpeg"e "msu") detectam, mas não criticam antes do cálculo que há diferença na quantidade de quadros entre original e o processado, e calculam normalmente dando a falsa impressão de que sincronizam os vídeos, o que na prática não ocorre ocorreu. Como concluímos que essas métricas não são tão eficientes para esse tipo de avaliação, em trabalho futuro, gostaríamos de estudar melhor esse problema com o objetivo de propor outras métricas de avaliação de QoE nesse ambiente de transmissões com perda.

6.6 CONSIDERAÇÕES FINAIS

Ao final deste trabalho, podemos concluir que SDN é um paradigma relativamente novo e que traz muitas possibilidades às redes de computadores do presente e do futuro, desta forma não é possível se conceber soluções de rede, atualmente, sem pensar na migração para SDN. Isto já é uma necessidade imediata dada a demanda e requisitos que temos das aplicações atuais. E além de tudo, numa instituição de educação é importante ter-se também um ambiente propício a inovação. Desde o nosso estudo inicial da literatura, identificamos várias técnicas que foram utilizadas em diversos ambientes e que podem ser aproveitadas dentro do ambiente educacional. Nesse estudo inicial, dada a demanda crescente de vídeos e multimídia educacional, fizemos este trabalho de priorização de tráfego, que é algo que não vemos sendo realizado na UFPE, por exemplo. Soluções como esta não seriam fáceis de experimentar na rede real, por isso criamos um ambiente de virtual capaz de provar os nossos conceitos e hipóteses de forma segura. Posteriormente, poderemos avançar no sentido de trazer uma solução real aplicada diretamente à instituição. Neste trabalho pudemos verificar, analisando cenários de restrição de banda, que a solução de priorização se mostra eficiente, restando agora montar um arcabouço (não mais teórico) para implementar e testar as soluções que forneçam controle dinâmico trazendo a inteligência para a o centro da rede. Nossos dados mostraram que é possível analisar o QoS da rede e que é possível avaliar a rede real reproduzindo-a num ambiente de experimentação virtual. Por fim, destacamos que utilizando todo esse conhecimento aqui adquirido, sobretudo em SDN, QoS e QoE, deixamos aberto um promissor caminho para o surgimento de aplicações que possam melhorar os serviços e aplicações institucionais.

90 90 90

REFERÊNCIAS

AGBOMA, F.; LIOTTA, A. QoE-aware QoS management. Proceedings of the 6th

International Conference on Advances in Mobile Computing and Multimedia MoMM 08, [S.l.], p.111–116, 2008.

AKELLA, A. V.; XIONG, K. Quality of Service (QoS)-Guaranteed Network Resource Allocation via Software Defined Networking (SDN). In: IEEE 12TH INTERNATIONAL CONFERENCE ON DEPENDABLE, AUTONOMIC AND SECURE COMPUTING, 2014. Anais. . . [S.l.: s.n.], 2014. p.7–13.

ALRESHOODI, M.; WOODS, J. Survey on Qoe

Qos Correlation Models Formultimedia Services. International Journal of Distributed and Parallel systems, [S.l.], v.4, n.3, p.53–72, may 2013.

BHATTACHARYA, B.; DAS, D. SDN based architecture for QoS enabled services across networks with dynamic service level agreement. In: IEEE INTERNATIONAL CONFERENCE ON ADVANCED NETWORKS AND TELECOMMUNICATIONS SYSTEMS (ANTS), 2013. Anais. . . IEEE, 2013. p.1–6.

BLAKE, S. et al. An Architecture for Differentiated Services. [S.l.]: RFC Editor, 1998. RFC, http://www.rfc-editor.org/rfc/rfc2475.txt. (2475).

BRADEN, B.; CLARK, D.; SHENKER, S. Integrated Services in the Internet Architecture: an overview. [S.l.]: RFC Editor, 1994. RFC,

http://www.rfc-editor.org/rfc/rfc1633.txt. (1633).

BRADNER, S.; MCQUAID, J. Benchmarking Methodology for Network Interconnect Devices. [S.l.]: RFC Editor, 1999. RFC,

http://www.rfc-editor.org/rfc/rfc2544.txt. (2544).

BUENO, I. et al. An OpenNaaS Based SDN Framework for Dynamic QoS Control. In: IEEE SDN FOR FUTURE NETWORKS AND SERVICES (SDN4FNS), 2013. Anais. . . IEEE, 2013. p.1–7.

CARAGUAY, A.; FERNáNDEZ, J.; VILLALBA, L. Framework for optimized multimedia routing over software defined networks. Computer Networks, [S.l.], v.92, Part 2, p.369 – 379, 2015.

CHEN, Y.; WU, K.; ZHANG, Q. From QoS to QoE A Tutorial on Video Quality Assessment. IEEE Communications Surveys & Tutorials, [S.l.], v.17, n.2, p.1126–1165, 2015.

CISCO AND AFFILIATES. The Zettabyte Era. Trends and Analysis. Cisco white paper, [S.l.], p.1–32, 2017.

CISCO AND AFFILIATES. Cisco Visual Networking Index. Technical Report, Cisco, Tech. Rep., [S.l.], p.1–3, 2017.

REFERÊNCIAS 91

COLEMAN, D. A DOE handbook : a simple approach to basic statistical design of experiments. United States: publisher not identified, 2014.

CONSTANTINE, B.; KRISHNAN, R. Traffic Management Benchmarking. [S.l.]: RFC Editor, 2015. RFC. (7640).

CPqD; ERICSSON INNOVATION CENTER. OpenFlow 1.3 Software Switch. Online; accessed 24-June-2017, https://github.com/CPqD/ofsoftswitch13.

EGILMEZ, H. E.; TEKALP, A. M. Distributed QoS Architectures for Multimedia Streaming Over Software Defined Networks. IEEE Transactions on Multimedia, [S.l.], v.16, n.6, p.1597–1609, oct 2014.

FARSHAD, A. et al. Leveraging SDN to provide an in-network QoE measurement framework. In: IEEE CONFERENCE ON COMPUTER COMMUNICATIONS WORKSHOPS

(INFOCOM WKSHPS), 2015. Anais. . . IEEE, 2015. v.2015-Augus, p.239–244.

GEORGOPOULOS, P. et al. Using Software Defined Networking to enhance the delivery of Video-on-Demand. Computer Communications, [S.l.], v.69, p.79 – 87, 2015.

GORANSSON, P.; BLACK, C. Software Defined Networks. A Comprehensive Approach. [S.l.]: Elsevier, 2014.

GORLATCH, S.; HUMERNBRUM, T. Enabling high-level QoS metrics for interactive online applications using SDN. In: INTERNATIONAL CONFERENCE ON COMPUTING,

NETWORKING AND COMMUNICATIONS (ICNC), 2015. Anais. . . IEEE, 2015. p.707–711. GORLATCH, S.; HUMERNBRUM, T.; GLINKA, F. Improving QoS in real-time internet applications. from best-effort to Software-Defined Networks. 2014 International Conference on Computing, Networking and Communications (ICNC), [S.l.], p.189–193, 2014.

GOVINDARAJAN, K. et al. Realizing the Quality of Service (QoS) in Software-Defined Networking (SDN) based Cloud infrastructure. In: INTERNATIONAL CONFERENCE ON INFORMATION AND COMMUNICATION TECHNOLOGY (ICOICT), 2014. Anais. . . IEEE, 2014. p.505–510.

GUO, P. J.; KIM, J.; RUBIN, R. How Video Production Affects Student Engagement: an empirical study of mooc videos. In: FIRST ACM CONFERENCE ON LEARNING @ SCALE CONFERENCE, New York, NY, USA. Proceedings. . . ACM, 2014. p.41–50. (L@S ’14). HALEPLIDIS, E. et al. Software-Defined Networking (SDN): layers and architecture terminology. [S.l.]: RFC Editor, 2015. RFC,

http://www.rfc-editor.org/rfc/rfc7426.txt. (7426).

HEINANEN, J. et al. Assured Forwarding PHB Group. [S.l.]: RFC Editor, 1999. RFC. (2597).

HSU, W.-H.; LO, C.-H. QoS/QoE Mapping and Adjustment Model in the Cloud-based Multimedia Infrastructure. IEEE Systems Journal, [S.l.], v.8, n.1, p.247–255, mar 2014. II, H. O.; DURRESI, A. Video over Software-Defined Networking (VSDN). Computer Networks, [S.l.], v.92, Part 2, p.341 – 356, 2015.

REFERÊNCIAS 92

ISHIMORI, A. et al. Control of Multiple Packet Schedulers for Improving QoS on

OpenFlow/SDN Networking. In: SECOND EUROPEAN WORKSHOP ON SOFTWARE DEFINED NETWORKS, 2013. Anais. . . IEEE, 2013. p.81–86.

KIM, H. J. et al. The QoE Evaluation Method through the QoS-QoE Correlation Model. In: FOURTH INTERNATIONAL CONFERENCE ON NETWORKED COMPUTING AND ADVANCED INFORMATION MANAGEMENT, 2008. Anais. . . IEEE, 2008. v.2, p.719–725. KO, N.-S. et al. OpenQFlow. Scalable OpenFlow with Flow-Based QoS. IEICE Transactions on Communications, [S.l.], v.E96.B, n.2, p.479–488, 2013.

KRISHNA, H. Providing End-to-end Bandwidth Guarantees with OpenFlow. 2016. Dissertação (Mestrado em Ciência da Computação) — Delft University of Technology, Netherlands.

KRISHNA, H.; ADRICHEM, N. L. M. van; KUIPERS, F. A. Providing bandwidth guarantees with OpenFlow. In: SYMPOSIUM ON COMMUNICATIONS AND VEHICULAR

TECHNOLOGIES (SCVT), 2016. Anais. . . [S.l.: s.n.], 2016. p.1–6.

LAGA, S. et al. Optimizing scalable video delivery through OpenFlow layer-based routing. In: NETWORK OPERATIONS AND MANAGEMENT SYMPOSIUM (NOMS), 2014 IEEE. Anais. . . [S.l.: s.n.], 2014. p.1–4.

LARSON, R.; FARBER, B. Estatística Aplicada. 4.ed. São Paulo, Brasil: Pearson Prentice Hall, 2010.

LINUX FOUNDATION. Open vSwitch Documentation. Online; accessed 30-June-2017, http://docs.openvswitch.org/en/latest/.

LIU, H. et al. Software Defined Networking for HTTP video quality optimization. In: COMMUNICATION TECHNOLOGY (ICCT), 2013 15TH IEEE INTERNATIONAL CONFERENCE ON. Anais. . . [S.l.: s.n.], 2013. p.413–417.

LIU, R. et al. Flow entries installation based on distributed SDN controller. In: IEEE/CIC INTERNATIONAL CONFERENCE ON COMMUNICATIONS IN CHINA (ICCC), 2015. Anais. . . [S.l.: s.n.], 2015. p.1–6.

MOSHREF, M. et al. Flow-level state transition as a new switch primitive for SDN. In: HOT TOPICS IN SOFTWARE DEFINED NETWORKING. Proceedings. . . [S.l.: s.n.], 2014. p.61–66.

NAM, H. et al. Towards QoE-aware video streaming using SDN. In: GLOBAL

COMMUNICATIONS CONFERENCE (GLOBECOM), 2014 IEEE. Anais. . . [S.l.: s.n.], 2014. p.1317–1322.

NUNES, B. A. A. et al. A Survey of Software-Defined Networking. Past, Present, and Future of Programmable Networks. IEEE Communications Surveys Tutorials, [S.l.], v.16, n.3,

p.1617–1634, 2014.

OPEN NETWORKING FOUNDATION. Software-Defined Networking (SDN) Definition. Online; accessed 01-September-2017,

REFERÊNCIAS 93

OPEN NETWORKING FOUNDATION. OpenFlow Switch Specification 1.5.1. [S.l.]: Open Networking Foundation, 2015. 277p.

OPEN NETWORKING FOUNDATION. The Benefits of Multiple Flow Tables and TTPs. [S.l.]: Open Networking Foundation, 2015. 9p.

PROJECT FLOODLIGHT. What are meters. Online; accessed 23-June-2017, https://floodlight.atlassian.net/wiki/spaces/

floodlightcontroller/pages/15040523/How+to+Use+OpenFlow+Meters. RAHRER, T. et al. Triple-play services quality of experience (QoE) requirements. In: DSL FORUM TR-126. Anais. . . [S.l.: s.n.], 2006. v.2006.

RAHRER, T.; FIANDRA, R.; WRIGHT, S. Triple-play Services Quality of Experience (QoE) Requirements. [S.l.]: DSL Forum, 2006. TR,

https://www.broadband-forum.org/technical/download/TR-126.pdf. RIFAI, H.; MOHAMMED, S.; MELLOUK, A. A brief synthesis of QoS-QoE methodologies. In: INTERNATIONAL SYMPOSIUM ON PROGRAMMING AND SYSTEMS, 2011. Anais. . . IEEE, 2011. p.32–38.

RYU SDN FRAMEWORK COMMUNITY. Ryu SDN Framework. Online; accessed 30-June-2017, https://osrg.github.io/ryu/.

SOCOLOFSKY, T. J.; KALE, C. J. TCP/IP tutorial. [S.l.]: RFC Editor, 1991. RFC,