5. EQUIPMENT AND METHOD QUALIFICATION
5.1. QUALIFICATION OF QUALITY CONTROL EQUIPMENT
5.1.5. Operational Qualification
Nessa pesquisa, foram utilizados cinco datasets recentes na condução dos experimen- tos. Esses conjuntos de dados incluem ameaças modernas e técnicas avançadas de ataques DDoS bem documentadas, incluindo as informações relativas à rotulagem do tráfego le- gítimo e malicioso.
3.5.1
ISCXIDS2012
Produzido e fornecido pelo Information Security Center of Excellence, ISCX, da Uni- versidade de New Brunswick, esse dataset possui dados de tráfego legítimo de protocolos como FTP, HTTP, SSH, SMTP, IMAP e POP3, coletados por sete dias, cobrindo cená- rios de atividades normais. O ISCXIDS2012, em (Shiravi et al. 2012a), possui tráfego de rede rotulado, contendo área de dados dos pacotes e arquivos de tráfego bruto de rede no formato PCAP. O dataset foi publicado no trabalho (Shiravi et al. 2012b).
Nessa pesquisa, parte desse dataset foi utilizado como fonte de tráfego legítimo, sendo seu conteúdo processado de forma a se obter assinaturas (descritores) para a base de treinamento do modelo.
3.5.2
CIC-DoS
Esse conjunto de dados, também produzido e fornecido pelo ISCX, utilizou quatro tipo de ferramentas de ataques de negação de serviço, gerando oito tipo de ataques DoS distintos a partir da camada de aplicação (Jazi et al. 2017b). Foram capturados 24 horas de tráfegos de rede, em um total de 4,6 GB de dados e 26 ataques. Um resumo dos eventos e ferramentas de ataque utilizados no CIC-DoS, em (Jazi et al. 2017a), é apresentado na Tabela 3.2.
O dataset é composto, em sua maioria, por ataques lentos e de baixo volume (Jazi et al. 2017b), explorando fraquezas ou vulnerabilidades específicas da camada de aplica- ção. Esses ataques são caracterizados por pequenas quantidades de tráfego e/ou por envio periódico de curto tempo desses dados. Observa-se na Tabela 3.2, que na média de paco- tes por ataques, somente os ataques utilizando a ferramenta ddosim são de alto volume, os demais são ataques furtivos.
3.5. DATASETS 25
Tabela 3.2: Ferramentas de ataque e eventos constantes no dataset CIC-DoS.
Ferramentas Camada Eventos Duração Pacotes
ddossim (ddossim) Rede/transporte 2 138 s 46081
DoS improved GET (Goldeneye
(Seidl 2017)) Aplicação 3 452 s 6084
DoS GET (hulk (Grafov 2016)) Aplicação 4 546 s 8482
slow body (slowbody2) Aplicação 4 834 s 9106
slow read (slowread) Aplicação 2 404 s 29103
slow headers (slowheaders) Aplicação 5 575 s 25503
Rudy (rudy) Aplicação 4 65 s 7066
slowloris (slowloris) Aplicação 2 150 s 12518
Na utilização da ferramenta slowhttptest (Shekyan 2016), para ataques de baixo vo- lume, foi adotado o valor padrão de cinquenta conexões por ataque, tornando os ataques mais furtivos de acordo com (Jazi et al. 2017b).
3.5.3
CICIDS2017
O CICIDS2017 (Sharafaldin et al. 2017) produzido e fornecido pelo ISCX, possui tráfego legítimo e ataques comuns mais atualizados. Esse conjunto de dados possui sete famílias de ataques recentes e bastante utilizados no mundo real (Sharafaldin et al. 2018). Foi utilizado o arquivo de captura de tráfego do dia 5 de julho de 2017, consistindo de cinco ataques de negação de serviço e uma grande quantidade de tráfego legítimo. O resultado foi um conjunto com 8 horas de tráfego com 13 GB de dados.
O conjunto de dados CICIDS2017 foi desenvolvido recentemente pelo ISCX e contém tráfego normal e os ataques comuns mais atualizados. Esse novo conjunto de dados inclui sete famílias comuns de ataques atualizados que atendem aos critérios do mundo real e está livremente disponível ao público em (Sharafaldin et al. 2018). As ferramentas de ataque usadas incluem slowloris, Slowhttptest, Hulk, GoldenEye e Heartbleed.
3.5.4
Bot-IoT
O dataset Bot-IoT (Koroniotis et al. 2018) foi apresentado em (Koroniotis et al. 2019). Produzido e fornecido pelo Cyber Range Lab da Universidade de New South Wales Can- berra. O conjunto de dados incorpora tráfego legítimo e tráfego de botnet IoT sendo fornecidos em diferentes formatos, incluindo os arquivos PCAP originais, separados com base na categoria e subcategoria de ataque.
26 CAPÍTULO 3. NEGAÇÃO DE SERVIÇOS EM REDES IOT
registros. O conjunto de dados inclui ataques DDoS, DoS, varredura de sistema operacio- nal e serviço, keylogging e exfiltração de dados, com os ataques DDoS e DoS organizados com base no protocolo usado.
Nessa pesquisa, foram utilizados fragmentos de tráfego de ataques de negação de ser- viço distribuído (DDoS) utilizando o protocolo TCP, mais precisamente, usando a fer- ramenta Hping3 (Jombart et al. 2014) para realizar ataques de inundação (Koroniotis et al. 2019). Foram realizados 20 ataques sequenciais com intervalo de dez minutos, utilizando o fragmento de tráfego.
3.5.5
Smart Defender
Um dataset próprio foi produzido pela UFRN (Lima-Filho 2019) em ambiente con- trolado. Na sua criação, foi gerado tráfego por 24 horas, com ataques programados a cada 30 minutos. Durante esse período, foram totalizados 48 ataques, sendo 19 de baixo volume e 29 de alto volume, com um total de 6,1 GB de tráfego de rede.
As ferramentas utilizadas foram configuradas para refletir a maioria dos ataques en- contrados na literatura e nos relatórios de segurança das empresas especializadas, como mostrado na Tabela 3.3. O dataset foi publicado em (Lima-Filho 2019).
Tabela 3.3: Ferramentas de ataque e eventos constantes no dataset Smart Defender.
Ferramenta de Ataque Eventos
TCP SYN Flood (hping3 (Jombart et al. 2014)) 4
TCP SYN Flood - light mode (hping3 (Jombart et al. 2014)) 4
TCP ACK Flood (hping3 (Jombart et al. 2014)) 4
UDP Flood (hping3 (Jombart et al. 2014)) 4
UDP Flood - random dst port (hping3 (Jombart et al. 2014)) 4
DoS improved GET (Goldeneye (Seidl 2017)) 5
DoS GET (hulk(Grafov 2016)) 4
slow headers (slowhttptest (Shekyan 2016)) 5
slow body (slowhttptest (Shekyan 2016)) 5
range attack (slowhttptest (Shekyan 2016)) 4
slow read(slowhttptest (Shekyan 2016)) 5
3.6
Métricas de Avaliação
Algumas métricas foram utilizadas para avaliar o desempenho da solução proposta neste trabalho, verificando tanto a atuação do módulo de detecção no processamento dos
3.6. MÉTRICAS DE AVALIAÇÃO 27
datasets apresentados na Seção 3.5, quanto a capacidade de generalização do modelos
testados, sendo elas: Precisão (PR), F1-Score (F1), Taxa de Detecção (TD) e Taxa de Falso
Alarme (TFA) (Sokolova & Lapalme 2009).
Essas métricas de desempenho são baseadas nas quantidades de acertos e erros de uma classificação binária. Assim, levando-se em conta que a classe alvo é a classe ataque, deve-se computar como Verdadeiros Positivos (V P) o número de vezes que o classificador acerta a classe alvo, ou seja, rotula-o como ataque. Enquanto que a quantidade de Verda- deiros Negativos (V N) se dá quando o classificador reconhece corretamente os exemplos que não pertencem à classe alvo, Falso Positivo (FP) ocorre quando o resultado da classi- ficação resultar, incorretamente, na classe ataque. Já o Falso Negativo (FN) se dá quando o resultado for previsto, incorretamente, como não pertencente à classe alvo.
Logo, a Precisão (PR), também conhecida valor preditivo positivo, mede a capacidade
do classificador prever corretamente a classe positiva, ou seja, ela é uma boa medida para determinar o impacto de resultados do tipo falso positivo. Uma baixa precisão, cenário onde ocorre muitos falsos positivos, significa que o sistema está penalizando tráfego de
dispositivos IoT que estão operando legitimamente. A equação que calcula o valor de PR
é dada por:
PR= V P
V P+ FP (3.1)
A métrica Recall (RC) é utilizada para indicar a relação entre as previsões positivas
realizadas corretamente (V P) e todas as previsões que realmente são positivas (V P e FN). Identificando qual o percentual de classificações foram realmente positivas obtidas pelo modelo.
A medida F1 estabelece uma relação entre as métricas precisão e recall, através do
cálculo de uma média harmônica entre as duas. Está medida indica quando a precisão ou recall apresentam valores baixos, já que a medida se aproxima dos valores menores
quando calculada. RC e F1são calculados pelas seguintes equações:
RC= V P V P+ FN (3.2) F1= 2 × PR× RC PR+ RC (3.3)
A Taxa de Detecção (TD) é a razão entre o número de ataques detectados pelo sistema
(AD) e o número real de ataques presentes no tráfego de rede conhecido (TA), mais es-
28 CAPÍTULO 3. NEGAÇÃO DE SERVIÇOS EM REDES IOT
houve a classificação positiva de um ou mais fluxo durante o período de ataque documen-
tado para os datasets utilizados. A TDé calculada pela seguinte equação:
TD=
AD
TA, (3.4)
enquanto que a Taxa de Falsos Alarmes (TFA), também é conhecida na literatura como taxa
de falso, indica a relação entre a quantidade de classificações erradas de ataque e a soma
da quantidade de classificações corretas de normal e classificações erradas de ataque. TFA
é calculado pela seguinte equação:
TFA= FP
FP+V N, (3.5)
em que, FP corresponde às classificações falsas positivas e V N são as verdadeiras nega- tivas.
Os cálculos de TD e TFA assumem que apenas o tráfego malicioso foi enviado do
atacante para a vítima durante o ataque.
3.7
Resumo
Com o objetivo de contextualizar a relevância do sistema Smart-IoT no cenário de segurança de redes, este capítulo apresentou algumas estratégias utilizadas em ataques de DoS e DDoS à Internet, assim como as vulnerabilidades dos dispositivos IoT que costumam ser exploradas nesses ataques.
Nos últimos anos diversos ataques massivos, utilizando dispositivos IoT, foram rea- lizados, com destaque ao ocorrido em 2016 pela Mirai Botnet. Além do Mirai, diversos outros malware IoT, especializados em DDoS vêm surgindo, fazendo com que a academia e a industria percebam a necessidade de se pesquisar e estudar essas ameaças. Assim, mo- delos de arquitetura, modos de operação e os protocolos utilizados por esses ataques são documentados e atualizados periodicamente pelos pesquisadores do assunto. A Tabela 3.4 lista um resumo das arquiteturas de ataques DDoS discutidos nesse capítulo, apontando o tipo de arquitetura e os respectivos atores.
Além disso, neste capítulo foram listados os datasets utilizados nesta pesquisa. A uti- lização de datasets atuais e realísticos foi uma preocupação deste trabalho, com o objetivo de trazer vetores e comportamento de rede mais próximos do encontrado no mundo real. A Tabela 3.5 lista um resumo destes datasets e sua utilização na pesquisa, como no caso do ISCXIDS2012, apenas como integrante da base de assinatura e os demais datasets
3.7. RESUMO 29
Tabela 3.4: Resumo das arquiteturas de ataques DDoS.
Arquitetura Atores
Mestre-Escravo Cliente, Mestre(s) e Bots
Refletor Cliente, Mestre(s), Bots e Refletores
Baseado em IRC Cliente, Servidores IRC e Bots
Baseada em Web Cliente, Servidores HTTP e Bots
P2P Cliente e Bots
utilizados na etapa experimental da pesquisa.
Tabela 3.5: Resumo dos datasets utilizados.
Dataset N. Ataques Assinaturas Expermimentos
ISCXIDS2012 0 3 7
CIC-DoS 26 7 3
CICIDS2017 5 7 3
Bot-IoT 20∗ 7 3
SmartDefender 48 7 3
Capítulo 4
Smart-IoT
Este capítulo é dedicado à apresentação e caracterização do Smart-IoT, incluindo uma descrição de sua arquitetura e de seus mecanismos de detecção e proteção, assim como, uma avaliação experimental de seu desempenho o comparando a outros trabalhos da lite- ratura de forma a situar o Smart-IoT no estado da arte.