VALIDATION OF ANALYTICAL METHODS

Figura 4.16: Pacotes por segundo nas interfaces Wlan0 e Eth0)

mente após a notificação pelo módulo de detecção e assim, trazendo novamente estabili- dade à rede. Entre o início do ataque e a ativação da proteção, o sistema levou menos de 30 segundos para mitigar o problema.

4.5

Comparação com Outros Trabalhos da Literatura

Adicionalmente, a pesquisa foi comparada com outros trabalhos da literatura em ter-

mos das métricas TD, TFA e PR. A Tabela 4.12 resume os resultados observados.

Tabela 4.12: Avaliação do desempenho do Smart-IoT nas plataformas Raspberry Pi 3 e 4.

Dataset Trabalho TD TFA PR F1

Smart Defender

(Sales et al. 2019) 0.965 0.002 0.995 0.995

Este trabalho 0.970 0.022 0.971 0.970

CICIDS2017

(Aamir & Zaidi 2019) N/A N/A 0.821 N/A

(Sales et al. 2019) 0.800 0.002 0.992 0.992

Este trabalho 0.800 0.012 0.940 1.000

CICDOS

(Jazi et al. 2017b) 3 0.769 N/A N/A N/A

(Sales et al. 2019) 0.936 0.000 0.999 0.999

Este trabalho 0.961 0.028 0.887 0.927

A comparação em alguns casos não é precisa devido à diferença de cenário e dados experimentais, mas possibilita uma avaliação dos resultados. Observa-se que o Smart-IoT obteve uma taxa de detecção de ataques maior para os datasets Smart Defender e CIC- DOS, 97% e 96,1%, e igual a observada em (Sales et al. 2019) para o CICIDS2017, 80%.

52 CAPÍTULO 4. SMART-IOT

Ao mesmo tempo, apresentou uma taxa de falso alarme também maior que os resulta- dos obtidos em (Sales et al. 2019) para todos os datasets, impactando na precisão e F1. As métricas apontam para uma abordagem de detecção mais agressiva, mas como con-

sequência, com uma quantidade maior de falsos positivo. A TFA obtida pelo Smart-IoT

ficou dentro de uma faixa aceitável, abaixo de 3% para o pior caso. Tal comportamento que pode ser balanceado com ajustes de parâmetros do módulo de proteção, configurando gatilhos para atuação mais tolerantes, além do ganho na economia de recursos computa- cionais necessários para a classificação de fluxos amostrados, já que o modelo usado pelo Smart-IoT utiliza menos variáveis e classifica mais rápido que o modelo adotado pelo Smart Defender.

Uma comparação também foi realizada em relação a funcionalidade do módulo de proteção. A Tabela 4.13 aponta que o Smart-IoT apresentou um desempenho competitivo quando contrastado a outros trabalhos.

Tabela 4.13: Comparação com a literatura.

Referência Redes IoT Início de mitigação

(Sahay et al. 2017) ₇ ≤ 35 Segundos

(Bhunia & Gurusamy 2017) ₃ ≤ 10 Segundos

(Liu et al. 2019) ₇ ≤ 5 Segundos

Este trabalho 3 ≤ 20 Segundos

Embora o foco de dois dos quatro trabalhos não seja redes IoT, empregam técnicas para mitigação de ataques DDoS, possibilitando uma avaliação mais completa da pro- posta. A abordagem do (Sahay et al. 2017) obteve o maior tempo de resposta com 35 segundos. Por ser uma solução voltada para provedores de serviço, e ação distribuída, é esperado um tempo maior entre a detecção e a mitigação do ataque. O trabalho (Liu et al. 2019) apresentou o menor tempo de reação, com 5 segundos. Contudo, a atuação da mitigação ocorre próximo à vítima, não tendo uma atuação tão eficiente na mitigação do ataque, além disso, o trabalho não tem foco na mitigação de ataques originados de dispositivos IoT. O trabalho (Bhunia & Gurusamy 2017) apresenta semelhança no modo de atuação do Smart-IoT, e apresentou um tempo de resposta igual ou menor que 10 se- gundos. Contudo, o trabalho não apresentou métricas de ataques furtivos, mais difíceis de detectar. O Smart-IoT obteve um tempo de reação competitivo, com 20 segundos no pior caso. Uma diferença entre o Smart-IoT e esses outros trabalhos é que foi o único a realizar experimento não simulado para a detecção e mitigação dos ataques DDoS.

4.6. RESUMO 53

4.6

Resumo

Nesse capítulo foi apresentado o Smart-IoT, solução de defesa contra ataques DDoS originados de dispositivos IoT. Também foi detalhada a sua arquitetura e modo de opera- ção, assim como, a metodologia de criação de uma base de assinatura específica para o Smart-IoT, baseada em taxa de amostragem.

A solução foi avaliada por meio de três experimentos. O primeiro experimento ava- liou os algoritmos de classificação, selecionando variáveis e parâmetros otimizados. No segundo experimento, realizou-se uma comparação de desempenho dos hardwares Rasp- berry Pi 3 e Raspberry Pi 4 frente ao processamento de 4 datasets recentes da literatura. No último experimento, o Smart-IoT, configurado com os parâmetros que levaram aos melhores resultados de desempenho observados nos experimentos 1 e 2, foi avaliado em um ambiente controlado semelhante a um ambiente de produção, de forma a se verificar o comportamento dos módulos de deteção e proteção frente a uma situação de ataque. Nesse contexto, o Smart-IoT provou-se ser uma solução capaz de atender aos objetivos da pesquisa.

Por último, uma comparação é feita entre os resultados do Smart-IoT e outros traba- lhos semelhantes, presentes na literatura.

Capítulo 5

Conclusão

Este trabalho apresentou o desenvolvimento do Smart-IoT, um sistema especializado na detecção e mitigação de ataques de DDoS em redes IoT. A solução proposta funciona embarcada em um controlador sem fio, agindo como meio de conexão desses dispositivos com a rede corporativa ou doméstica, restringindo a ação de equipamentos que tiveram sua segurança comprometida e que passaram a agir como fontes de ataques de negação de serviço.

O Smart-IoT utiliza técnica de aprendizagem de máquina para identificar os ataques DoS, classificando amostras dos tráfego de rede originados de dispositivos IoT. Uma aná- lise de dados de tráfego de rede foi realizada de forma a identificar as melhores variáveis e o melhores parâmetros para a configuração do modelo de classificação. Além disso, esse trabalho também apresentou uma metodologia para a criação de bases de assinaturas otimizadas para um fluxo de amostras.

O desenvolvimento do Smart-IoT foi estruturado em três etapas e para cada etapa foi definido um cenário de testes experimentais. Os resultados de desempenho obtidos em cada etapa orientaram os procedimentos de projeto realizados na etapa seguinte. Na pri- meira etapa, houve a seleção do algoritmo de aprendizagem de máquina a ser utilizado pelo classificador do Smart-IoT. Três algoritmos foram testados, o Logistic Regression, o Random Forest e o Extreme Gradient Boost. Uma validação virtual também foi reali- zada utilizando 3 datasets da literatura, o SmartDefender, CICDOS e CICIDS2017. Na segunda etapa, o sistema foi embarcado nas plataformas Raspberry Pi 3 e 4, e seu de- sempenho foi avaliado de forma a considerar as restrições impostas por cada uma dessas plataformas. As duas plataformas foram avaliadas quanto às métricas de desempenho: taxa de detecção, taxa de falso alarme, precisão, F1-Score, utilização do processador e uso de memória RAM, durante o processamento de quatro datasets: o SmartDefender, CICDOS, CICIDS2017 e Bot-IoT. Esta fase teve como objetivo, a escolha do hardware mínimo necessário para embarcar o Smart-IoT. Na etapa final, foi realizado um Testbed

56 CAPÍTULO 5. CONCLUSÃO

para a avaliação de todas as funcionalidades do sistema em um ambiente real.. Esse expe- rimento observou o comportamento do ponto de acesso, do tráfego de rede e dos módulos de detecção e proteção. Após todas as etapas de projeto e avaliação, chegou-se a uma solução final satisfatória, com um protótipo funcional, capaz de detectar e mitigar ataques de negação de serviço em redes IoT.

Durante o processo de desenvolvimento, alguns desafios tiveram que ser enfrentados, como conflitos dos pacotes das aplicações utilizadas ou retorno diferente dos esperados de funções Python nas duas arquiteturas utilizadas, x86 e ARM.

5.1

Propostas de continuação do trabalho

Com o desenvolvimento do trabalho alguns pontos ainda continuam em aberto, sendo necessária a continuidade do aprimoramento da pesquisa em trabalhos futuros:

• A captura e a incorporação a base de treinamento de ataques como Heartbleed e ataques de reflexão e amplificação;

• Aperfeiçoamento do código do Smart-IoT para uso mais otimizado da memória RAM, permitindo embarcar em hardware mais limitado que o Rasp 4;

• Realização de testes com taxas de amostragem reduzidas, de forma a verificar o comportamento do Smart-IoT em equipamentos mais limitados que o Rasp 4; • Geração de bases de assinaturas para outras taxas de amostragem, realizando testes

comparativos entre elas;

• Desenvolvimento de estratégia de auto-configuração dos parâmetros do sistema ba- seado no desempenho do hardware;

• Testes com antenas externas com maiores ganhos, verificando configurações com maiores taxas de transmissão.