classi cação
A simulação 6 gerou um conjunto de dados com 138 controles (codi cados como 0) e 862 casos (codi cados como 1), isto é, um conjunto de dados desbalanceado entre as duas classes. Tal simulação permitiu avaliar o desempenho do SMS em uma nova situação de alta complexidade: a classi cação em dados desbalanceados com efeitos aditivos e não-aditivos, onde estes foram compostos de uma interação entre pares de SNPs, e uma interação entre trios.
O desbalanceamento das classes simula um estudo de associação de escala genômica para uma doença rara, pois quaisquer amostras de indíviduos extraídas da população de interesse, terão mais indivíduos sadios do que doentes. Devido às instâncias ocorrerem com pequena frequência, modelos que descrevem a classe rara tendem a ser altamente especializados, por conseguinte, tais modelos são suscetíveis à presença de ruídos nos dados de treinamento (PANG-NING et al., 2006). Consequentemente, muitos algoritmos podem não detectar e cazmente instâncias da classe rara (PANG-NING et al., 2006). Existem diversas técnicas para abordar o problema do desequilíbrio de classes, porém, nenhuma delas foi usada no SMS com intuito de testar o SMS na sua versão mais simples em problemas de classi cação com desbalanceamento entre as classes.
Tabela 8.22 Número de SNPs selecionados (SNPs), número de SNPs causais selecionados (V), AUC média em 10-fold por kernel para cada iteração do SMS, média e desvio-padrão (σ) das medidas anteriores para 10 execuções do SMS em relação à simulação 6.
Iter SNPs (V)Linear AUC SNPs (V)Radial γ = 0, 001AUC SNPs (V)Radial γ = 0, 01AUC SNPs (V)Radial γ = 0, 1AUC SNPs (V)Radial γ = 1AUC 1 53 (2) 0,619 50 (2) 0,712 9 (2) 0,584 70 (8) 0,881 19 (7) 0,778 2 54 (5) 0,589 47 (2) 0,700 11 (4) 0,600 71 (7) 0,883 19 (8) 0,820 3 54 (4) 0,593 48 (4) 0,712 17 (1) 0,613 71 (7) 0,868 19 (6) 0,825 4 11 (0) 0,586 48 (2) 0,689 12 (1) 0,629 70 (8) 0,834 19 (7) 0,828 5 41 (2) 0,584 54 (4) 0,703 11 (4) 0,593 70 (8) 0,831 19 (6) 0,844 6 49 (1) 0,609 47 (2) 0,695 8 (3) 0,598 71 (7) 0,870 19 (8) 0,819 7 49 (3) 0,601 55 (3) 0,694 23 (4) 0,671 70 (8) 0,837 20 (5) 0,877 8 9 (2) 0,584 46 (3) 0,692 22 (2) 0,660 71 (8) 0,853 18 (8) 0,838 9 47 (2) 0,585 50 (3) 0,670 28 (6) 0,651 70 (8) 0,827 19 (8) 0,841 10 50 (3) 0,595 49 (3) 0,689 36 (1) 0,713 70 (8) 0,817 19 (7) 0,865 Média 41,7 (2,4) 0,595 49,4 (2,8) 0,696 17,7 (2,8) 0,631 70,4 (7,7) 0,850 19 (7) 0,833 σ 17,2 (1,4) 0,012 3 (0,8) 0,012 9,3 (1,7) 0,042 0,5 (0,5) 0,024 0,5 (1,1) 0,027
SMS, são as relativas aos kernels radiais com γ = 0, 1 e γ = 1, repectivamente, iguais a 0,850 e 0,833 (as médias em negrito na penúltima linha da Tabela 8.22). Tomou-se a decisão de veri car se a diferença estatística entre elas é signi cativa, pois em caso negativo, o subconjunto de SNPs escolhido será a união dos subconjuntos selecionados pelo kernel radial com γ = 1, devido a média dos SNPs selecionados ser menor e igual a 19 (8.22). Os boxplots da Figura 8.11 permitem concluir que a média da AUC do kernel radial com γ = 0, 1 é ligeiramente superior à média do kernel radial com γ = 1, mas para a tomada de decisão foi realizado um teste de hipóteses para a comparação das médias.
Figura 8.11 Boxplots das médias da AUC nas 10 execuções do SMS para os kernels radiais com γ = 0, 1 e γ = 1 em relação à simulação 6.
Segundo Gravetter e Wallnau (2013), um experimento com medidas repetidas é aquele em que a variável dependente é medida duas ou mais vezes para cada indivíduo em uma única amostra, ou seja, o mesmo grupo de indivíduos é utilizada em todas as condições de tratamento. Consequentemente, como as 10 execuções para os dois kernels radiais com γ = 0, 1 e γ = 1 do SMS são baseadas no mesmo conjunto de dados; então, fez-se um teste de hipóteses para comparação de médias em amostras pareadas denominado teste-t pareado (GRAVETTER; WALLNAU, 2013). Assim, caso existam evidências das médias serem iguais, o subconjunto de marcadores escolhido será o relativo ao kernel radial com γ = 1, pois seus dez subconjuntos de SNPs possuem um número substancialmente menor do que os referentes ao kernel radial com γ = 0, 1 como notado na Tabela 8.22.
O teste t pareado possui duas hipóteses para sua correta aplicação a saber: é necessário que as amostras sejam extraídas de populações normais e as variâncias populacionais
das duas amostras sejam iguais (GRAVETTER; WALLNAU, 2013). Posto isso, para a veri cação da hipótese de normalidade das AUC médias, realizaram-se dois testes de Shapiro-Wilk, os quais apresentaram valores-p iguais 0,3018 e 0,6667, respectivamente, para os kernels radiais com γ = 0, 1 e γ = 1. Daí, como ambos valores-p são maiores que 0,05, existem evidências de que as distribuições amostrais das AUC médias para os dois kernels seguem distribuições normais a um nível de signi cância de 0,05. Para a veri cação da igualdade entre variâncias, usou-se o teste F, onde o mesmo indicou valor-p igual a 0,7221, ou seja, há evidências de que as variâncias populacionais são iguais, pois esse valor-p é superior ao nível de signi cância 0,05. Finalmente, aplicou-se o teste t pareado bilateral e obteve-se valor-p igual a 0,3006
A partir da Figura 8.12, nota-se que os cortes foram o 100 para o kernel linear, 90 para os radiais com γ = 0, 001 (não mostrado na Figura 8.12) e γ = 0, 01, 30 para o radial com γ = 0, 1 e 20 para o radial com γ = 1. Os valores máximos assumidos pela AUC média para os cinco kernels variaram consideravelmente, com 0,165 para o linear, 0,140 para o radial com γ = 0, 01, 0,80 para o radial com γ = 0, 1 e 0,70 para o radial com γ = 1. Contudo, o comportamento mais adequado foi o do kernel radial com γ = 1, pois ele aumentou até o ponto de máximo e depois diminuiu até estabilizar em 0,50.
O rank da RF foi baseado no gV I (importância de gini da variável), pois o mesmo apresentou resultados superiores ao pV I (importância de permutação da variável), entretanto, esses resultados não foram mostrados. Logo, o rank criado pelo gV I está exempli cado na Tabela 8.23 para uma interação do SMS para cada kernel usado. Nota- se que todos os oito SNPs causais foram ordenados adequadamente e foram selecionados pela etapa de corte em todos os kernels. De forma distinta, o método de seleção baseado no valor-p bruto do teste qui-quadrado não identi cou os SNPs 4, 6, 7 e 8. Além desses quatro SNPs informativos, o método do valor-p corrigido não selecionou também o SNP 3.
Os SNPs 1 e 2 praticamente não foram selecionados pelo GA nas dez execuçõe do SMS para os kernels linear e radiais com γ = 0, 001 e γ = 0, 01, porém foram identi cados para os kernels radiais com γ = 0, 1 e γ = 1 em quase todas as dez execuções do SMS conforme indica a Tabela 8.24. Para os outros seis SNPs causais, houve muita instabilidade na seleção para esses três kernels, o que mostra que os mesmos são inadequados para selecionar SNPs com essa arquitetura genômica. Por outro lado, os kernels radiais com
(a) Kernel linear na iteração 1. (b) Kernel radial γ = 0, 01 na iteração 10.
(c) Kernel radial γ = 0, 1 na iteração 2. (d) Kernel radial γ = 1 na iteração 7. Figura 8.12 Corte do SVM sobre o rank da RF para os kernels linear e radial em relação à simulação 6.
Kernels (a) linear, (b) radial com γ = 0, 01, (c) radial com γ = 0, 1 e (d) radial com γ = 1 em relação ao modelo 6. A linha tracejada indica o ponto de corte.
Tabela 8.23 Rank gerado por cada método para os oito SNPs causais para a simulação 6.
Rank Iter Corte 1 2 3 SNPs causais4 5 6 7 8
RF do SMS Linear 1 100 1ª 2ª 3ª 5ª 4ª 17ª 13ª 3ª RF do SMS Radial γ = 0, 001 3 100 1ª 2ª 3ª 5ª 4ª 15ª 13ª 8ª RF do SMS Radial γ = 0, 01 2 20 1ª 2ª 3ª 5ª 4ª 16ª 13ª 8ª RF do SMS Radial γ = 0, 1 1 20 1ª 2ª 3ª 5ª 4ª 16ª 13ª 6ª RF do SMS Radial γ = 1 7 30 1ª 2ª 3ª 5ª 4ª 15ª 13ª 7ª Valor-p bruto - 4 1ª 2ª 4ª 60ª 3ª 44ª 43ª 11ª Valor-p corrigido - 3 1ª 2ª 4ª 60ª 3ª 44ª 43ª 11ª
γ = 0, 1 e γ = 1 conseguiram selecionar praticamente todos os oitos SNPs informativos nas dez execuções do SMS.
A convergência do GA variou bastante para cada kernel como evidencia a Figura 8.13. Os kernels linear e radial com γ = 1 demonstraram maior diversidade nas populações de subconjuntos de SNPs durante as gerações como é mostrado pela área entre as curvas da média da população e do melhor indivíduo do GA.
Tabela 8.24 Frequência da ausência dos oito SNPs causais da simulação 6 nas dez execuções do SMS.
kernel Etapas do SMS 1 2 3 4 5 6 7 8SNPs causais Linear Relevância + CorteRe namento 10 10 7 5 8 4 6 50 0 0 0 0 0 0 0 Radial γ = 0, 001 Relevância + CorteRe namento 100 0 0 0 0 0 0 09 3 7 5 7 2 8 Radial γ = 0, 01 Relevância + CorteRe namento 10 10 6 2 9 2 3 80 0 0 0 0 1 0 0 Radial γ = 0, 1 Relevância + CorteRe namento 00 0 0 0 0 0 0 01 1 0 0 0 0 0 Radial γ = 1 Relevância + CorteRe namento 00 0 0 0 0 2 0 00 1 1 0 3 1 1
(a) Kernel linear na iteração 1. (b) Kernel radial γ = 0, 01 na iteração 10.
(c) Kernel radial γ = 0, 1 na iteração 2. (d) Kernel radial γ = 1 na iteração 7. Figura 8.13 Convergência da aptidão (AUC média em 10-fold) do melhor subconjunto de SNPs e da aptidão média da população ao longo das gerações para os kernels linear e radial em relação à simulação 6.
A Tabela 8.25 mostra a quantidade de SNPs produzida pela união das dez execuções do SMS para cada kernel. Assim, o subconjunto selecionado de SNPs ao nal do SMS foi adotado como sendo a união das dez execuções do kernel radial com γ = 1, pois o mesmo
não apresentou diferença signi cativa em relação a média da AUC do kernel radial com γ = 0, 1, selecionando 36 SNPs. Esse resultado é consideravelmente inferior ao número de elementos da união do kernel radial com γ = 0, 1, o qual é igual a 93. Caso o conjunto interseção fosse adotado como solução do SMS para kernel radial com γ = 1, o número total de SNPs selecionados seria seis, entretanto, somente três são causais, enquanto que a interseção para o kernel radial com γ = 0, 1 apresentou 27 SNPs com 6 SNPs informativos. Portanto, esse conjunto de dados é complexo e somente o kernel radial com γ assumindo os valores 0,1 e 1 conseguiu produzir subconjuntos de SNPs mais estáveis nas dez execuções do SMS a ponto de existir interseção não-vazia entre eles como é mostrado na Tabela 8.25.
Tabela 8.25 União e interseção dos SNPs selecionados pelo SMS nas 10 execuções para cada kernel em relação à simulação 6.
Kernel γ # SNPsa # Vb União SMS Linear - 98 6 União SMS Radial 0,001 99 7 União SMS Radial 0,01 68 5 União SMS Radial 0,1 93 8 União SMS Radial 1 36 8 Interseção SMS Linear - 0 0 Interseção SMS Radial 0,001 0 0 Interseção SMS Radial 0,01 0 0 Interseção SMS Radial 0,1 27 6 Interseção SMS Radial 1 6 3
a Número total de SNPs selecionados pelo SMS.
a Número total de SNPs causais selecionados pelo SMS.
O método que mostrou o melhor desempenho para esse conjunto de dados simulados foi o SMS, a partir do critério em relação ao maior número de SNPs causais selecionados, pois o mesmo selecionou todos os oito SNPs verdadeiros-positivos e 28 falsos-positivos. Logo em seguida, o valor-p bruto cou na segunda colocação com quatro SNPs causais (SNPs 1, 2, 5 e 3 na ordem do método) e três SNPs não-causais. O valor-p corrigido cou na terceira e última posição com três SNPs verdadeiros-positivos (SNPs 1, 2 e 5 na ordem do método) e nenhum SNP falso-positivo. Percebe-se a di culdade dos métodos do valor-p bruto e valor-p corrigido para encontrar as interações de ordem 2 e 3, enquanto para o SMS, o obstáculo maior foi a introdução signi cativa de SNPs falsos-positivos.