Este secção tem por objectivo proceder à validação estatística dos modelos discriminante e logístico. Através da sua validação interna e externa da capacidade de classificação ou de previsão ex-post. Será utilizada uma amostra de um período posterior ao da derivação do modelo, com a finalidade de testar simultaneamente sua capacidade de generalização inter-temporal e de previsão ex-ante.
5.5.1. O modelo discriminante
Os resultados produzidos pela função discriminante podem ser validados internamente, através da validação cruzada proporcionada pelo método Jackknife, e externamente através da utilização de uma amostra adicional para o mesmo período de derivação do modelo (holdout-sample).
5.5.1.1. A validação interna da capacidade de previsão ex-post
A validação interna utilizada consiste na aplicação da técnica «leave-one-out» proporcionada pelo método Jackknife. Este baseia-se na construção de N sub-amostras da amostra do mesmo período no qual o modelo foi derivado, de dimensão N-1, obtidas através da eliminação consecutiva de uma observação, em que cada sub-amostra daí resultante é verificada a classificação na função discriminante.
O Quadro 5.5.1.1.29 apresenta o resultado da aplicação do método Jackknife. Podemos verificar que a percentagem de casos correctamente classificados através da validação interna (90,5 por cento) é ligeiramente inferior à proporcionada pela amostra que derivou o modelo (92,5 por cento). Conferindo ainda assim a elevada capacidade de classificação do modelo discriminante um ano antes da falência ocorrer.
Quadro 5.5.1.1.29 – Validação interna do modelo discriminante
Grupo actual Número de casos
Grupo previsto Falidas Activas Falidas 21 19 (90,5%) 2 (9,5%) Activas 21 2 (9,5%) 19 (90,5%)
Percentagem de casos correctamente classificados = 90,5%
Fonte: SPSS 10.0
5.5.1.2. A validação externa da capacidade de previsão ex-post
A validação externa tem como objectivo avaliar a capacidade de classificação (previsão ex-post) do modelo para além da amostra utilizada. Pelo que é indispensável que a sua função discriminante seja validada com uma amostra adicional. Desta forma foi utilizada uma amostra de 19 empresas em actividade e 19 empresas que fizeram entrar um processo de falência num tribunal judicial de 1ª instância no período de 1994 a 1997 (anexo 2). Substituindo os respectivos rácios económico-financeiros na função discriminante obtiveram-se os índices globais para cada empresa, procedendo-se então à sua classificação de acordo com o ponto de separação (IGc=0), obtiveram-se as seguintes taxas de exactidão, apresentadas no Quadro 5.5.1.2.30.
Quadro 5.5.1.2.30 – Validação externa do modelo discriminante
Ano antes
da falência Grupo actual
Número de casos Grupo previsto Falidas Activas N-1 Falidas 19 13 (68,4%) 6 (31,6%) Activas
Percentagem de casos correctamente classificados =
N-2
Falidas
19
14 (73,7%) 5 (27,3%) Activas
Percentagem de casos correctamente classificados =
N-3
Falidas
19
14 (73,7%) 5 (27,3%) Activas
Percentagem de casos correctamente classificados =
Fonte: Autor
5.5.1.3. A validação da capacidade de previsão ex-ante
A principal utilidade de um modelo de previsão é a sua capacidade de fornecer informação sobre um determinado evento, antes deste ocorrer. Pelo que pretende-se neste ponto validar a capacidade do modelo classificar (prever) ex-ante se determinada empresa é classificada, de acordo com determinado perfil económico-financeiro, como uma empresa falida ou como uma empresa em actividade normal. Utilizando uma amostra de 8 empresas falidas e activas de um período posterior (1998-1999) ao da amostra utilizada para derivar o modelo (anexo 2) obtiveram-se os seguintes resultados apresentados no Quadro 5.5.1.3.31.
Quadro 5.5.1.3.31 – Validação da capacidade de previsão ex-ante do modelo discriminante
Ano antes
da falência Grupo Actual
Número de Casos Grupo Previsto Falidas Activas N-1 Falidas 8 7 (87,5%) 1 (12,5%) Activas
Percentagem de casos correctamente classificados =
N-2
Falidas
8
7 (87,5%) 1 (12,5%) Activas
Percentagem de casos correctamente classificados =
N-3
Falidas
8
7 (87,5%) 1 (12,5%) Activas
Percentagem de casos correctamente classificados =
Fonte: Autor
5.5.2. O modelo logístico
À semelhança do modelo discriminante, os resultados produzidos pela função logística podem ser validados internamente, através da avaliação da qualidade do ajustamento das observações com as probabilidades de ocorrência do evento (falência ou manutenção em actividade), e externamente através da utilização de uma amostra adicional para o mesmo período de derivação do modelo.
5.5.2.1. A validação interna da capacidade de previsão ex-post
A validação interna é nos proporcionada pelo teste Hosmer e Lemeshow que nos permite verificar o quanto as observações se aproximam das probabilidades de ocorrência do evento. Assim no último passo do método stepwise o modelo logístico proporciona um Qui-Quadrado de 0 para um nível de significância de 1, pelo que que
não se deve rejeitar a hipótese nula que não existe diferença entre as observações e os valores previstos. Podemos então concluir que o modelo apresenta uma boa qualidade do ajustamento.
5.5.2.2. A validação externa da capacidade de previsão ex-post
Como validação externa foi seguido o mesmo procedimento para validar o modelo discriminante e obtiveram-se as seguintes taxas de exactidão, apresentadas no Quadro
5.5.2.2.32.
Quadro 5.5.2.2.32 – Validação externa do modelo logístico
Ano antes
da falência Grupo actual
Número de casos Grupo previsto Falidas Activas N-1 Falidas 19 17(89,5%) 2 (10,5%) Activas
Percentagem de casos correctamente classificados =
N-2
Falidas
19
17 (89,5%) 2(10,5%) Activas
Percentagem de casos correctamente classificados =
N-3
Falidas
19
15 (78,9%) 5 (20,1%) Activas
Percentagem de casos correctamente classificados =
Fonte: Autor
5.5.2.3. A validação da capacidade de previsão ex-ante
Com o mesmo procedimento utilizado no modelo discriminante obtiveram-se os seguintes resultados apresentados no Quadro 5.5.2.3.33.
Quadro 5.5.2.3.33 – Validação da capacidade de previsão ex-ante do modelo logístico
Ano antes
da falência Grupo actual
Número de casos Grupo previsto Falidas Activas N-1 Falidas 8 7 (87,5%) 1 (12,5%) Activas
Percentagem de casos correctamente classificados =
N-2
Falidas
8
7 (87,5%) 1 (12,5%) Activas
Percentagem de casos correctamente classificados =
N-3
Falidas
8
7 (87,5%) 1 (12,5%) Activas
Percentagem de casos correctamente classificados =
Fonte: Autor
É importante notar que os modelos mais conhecidos não apresentam um bom desempenho quando aplicados fora do período a partir do qual foram derivados, errando a classificação em 20 por cento ou mais, de empresas que sobrevivem, considerando-as em estado de falência, (Morris,1997).