Já que foi detalhada a elaboração do modelo computacional, cabe ressaltar outros passos importantes de qualquer pesquisa de simulação: a validação, verificação e credibilidade do modelo de simulação. Através destes passos, pode ser estabelecido que o modelo foi programado corretamente, que ele atinja os objetivos da pesquisa e que satisfaça aos clientes da simulação, tais como gestores e decisores.
O uso de técnicas de verificação e validação (chamada de “V&V” na literatura) pode levar a reduções de erros de modelagem e codificação, a melhor satisfação de orçamentos financeiros para a simulação e limites temporais, bem como a produção de uma simulação de alta qualidade (ARTHUR e NANCE, 1997). A credibilidade do modelo por parte dos clientes da simulação será influenciada pela condução das técnicas de V&V.
Uma definição antiga mais ainda citada na literatura vem do trabalho de Schlesinger et al. (1979). Os autores deste trabalho definiram a validação de um modelo de simulação como “a declaração que o modelo computacional, dentro do seu domínio de aplicabilidade, possui precisão satisfatória e é consistente com a aplicação do modelo”. Sargent têm confirmado esta definição pelos anos (SARGENT, 1984; SARGENT, 2010).
Cabe ressaltar alguns pontos específicos da definição acima. Os modelos de simulação não são construídos por si só, mas sim possuem alguma finalidade para análise, melhoria ou mudança (“a aplicação do modelo”).
Kleijnen (1995) declara que a validação responde a pergunta: “O modelo é uma representação precisa do sistema sob estudo?”, enquanto a verificação responde a questão de precisão da programação do modelo computacional.
Em Sargent (2010), o autor também distingue entre a verificação e validação. A verificação é definida como a confiança que o modelador possui na programação computacional e se sua implementação é correta. Por outro lado, segundo o mesmo autor, o processo de validação abrange o processo inteiro, começando desde a primeira etapa de modelagem conceitual e sendo repetido iterativamente durante a coleta e análise de dados e a validação do modelo computacional e seus resultados. Dito isto, o autor oferece três definições distintas para os três tipos de validação:
Validação do modelo conceitual (Conceptual Model Validition): “A determinação que as teorias e pressuposições que fundamentam o modelo conceitual sejam corretas e a representação do problema seja „razoável‟ para o propósito do modelo.”
Validação do modelo computacional (Operational Validation): “A determinação que o comportamento das saídas do modelo tenham a precisão suficiente para o propósito do modelo sobre o domínio da aplicabilidade do mesmo.”
Validação dos dados de entrada (Input Data Validation): “A certificação que os dados necessários para a construção, avaliação, testes e condução de experimentos do modelo para a resolução do problema sejam adequados e corretos.”
Entidade de Problema (Sistema) Modelo Conceitual Modelo Computacional Exp eri me nta ção A n á lis e d a M o d e la g e m Programação e Implementação Validade dos Dados Validade Operacional Validade do Modelo Conceitual Validade do Modelo Conceitual
Figura 3.5 - Modelo simplificado do processo de modelagem e simulação, fonte Sargent (2010)
Em Sargent et al. (2000), uma das autoras, Glasow, alega que há uma carência na literatura por técnicas mais rigorosas de V&V, tanto na lógica e estrutura de atividades do modelador quanto na análise quantitativa da programação e lógica do modelo computacional. No mesmo artigo, o autor Kleijnen constata (com linguagem mais descritiva) que existe um
abismo entre a prática da validação e a teoria em estatística.
Desde que possibilitem a tomada de decisões de maneira objetiva, abordagens estatísticas, tais como o delineamento de experimentos, intervalos de confiança e testes estatísticos, são apoiados na literatura por vários autores (BALCI e SARGENT, 1982; BALCI, 2003; SARGENT, 2010; KLEIJNEN, 1995).
Por outro lado, existem testes não estatísticos para a validação, os quais são mais subjetivos. Avaliações face a face submetem o modelo à aprovação dos usuários de simulação através de uma reunião onde os componentes do sistema são explicados e detalhados pelos modeladores (BANKS, 2009; KLEIJNEN, 1995; SARGENT, 2010). Testes de Turing consistem na exibição dos dados simulados e reais ao usuário, quem tenta identificar quais são os dados gerados pelo computador.
Em Kleijnen (1995), o autor propõe uma abordagem que emprega o uso de intervalos de confiança. Depois de ter construído o intervalo de confiança para a diferença entre os dados simulados (Y) e os reais (X), pode-se declarar que os dados são equivalentes (dentro de um nível de confiança (1- )*100%) se, e somente se, o intervalo possuir o valor zero.
Porém, Leal et al. (2011) propuseram uma estrutura de passos constituída por vários testes estatísticos para a validação de modelos de simulação. No primeiro passo, os modeladores elaboram os conjuntos de dados simulados em uma coluna e, na outra, os reais. Após isto, é identificada a distribuição representativa do conjunto de dados (contínua ou discreta). Se não for contínua, uma função de transformação deverá ser empregada. Uma vez concluída a identificação da distribuição, um teste de aderência a distribuição normal deve ser empregado. Se no mínimo um conjunto de dados (real ou simulado) não for normal, utiliza-se um teste não paramétrico, tal como o test U de Mann-Whitney, com uma hipótese nula de que os dois conjuntos têm médias iguais. Quando a distribuição normal for assumida, aplica-se o teste F, o qual verifica se os conjuntos de dados possuem as mesmas variâncias. A partir do teste F com P-Value < α (nível de significância), é possível empregar o teste t para as duas amostras independentes, o qual afirma (ou não) que não existe diferença estatística entre os dois conjuntos de dados analisados (real e simulado). Através o teste t, é possível afirmar que o modelo computacional do sistema real é estatisticamente validado (com p-value > α).
Segundo Carson (1989) o modelo possui credibilidade se os interessados na simulação (tais como gerentes e decisores) aceitarem a simulação como sendo apropriada para as decisões a serem tomadas baseadas no modelo.
Já em Balci et al. (2002), os autores alegam que o processo de validação e verificação aumenta a confiança e credibilidade do modelo para os gestores e decisores.
Hue, San e Wang (2001) anotam que, embora existam muitas metodologias de modelagem conceitual aceitas na literatura, os processos de V&V para modelos conceituais não têm sido detalhados.
Kleijnen (1995) declara que é necessário que os modeladores documentem o desenvolvimento do modelo para que possa ser avaliado.
Para os fins desta dissertação, é proposto que o uso da SSM e documentação detalhada de dados auxiliam o processo de validação e verificação, já que as duas abordagens devem aumentar a transparência da modelagem.