Os modelos e métodos de avaliação apresentados apresentam algumas similaridades, mas também diferem em diversos pontos. A ISO 9000:2000 é a que mais se diferencia dos modelos e métodos descritos. Essa norma é utilizada mais no contexto de certificação do Sistema de Gestão da Qualidade (SGQ), sendo que para isso é feita uma auditoria nos processos que compõem o SGQ. Também o CMMI na sua estrutura em estágios é mais utilizado para determinação da maturidade de uma organização, classificando-a em um dos cinco níveis que ele define. Porém, tanto a ISO 9000 quanto o CMMI em estágios podem ser utilizados para guiar a melhoria de processos de uma organização.
Diferentemente, o CMMI na sua estrutura contínua e a ISO/IEC 15504 permitem uma avaliação a partir de um modelo bidimensional, em que os processos a serem avaliados são considerados em uma dimensão específica. Esta abordagem permite que somente os processos relevantes dentro de um contexto sejam considerados para melhoria, ao invés de considerar um conjunto pré-definido mais genérico. Este modelo e norma permitem tanto a melhoria dos processos quanto a determinação da sua capacidade. É importante ressaltar que a ISO/IEC 15504 não tem objetivo de certificação, a determinação da capacidade é considerada para casos em que, por exemplo, se quer selecionar um fornecedor. Na seqüência são discutidos os modelos e métodos de avaliação dos modelos e normas apresentados.
Modelo de avaliação
A norma ISO 9000 não define um modelo de avaliação explícito. A partir de sua análise pode-se chegar a um conjunto de processos que juntos formam o Sistema de Gestão da Qualidade, que é o objeto de avaliação da ISO 9000. Para que seja certificada ISO 9000 uma empresa deve atender aos requisitos que a norma define para o SGQ.
O modelo de avaliação do CMMI em estágios é composto por uma estrutura em cinco níveis de capacidade. Para cada nível de capacidade são relacionadas áreas de processo que devem ser todas satisfeitas para que uma organização seja considerada em determinado nível de capacidade.
Já os modelos do CMMI contínuo e da 15504 são similares. Como descrito anteriormente, ambos os modelos apresentam uma estrutura bidimensional composta por uma dimensão de processos e outra dimensão de capacidade. A dimensão de capacidade é formada por uma estrutura de medição com seis níveis de capacidade em que cada processo pode ser classificado.
A dimensão de processo do CMMI contínuo é composta por um conjunto de 25 processos que são agrupados em quatro categorias: Gerência de Processo, Engenharia, Gerência de Projeto e Suporte. Enquanto a ISO/IEC 15504, na sua versão mais atual é composta por um conjunto de 48 processos agrupados em 10 categorias: Aquisição, Fornecimento, Operação, Engenharia, Controle de Configuração, Garantia da Qualidade, Gerência, Melhoria de Processo, Recursos e Infra-estrutura e Reuso.
O resultado de uma avaliação utilizando o CMMI contínuo ou a 15504 é um perfil dos processos avaliados na empresa específica.
É importante lembrar que o modelo CMMI é um modelo de avaliação em si, o qual é utilizado como base para a avaliação de processos a partir de um método de avaliação (SCAMPI).
Métodos de Avaliação
Cada norma/modelo prevê seu próprio método de avaliação. No caso da 15504 e da ISO 9000 são apresentados requisitos mínimos para que uma avaliação (ou auditoria no caso da ISO 9000) seja realizada.
Como descrito, a ISO 9000 considera a realização de uma auditoria do Sistema de Gestão da Qualidade, enquanto com a ISO/IEC 15504 e o CMMI são realizadas avaliações.
Não existe uma grande diferença entre a auditoria e a avaliação. Em alguns casos considera-se que a auditoria diferencia da avaliação por ser contratada por uma equipe externa que vai analisar os processos da empresa contratante e lhe entregar os resultados obtidos, por exemplo, em um relatório. Porém, existem, pelo menos, dois tipos de auditoria: interna e externa, sendo que a interna é realizada por pessoas da empresa e não é contratada. Da mesma forma uma avaliação pode ser executada tanto por uma equipe interna, quanto externa. No caso da equipe de avaliação ser externa, ela é contratada por uma empresa para análise dos seus processos.
No geral, as fases que envolvem tanto a auditoria quanto a avaliação nos modelos e normas apresentados são bastante similares:
Planejamento: planejamento das atividades a serem executadas, preparação da equipe que irá atuar, definição de metas, cronogramas e demais atividades de planejamento.
Coleta e validação de evidências: realização de entrevistas, aplicação de questionários, análise de documentos e demais atividades que permitam verificar como os processos são executados e que produtos são gerados/utilizados, permitindo assim uma coleta de evidências da execução destes processos.
Verificação do atendimento aos requisitos da norma/modelo: com base nas evidências coletadas é feita uma verificação se os requisitos definidos na norma/modelo para certificação, ou para determinação do nível de capacidade do processo são atendidos. Também são identificados pontos fortes e fracos dos processos.
Registro dos resultados: os resultados finais são então apresentados para a equipe da empresa e armazenados em um relatório conforme definido na norma/modelo.
Em todos os modelos/normas se faz necessária uma equipe de avaliação/auditoria devidamente treinada para execução da avaliação/auditoria, sendo que um dos membros da equipe é o líder da mesma. O líder é quem garante que a avaliação/auditoria é realizada em conformidade com os requisitos da norma/modelo utilizado.
A ISO 19011, da série ISO 9000, apresenta algumas diretrizes para execução de uma auditoria do Sistema de Gestão da Qualidade. Não é descrito nenhum processo detalhado, nem indicado como a auditoria deve ocorrer. Da mesma forma a ISO/IEC 15504 também só apresenta os requisitos mínimos de um processo para que a avaliação seja conforme à norma.
Já o método definido para ser utilizado com o modelo CMMI, SCAMPI, é detalhadamente descrito indicando atividades obrigatórias e pontos que podem ser adaptados.
Este trabalho adota a ISO/IEC 15504, principalmente, pela sua flexibilidade para adaptação e por ser resultado de um trabalho da comunidade internacional em que o Brasil é um dos representantes. O modelo de avaliação utilizado é uma referência para o modelo de avaliação da 15504, sendo que tanto os processos quanto os níveis de
capacidade são considerados de acordo com o que a norma define. Também o método de avaliação definido obedece aos requisitos mínimos apresentados na norma para o método de avaliação.