La possibilité et les avantages de la méso-comparaison

O processo de avaliação do TMM-e apresentado na seção 5.2 deste capítulo está baseado no processo de avaliação do TMM, conhecido como TMM-AM (Test Maturity

Model – Assessment Model). O mesmo está amparado sobre três grandes pilares [Figura 5-1], são eles:

1. Treinamento e critério de seleção da equipe de avaliação; 2. Procedimento de Avaliação;

Figura 5-1 - Estrutura do TMM-AM

5.2.2.1

Treinamento e critério de seleção da equipe de

avaliação

A execução de um processo de avaliação, onde a coleta e a interpretação dos dados é um procedimento bastante complexo necessita-se da criação de um time de avaliadores treinados no assunto. Este time de avaliadores deve ter conhecimento do modelo TMM, ser bem relacionado na organização e estar motivado para implementar uma melhoria no processo de teste, possuir habilidade para realizar mudanças, bastante tempo em desenvolvimento / testes, e / ou experiência em gerência de projeto.

O time de avaliação deve ter um líder técnico com grande expertise em assuntos técnicos, liderança e principalmente ter uma boa comunicação. Em média, o tamanho de uma equipe de avaliadores pode variar dependendo do tamanho do projeto ou da organização, o ideal é que fique em torno de 4 a 8 componentes.

O treinamento no modelo dever ser conduzido pelo líder dos avaliadores onde seu objetivo é multiplicar o conhecimento entre os outros componentes. Este conhecimento se resume nos seguintes tópicos:

♦ Introdução ao processo de melhoria em testes; ♦ Visão Geral no modelo TMM;

♦ Planejamento; ♦ Análise dos dados; ♦ Criação de relatórios.

5.2.2.2

Roteiro de Avaliação do TMM-AM

Para o TMM-AM ser executado é necessário à realização de uma série de passos, os principais são [MESO_01]:

♦ Dar suporte ao desenvolvimento de melhoria do processo de testes e a determinação do nível do TMM;

♦ Guiar a organização no desenvolvimento de planos de melhorias; ♦ Garantir que a avaliação é executada da melhor maneira possível; ♦ Guiar o time de avaliadores na coleta, organização e análise dos dados.

Figura 5-2 - Etapas do Roteiro de Avaliação do TMM-AM

Na Figura 5-2 são apresentados os passos para realizar o roteiro de avaliação, são eles:

Na preparação o esforço maior está direcionado para a coordenação do time de avaliadores dentro da organização. Uma série de atividades é executada neste momento, principalmente a seleção do time de avaliadores e do líder. O líder deve garantir que todos os treinamentos serão realizados de acordo com o planejado. Depois de completado o treinamento a equipe deve elaborar um Plano de Avaliação. Este Plano de Avaliação deve descrever o escopo da avaliação, entradas e saídas da avaliação, o mecanismo de controle e os fatores de riscos que possam impactar a avaliação. Ao final do passo da Preparação ainda é necessário à seleção das equipes da organização. Isto inclui uma apresentação geral do escopo da avaliação, o comprometimento formal e um acordo de confidencialidade.

♦ Conduzir a Avaliação

Neste passo a equipe de avaliadores coleta e registra informações para as entrevistas, apresentações, questionários do TMM e documentos relevantes. Todas essas informações são suportadas pela gerência de teste e relacionadas às práticas do processo de teste.

♦ Reportar os Resultados da Avaliação

O relatório da avaliação inclui o perfil do processo de teste da organização avaliada, o nível do TMM e os registros da avaliação. O estado atual do processo de teste da organização é apresentado através de um resumo geral. Este resumo deve conter as seguintes informações: Um índice, um sumário executivo, um objetivo de maturidade e subobjetivo, um sumário dos pontos fracos e fortes do processo avaliado e recomendações de melhorias.

Para a execução deste passo é necessária a presença da equipe de avaliação, os engenheiros de qualidade e os gerentes dos projetos juntos irão priorizar objetivos da melhoria.

♦ Elaborar um Plano de Ação

Um macro-planejamento focado na melhoria do processo de testes é elaborado pela equipe de avaliadores, engenheiros de qualidade e gerentes. Uma apresentação é elaborada com o objetivo de deixar claro os pontos à serem melhorados. Semelhante a um plano de projeto o macro-planejamento deve focar em melhoria de atividades e/ou adição de atividades ausentes para que a organização possa atingir o nível de maturidade mais próximo.

♦ Implementar as melhorias

Uma vez desenvolvido e aprovado o macro-planejamento, as melhorias são implantadas em projetos pilotos. Os mesmos devem ser monitorados garantindo que as atividades de melhorias estão sendo implantadas corretamente. Eventualmente estas melhorias podem sugerir mudanças no processo de teste.

5.2.2.3

Questionário de Avaliação

O instrumento de avaliação proposto pelo TMM - AM é um questionário, no qual deve ser respondido por um conjunto de pessoas pré-selecionadas a fim de extrair o atual estado do processo de testes da organização.

O questionário consiste de oito partes: 1. Instrução para uso;

2. Background do entrevistado; 3. Background da Organização;

5. Questões sobre o uso de ferramentas de testes; 6. Questões sobre novas tendências de testes; 7. Recomendação de melhoria do questionário; 8. Glossário de termos.

Um exemplo de um questionário é apresentado na Figura 5-3.

Figura 5-3 - Questionário do TMM-AM / Políticas e Objetivos de Teste

Como citado anteriormente, cada nível do TMM possui um conjunto de objetivos de maturidade e cada objetivo principal está relacionado a um outro conjunto de objetivos de maturidade secundários. Sendo assim, para cada objetivo secundário do TMM, o questionário apresenta um conjunto de questões relacionadas, que devem ser respondidas com uma das opções: SIM, NÃO, NÃO SEI e NÃO SE APLICA.

Com base nas respostas é possivel indicar se uma organização satisfaz ou não os objetivos de maturidade secundários, e conseqüentemente, os objetivos principais.

5.2.2.4

Algoritmo de Classificação

O procedimento de avaliação de pontos do TMM-AM é baseado em um procedimento descrito por Masters e Bothwell em seu trabalho no Capability Maturity

Model Assessment Framework. No domínio de testes, o TMM é o modelo de referência para o ranking de processos de testes e o questionário proposto pelo TMM-AM fornece os dados de entrada para o ranking.

O algoritmo para a classificação dos processos no ranking começa avaliando se os objetivos secundários foram alcançados, com base nos resultados, avalia-se a satisfação dos objetivos principais de maturidade, e por fim, com base na satisfação desses últimos, é possível identificar se o nível de maturidade foi alcançado. Além disso, o grau de satisfação dos objetivos secundários permite ainda a identificação de quais áreas no processo avaliado apresentam deficiências.

A Tabela 5-3 mostra como proceder para classificar a satisfação dos objetivos secundários de acordo com as respostas do questionário.

% de respostas = “SIM” Classificação da satisfação do

objetivo secundário Grau de satisfação

> 90 Satisfeito Muito Alto

70 - 90 Satisfeito Alto

50 - 69 Satisfeito Medio

30 - 49 Não Satisfeito Baixo

< 30 Não Satisfeito Muito Baixo

Tabela 5-2 - Satisfação dos objetivos secundários

Uma vez avaliada a satisfação dos objetivos secundários, torna-se possível avaliar a satisfação dos objetivos principais de maturidade.

% de objetivos secundários de maturidade

classificação de satisfação do objetivo de maturidade

≥ 50 satisfeitos Satisfeito

< 50 satisfeitos Não Satisfeito

≥ 50 não aplicável Não Aplicável

≥ 50 não pontuado Não Pontuado

Tabela 5-3 - Classificação de satisfação dos objetivos de maturidade

Através do grau de satisfação atribuído aos objetivos secundários de maturidade é possível ainda identificar quais são as áreas que apresentam deficiências no processo e quais áreas podem ser consideradas “fortes”. Para tal classificação, o TMM-AM considera que áreas que apresentam grau de satisfação ”Muito Alto”, devem ser consideradas áreas fortes no processo, pois com certeza 90% das atividades e responsabilidades requeridas por esta área no TMM estão sendo executadas corretamente. Por outro lado, as áreas que apresentam grau de satisfação “Baixo” ou “Muito Baixo”, devem ser observadas como áreas deficientes no processo. Para estas áreas deve-se montar um Plano de Ação, com o intuito de sanar as deficiências e melhorar a qualidade do processo.