Dans l’ordre interne

Um dos questionamentos levantados durante a elaboração deste trabalho diz respeito à definição do percentual de avaliação para cada um dos níveis da avaliação dos programas de educação corporativa. Será mesmo necessário avaliar 100% de todos os programas em todos os níveis?

No artigo The search for best practices, Phillips (1996a), o primeiro de uma série de três trabalhos sobre medição do retorno de investimento em treinamento, Phillips (1996a) aponta seis orientações nesse sentido, que propiciam um norte para essa questão.

Estabeleça alvos para cada nível de avaliação – algumas organizações estabelecem um alvo para cada nível de avaliação, sendo o alvo a porcentagem dos programas de educação corporativa a ser medidos naquele nível. Por exemplo, muitas organizações precisam de 100% dos seus programas de educação corporativa a ser avaliados no nível um, pois é relativamente fácil medir as reações dos participantes. O nível dois (aprendizagem) é também relativamente fácil de medir. Tipicamente, a média de alvo fica entre 40% e 70%, dependendo do tipo de programa. A avaliação do nível três (aplicação no trabalho) envolve mais tempo e gasto na condução de avaliações continuadas; sendo assim, os alvos tendem a ser menores, entre 30% e 50%. As avaliações do nível quatro (resultados profissionais) e do nível cinco (ROI) requerem recursos significativos e orçamentos; logo, seus alvos tendem a ser menores, ou seja,

algo em torno de 10% para o nível quatro e 5% para o nível cinco. A fixação de alvos de avaliação traz diversas vantagens, cabendo aqui destacar pelo menos duas delas. Primeiramente, fornece metas mensuráveis para se avaliar o progresso de toda a educação corporativa ou de um segmento em particular. Em segundo lugar, centra na contabilização e comunica uma forte mensagem para a equipe de recursos humanos sobre necessidades de medição em avaliação.

Avalie no nível micro – a medição e a avaliação geralmente dão ênfase em um programa simples ou em programas em série, firmemente integrados. A medição do ROI mostra-se mais eficiente quando aplicada a um programa que pode estar diretamente ligado a uma receita. Quando todos os cursos em uma série devem ser completados antes de se conhecer seus objetivos comuns, pode ser mais apropriado aguardar a avaliação de toda a série. A decisão de avaliar diversos cursos em uma série deve levar em conta os alvos de treinamento, tempo de duração dos cursos e a coerência da série. Pode ser difícil avaliar uma série conduzida em um longo período de tempo; nesse caso, a relação de causa e efeito torna-se mais confusa e complexa. É muito difícil, também, avaliar uma função inteira, tal como desenvolvimento de administração, desenvolvimento de carreira, educação executiva ou treinamento técnico.

Use uma variedade de métodos – as organizações devem usar uma variedade de abordagens para coletar dados de avaliação. As empresas não captam uma ou duas práticas, utilizando-as apesar de tudo. Reconhecem que todo programa, cenário, ou situação é diferente. Sabem que técnicas como entrevista, grupo de foco e questionário funcionam satisfatoriamente em algumas situações, e que planos de ação e contratos de monitoramento de desempenho são necessários em outras. Sugere-se a adoção de critérios desenvolvidos internamente, para combinar um método de coleta de dados particular com um programa de educação corporativa.

Isole os efeitos do treinamento – um aspecto crítico do processo de avaliação consiste em tentar isolar o efeito do treinamento de outros fatores que ocorrem durante o mesmo período e que poderiam afetar os resultados do negócio. Na maior parte do tempo, o treinamento pode creditar apenas parte dos aprimoramentos na performance no trabalho. Ao planejar a medição do ROI, as organizações devem ir além da análise do grupo de controle-padrão, no sentido de usar uma ou mais técnicas para isolar fatores irrelevantes.

Use amostragem de forma sensata – são raras as organizações que usam amostragem estatística ao selecionar uma amostra de programa de educação corporativa

para medir o ROI. Para a maioria, o resultado requereria muitos cálculos. Pelo bem da praticidade, muitas organizações decidem avaliar apenas uma ou duas sessões nos seus programas de educação corporativa mais comuns. Outras selecionam um programa de cada segmento de educação corporativa. Recomenda-se que as organizações que calculam o ROI pela primeira vez apenas selecionem um curso para avaliação como experiência de aprendizagem. Se a amostragem é utilizada, é importante ser estatisticamente confiável. Mas é mais importante considerar o intercâmbio dos recursos disponíveis e definir o tipo de administração de cálculos de ROI a adotar.

Parry (1996) observa que os alvos primários de um cálculo de ROI são: convencer a equipe de recursos humanos de que o processo funciona; e mostrar aos gerentes principais que o treinamento pode fazer diferença. Com isso em mente, seria melhor conseguir o investimento e aprovação dessa gerência no desenvolvimento da abordagem de sua amostragem. O número de amostras depende das seguintes variáveis: (1) conhecimento da equipe de recursos humanos sobre avaliação de programas de educação corporativa; (2) tipo de programa de educação corporativa a ser avaliado; (3) recursos destinados à avaliação; (4) grau de apoio da gerência à educação corporativa; (5) engajamento da organização na medição e avaliação; e (6) nível de pressão externa para mostrar os cálculos do ROI.

Converta os resultados do programa em valores monetários – as organizações procuram um retorno em investimento específico. Conseqüentemente, os dados dos resultados de negócios podem ser convertidos em benefícios monetários. Essas companhias não ficam satisfeitas em mostrar apenas que a educação corporativa pode resultar em progressos tais como elevação da produtividade e menor rotatividade dos empregados. Elas tomam o processo em um passo mais adiante, convertendo tais melhorias em unidades monetárias, de modo que esses aprimoramentos possam ser comparados aos custos, e posteriormente desenvolvidos em um cálculo de ROI. Para tais itens de banco de dados quantificáveis, como produtividade, qualidade e tempo, a conversão em unidades monetárias é relativamente fácil; já a conversão de itens de banco de dados qualitativos, como satisfação do cliente e satisfação profissional, não são tão fáceis assim. Há também técnicas de conversão com nível de precisão tolerável, e diversas estratégias são usadas nesses casos. Esse tópico será mais bem detalhado adiante.

3.4.5 Métodos de Avaliação para Mensuração dos Resultados

Phillips (1996a) relaciona nove métodos de avaliação de programas de educação corporativa que podem ser empregados para se determinar o sucesso do treinamento. O autor faz a descrição de cada um deles, indicando o nível em que se aplica melhor.

Acompanhamento de tarefas – talvez a abordagem mais fácil para a coleta de dados de pós-treinamento seja pedir aos participantes que completem uma tarefa ou projeto, para servir como evidência do sucesso da aplicação de seu conteúdo de treinamento. Tipicamente, os resultados das tarefas são informados aos supervisores dos participantes. Essa abordagem é especialmente útil nas avaliações do nível três de Kirkpatrick, e quando o apoio administrativo não é forte.

Pesquisas e questionários – esses podem capturar as realizações e mudanças comportamentais dos participantes depois do treinamento. Pode-se coletar as respostas de todos os participantes ou apenas uma amostragem. Pesquisas e questionários não são dispendiosos, nem difíceis de executar e tabular. Eles são mais apropriados para aplicação no trabalho (nível três) e resultados de negócios (nível quatro).

Entrevistas individuais – entrevistar os participantes individualmente é um excelente meio de capturar as mudanças de comportamento relacionadas ao trabalho e de coletar detalhes específicos. Mais versáteis do que questionários, as entrevistas podem sondar questões, interesses e ações relacionadas ao treinamento. Elas são mais apropriadas nas avaliações de nível três.

Grupos de foco (controle) – uma extensão da entrevista, o grupo de foco envolve coleta de informações de pós-treinamento de oito a doze participantes em um cenário estruturado. Os membros do grupo de foco são questionados especificamente acerca do que eles têm mudado como conseqüência do treinamento. A troca de informações geralmente provoca um pensamento criativo entre os participantes, resultando em dados de alta qualidade. Uma continuidade no grupo de foco é mais apropriada para avaliações do nível três.

Observação – a observação direta dos participantes no trabalho, depois do treinamento, pode comprovar se eles estão aplicando as novas habilidades. Essa abordagem de nível três funciona melhor quando os participantes não têm conhecimento de que são observados. Por exemplo, para medir as mudanças no serviço ao consumidor, uma organização pode contratar compradores para observar os vendedores.

Plano de ação – o meio mais poderoso de medição do efeito do treinamento é o uso de planos de ação. Os participantes aplicam suas novas habilidades ou conhecimentos em uma tarefa ou projeto, documentando o seu progresso ao alcançar objetivos mensuráveis traçados em um plano de ação. Os supervisores podem ser envolvidos. Em algumas organizações, é feita uma auditoria do progresso, por um coordenador de treinamento. Ou participantes submetem os seus planos de ação ao departamento de treinamento para se avaliar se os resultados desejados foram alcançados. O treinamento deve fornecer um módulo explicando como desenvolver um plano de ação. Tanto as avaliações do nível três quanto as do nível quatro podem beneficiar-se dessa abordagem.

Contratos de performance – esses contêm um acordo de pré-treinamento entre os participantes, seus supervisores e, algumas vezes, o facilitador. Os grupos se encontram antes do treinamento, a fim de desenvolver as metas mensuráveis relacionadas ao conteúdo do programa. Mais tarde, eles podem avaliar se as metas foram alcançadas.

Acompanhamentos especiais – pode ser eficiente reconvocar participantes, um a três meses depois que o segmento de treinamento inicial foi conduzido, de modo que eles possam informar sobre seu sucesso. Sessões de acompanhamento também dão oportunidade para o treinamento adicional, tal como refinamento de novas habilidades. Essa abordagem é mais apropriada para as avaliações de níveis três e quatro.

Trilha da performance – a mais confiável abordagem de pós-avaliação consiste em procurar departamentos, unidades de trabalho ou performance individual depois de o treinamento ser completado em tais áreas, como utilidade, qualidade, o custo, e tempo – e nas áreas qualitativas, como a satisfação do cliente. Essa abordagem requer dados de performance geral da organização, para comparações anteriores e posteriores de cada item de dados. Como a trilha de performance pode fornecer a evidência mais convincente, geralmente essa é a abordagem preferida dos gestores.

Na visão de Phillips (1996a), a pesquisa por melhores práticas tem revelado algumas importantes preocupações. É quase universalmente reconhecida a necessidade de maior atenção com relação ao ROI. Mas apenas alguns poucos exemplos de sucesso de cálculo de ROI são conhecidos. O processo não é tão difícil como pode parecer. As abordagens e técnicas podem ser úteis em uma variedade de cenários. Os profissionais e pesquisadores devem continuar refinando as técnicas, para mostrar aplicações bem- sucedidas.