Modelo de Kirkpatrick: o que os quatro níveis de avaliação de treinamento realmente medem

· 16 min de leitura
Timur Gareev

Timur Gareev

Fundador & Product Owner na Brusnika.LMS

Modelo de Kirkpatrick: o que os quatro níveis de avaliação de treinamento realmente medem

Integrações mencionadas neste artigo

Logotipo Bitrix24Logotipo Kommo

Por que o modelo mais conhecido de avaliação de treinamento corporativo continua útil, por que é criticado e por que não deve ser nem idealizado, nem descartado.

Introdução

O modelo de Kirkpatrick é, talvez, o sistema mais conhecido de avaliação de treinamento corporativo. Ele aparece em apresentações, em diretrizes metodológicas, na elaboração de programas de treinamento e nas conversas sobre como provar ao negócio o valor de T&D.

Os quatro níveis — reação, aprendizagem, comportamento e resultados — parecem simples e lógicos. Primeiro descobrimos se os participantes gostaram do treinamento, depois verificamos o que aprenderam, em seguida observamos se aplicam os novos conhecimentos e habilidades no trabalho e, por fim, avaliamos se o treinamento influenciou os resultados da organização.

Mas, por trás desse esquema claro, escondem-se várias questões importantes. Os quatro níveis realmente formam uma escada sequencial? Podemos supor que uma reação positiva leva à aprendizagem, a aprendizagem leva à mudança de comportamento e a mudança de comportamento leva a resultados de negócio? E até que ponto é correto atribuir mudanças no trabalho justamente ao treinamento?

Para entender isso, vale voltar às publicações originais de Donald Kirkpatrick e, depois, ver como o modelo evoluiu e que críticas recebeu dos pesquisadores.

1. De onde veio o modelo

Em 1959–1960, Donald Kirkpatrick publicou no Journal of the American Society of Training Directors uma série de quatro artigos com o título geral Techniques for Evaluating Training Programs.

Cada artigo foi dedicado a um aspecto da avaliação:

  • novembro de 1959 — Reaction (reação);
  • dezembro de 1959 — Learning (aprendizagem);
  • janeiro de 1960 — Behavior (comportamento);
  • fevereiro de 1960 — Results (resultados).

Nas publicações originais, Kirkpatrick chamava essas etapas não de níveis, mas de passos (steps). Ele propôs quatro direções para avaliar a eficácia do treinamento e descreveu formas práticas de fazê-lo 1.

É importante considerar o contexto histórico. Não era uma tentativa de criar uma teoria científica exaustiva da aprendizagem de adultos ou um modelo universal de relações de causa e efeito. Kirkpatrick dirigia-se, antes de tudo, aos gestores de treinamento e procurava oferecer-lhes formas claras de avaliar programas de maneira sistemática.

No início da série, ele formulou um princípio que expressa bem a orientação prática do trabalho: os resultados da avaliação de um programa não podem simplesmente ser transferidos para outro, mas os métodos de avaliação podem ser aproveitados.

Em outras palavras, Kirkpatrick propunha não indicadores universais de sucesso, mas abordagens que as organizações pudessem adaptar às suas próprias tarefas.

No início eram "passos", e não "níveis". O termo "níveis" se consolidou depois — ele entrou no título do livro de Kirkpatrick Evaluating Training Programs: The Four Levels, publicado em 1994 2.

2. Os quatro níveis: o que exatamente avaliamos

1. Reaction — reação

Como os participantes perceberam o treinamento: conteúdo, instrutor, formato, organização.

2. Learning — aprendizagem

O que os participantes aprenderam e o que passaram a saber fazer: conhecimentos, habilidades, atitudes.

3. Behavior — comportamento

Se o comportamento da pessoa no trabalho mudou depois do treinamento.

4. Results — resultados

Que resultados o treinamento trouxe para a organização.

Nível 1. Reaction — reação

O primeiro nível responde à pergunta: como os participantes perceberam o treinamento?

Kirkpatrick definia a reação como o quanto o programa agradou aos participantes. Trata-se das impressões e da atitude em relação ao conteúdo, ao instrutor, ao formato e à organização do treinamento.

Na prática, são geralmente questionários de feedback que os participantes preenchem depois de uma aula ou de um curso.

É possível descobrir:

  • até que ponto o conteúdo correspondeu às expectativas;
  • quão clara e útil foi a exposição;
  • quão satisfeitos os participantes estão com o trabalho do instrutor;
  • quão confortável foi o formato do treinamento;
  • se os participantes consideram os conhecimentos adquiridos aplicáveis no trabalho.

É importante aqui não confundir a satisfação com o treinamento com os resultados do treinamento. O próprio Kirkpatrick ressaltava que a avaliação da reação não inclui a medição do que os participantes aprenderam 1.

Uma nota alta para o curso não significa que os participantes realmente dominaram o material. E vice-versa: um programa difícil e exigente pode ser útil mesmo que nem todos os participantes lhe deem notas altas.

Por isso, o primeiro nível mostra a qualidade da percepção da experiência educacional, mas, por si só, não prova que a aprendizagem ocorreu.

Nível 2. Learning — aprendizagem

O segundo nível responde à pergunta: o que os participantes aprenderam ou passaram a saber fazer?

Aqui se avalia a mudança de conhecimentos, habilidades ou atitudes em decorrência do treinamento.

Para isso, podem ser usados:

  • testes antes e depois do treinamento;
  • tarefas práticas;
  • demonstração de habilidades;
  • resolução de casos;
  • verificação da execução de determinadas ações;
  • avaliação da mudança de atitudes, se elas forem o objetivo do programa.

Por exemplo, depois de um curso de gestão de projetos, o participante pode conhecer os princípios básicos de planejamento, saber elaborar um plano de projeto e entender como lidar com riscos.

Mas é importante distinguir o conhecimento da capacidade de aplicá-lo em uma situação real de trabalho. Uma pessoa pode passar com sucesso em um teste e, ainda assim, não usar os novos conhecimentos no trabalho.

Kirkpatrick recomendava, sempre que possível, comparar os resultados antes e depois do treinamento, além de usar grupos de controle e análise estatística. Isso mostra que, já no trabalho original, ele via a avaliação não apenas como coleta de impressões ou teste final, mas como uma tarefa que exige métodos mais rigorosos 1.

Nível 3. Behavior — comportamento

O terceiro nível responde à pergunta: o comportamento da pessoa no local de trabalho mudou?

Este é um dos níveis de avaliação mais importantes e, ao mesmo tempo, mais difíceis.

O treinamento pode levar o colaborador a conhecer novas abordagens e a demonstrar as habilidades necessárias durante a aula. No entanto, isso ainda não significa que ele passará a aplicá-las no trabalho real.

No artigo sobre comportamento, Kirkpatrick dá um exemplo ilustrativo de um gestor que assimilou bem os princípios das relações humanas durante o treinamento, mas não os aplicou ao voltar ao local de trabalho 1.

Esse exemplo é importante: existe uma lacuna entre a assimilação de conhecimentos e a mudança de comportamento.

Kirkpatrick chamava a atenção para as condições necessárias à mudança de comportamento. Entre elas estão o desejo da própria pessoa de melhorar seu trabalho, a consciência dos próprios pontos fracos, um ambiente de trabalho favorável, o apoio de um gestor ou mentor interessado e competente, e a oportunidade de experimentar novas formas de trabalhar.

Para avaliar o comportamento, ele propunha comparar a situação antes e depois do treinamento, coletar avaliações de várias fontes — do próprio colaborador, do gestor, dos colegas e dos subordinados —, realizar a avaliação algum tempo depois do treinamento e, se possível, usar um grupo de controle 1.

Assim, o terceiro nível já não é apenas uma verificação de conhecimentos. Ele exige observar o trabalho da pessoa e entender em que condições ocorre a transferência do aprendizado para a prática.

Nível 4. Results — resultados

O quarto nível responde à pergunta: que resultados o treinamento trouxe para a organização?

Diferentemente dos níveis anteriores, aqui a atenção passa do participante para a organização.

Podem ser considerados resultados:

  • aumento da produtividade;
  • melhoria da qualidade de produtos ou serviços;
  • redução de custos;
  • diminuição de erros e defeitos;
  • redução da rotatividade e do absenteísmo;
  • diminuição do número de reclamações;
  • aumento da satisfação dos clientes;
  • melhoria de outros indicadores ligados aos objetivos do treinamento.

Kirkpatrick já apresentava exemplos desses indicadores no artigo original sobre resultados 1.

No entanto, surge aqui um problema metodológico fundamental: mesmo que um indicador de negócio tenha melhorado depois do treinamento, isso ainda não prova que o treinamento foi a causa da mudança.

Os resultados podem ser influenciados por novas tecnologias, mudanças de processos, ações dos gestores, motivação dos colaboradores, situação do mercado e muitos outros fatores.

Por isso, a avaliação do quarto nível exige não só registrar as mudanças, mas também tentar entender qual foi o papel do treinamento nelas.

Kirkpatrick reconhecia a dificuldade de separar a influência do treinamento de outros fatores. No trabalho original, ele discutiu formas de avaliar resultados, inclusive sua expressão monetária, mas não propôs uma metodologia completa e independente de cálculo de ROI, que hoje às vezes é associada ao seu modelo 1.
Para ver como coletar dados em cada um dos quatro níveis na Brusnika.LMS, leia Modelo Kirkpatrick: 4 níveis de avaliação de treinamento para maximizar o ROI.

3. Os quatro níveis realmente formam uma escada sequencial?

Na prática profissional, o modelo costuma ser representado como uma pirâmide ou uma escada sequencial: da reação dos participantes à aprendizagem, depois à mudança de comportamento e, por fim, aos resultados de negócio.

Essa representação é conveniente para explicar, mas pode criar uma ideia errada sobre a própria lógica do modelo.

Primeiro, os quatro níveis descrevem objetos de avaliação diferentes. A reação são as impressões dos participantes, a aprendizagem são os conhecimentos e habilidades adquiridos, o comportamento é a aplicação do que foi aprendido no trabalho e os resultados são as mudanças no nível da organização.

Segundo, esses indicadores não estão necessariamente ligados de forma automática. Alta satisfação não garante aprendizagem. Dominar o material com sucesso não garante sua aplicação. A mudança de comportamento nem sempre leva a um resultado de negócio perceptível — pelo menos dentro do período de observação.

Terceiro, um nível mais alto nem sempre significa informação mais completa ou de melhor qualidade. Por exemplo, para melhorar um curso, o feedback detalhado dos participantes pode ser mais útil do que a tentativa de medir resultados de negócio distantes.

Foram justamente essas suposições que se tornaram objeto da crítica científica ao modelo.

4. O que dizem os pesquisadores: as principais limitações do modelo

Crítica à relação de causa e efeito

Em 1989, George Alliger e Elizabeth Janak publicaram o artigo Kirkpatrick's Levels of Training Criteria: Thirty Years Later 3.

Os autores destacaram três suposições controversas frequentemente associadas ao modelo:

  1. Cada nível seguinte fornece mais informação do que o anterior.
  2. Existe uma relação de causa e efeito entre os níveis.
  3. Os indicadores de diferentes níveis se correlacionam positivamente entre si.

Os pesquisadores submeteram essas suposições a uma análise crítica. O trabalho deles tornou-se uma das publicações mais conhecidas a questionar a compreensão simplificada do modelo como uma cadeia causal sequencial.

Isso não significa que as quatro direções de avaliação sejam inúteis. Significa, antes, que não se pode presumir automaticamente que um resultado positivo em um nível garanta um resultado positivo no seguinte.

O modelo como classificação de resultados, e não uma teoria completa de avaliação

Em 1996, Elwood Holton publicou o artigo The Flawed Four-Level Evaluation Model 4.

Sua crítica foi mais fundamental. Holton afirmava que os quatro níveis são melhor entendidos como uma classificação dos resultados do treinamento do que como um modelo completo de avaliação.

Em sua opinião, para explicar a eficácia do treinamento é preciso considerar fatores intermediários que influenciam os resultados. Entre eles:

  • motivação para aprender;
  • características individuais dos participantes;
  • atitude em relação ao trabalho;
  • disposição para aplicar novos conhecimentos;
  • condições do ambiente de trabalho;
  • oportunidades de transferir o aprendizado para a prática.

Em outras palavras, não basta medir quatro tipos de resultados. É preciso entender quais fatores influenciam seu surgimento e como interagem.

Esta é uma distinção importante: o modelo de Kirkpatrick ajuda a estruturar a avaliação, mas, por si só, não explica todo o mecanismo pelo qual o treinamento leva a mudanças.

A reação dos participantes não é um indicador tão simples quanto parece

Em 1997, Alliger, Tannenbaum, Bennett, Traver e Shotland publicaram uma metanálise das relações entre critérios de avaliação de treinamento. Ela incluiu 34 estudos e 115 correlações 5.

Os autores propuseram separar a reação dos participantes com mais detalhe. Em particular, distinguiram a reação emocional — se o treinamento agradou — da avaliação de sua utilidade, isto é, de quanto os participantes consideram o conteúdo recebido aplicável.

Os resultados mostraram que a avaliação da utilidade do treinamento estava mais fortemente ligada à aprendizagem e à transferência para a atividade de trabalho do que a satisfação emocional.

A pergunta "Você gostou do curso?" e a pergunta "O que do que aprendeu você poderá aplicar no trabalho?" medem coisas diferentes. Juntá-las em um único indicador geral de reação nem sempre é correto.

Limitações para a avaliação prática

Em 2004, Reid Bates publicou uma análise crítica da prática de avaliação de treinamento, na qual examinou o modelo de Kirkpatrick do ponto de vista de suas possibilidades e limitações 6.

Uma questão importante é se o modelo ajuda não só a determinar se o treinamento foi eficaz, mas também a entender como melhorar o próprio programa.

A coleta de indicadores nos quatro níveis pode dar um quadro geral, mas nem sempre explica por que o treinamento funcionou ou não funcionou. Para isso é necessária a análise das causas, do contexto e das condições em que o treinamento ocorreu.

Em 2017, Thomas Reio e coautores voltaram à crítica do modelo. Eles examinaram sua influência, abordagens alternativas e pesquisas empíricas. A conclusão deles é bastante equilibrada: o modelo continua útil e influente, mas a avaliação completa nos quatro níveis apresenta, na prática, dificuldades significativas 7.

5. O que o modelo de Kirkpatrick oferece ao T&D moderno

Apesar das críticas, o modelo de Kirkpatrick não perdeu seu valor prático. Sua força está em uma forma simples e clara de ampliar a ideia do que é avaliar treinamento.

Sem esse referencial, as organizações costumam se limitar a duas perguntas: quantas pessoas concluíram o treinamento e o quanto gostaram do curso.

Kirkpatrick propôs olhar além — para o que a pessoa realmente aprendeu, se seu comportamento mudou e se surgiram resultados para a organização.

Essa é uma mudança importante na compreensão do papel do treinamento. O simples fato de realizar um programa, o número de participantes e as avaliações positivas ainda não dizem nada sobre sua eficácia.

No entanto, o modelo deve ser aplicado de forma consciente.

Primeiro. Não é preciso medir os quatro níveis em todos os programas

A profundidade da avaliação deve corresponder aos objetivos, ao custo e à importância do treinamento. Para um curso introdutório curto, pode bastar verificar a assimilação do material. Para um programa de desenvolvimento de líderes, voltado à mudança de práticas gerenciais, avaliar o comportamento será muito mais importante.

Segundo. Não trate os níveis como uma cadeia causal automática

Os resultados de um nível não garantem os resultados do seguinte. Uma reação positiva não prova a aprendizagem, e os conhecimentos adquiridos não garantem sua aplicação no trabalho.

Terceiro. É preciso considerar o ambiente de trabalho

Se o colaborador não consegue aplicar os novos conhecimentos por falta de autonomia, tempo, apoio do gestor ou das ferramentas necessárias, o problema pode não estar na qualidade do treinamento.

Quarto. É preciso definir de antemão o que exatamente deve mudar

A avaliação não deve começar depois do fim do curso. Se a organização quer medir a mudança de comportamento ou os resultados de negócio, os indicadores correspondentes e seus valores iniciais precisam ser definidos antes do início do treinamento.

Quinto. Não atribua ao treinamento todas as mudanças positivas

Se as vendas cresceram ou o número de erros diminuiu depois de um programa, isso ainda não significa que a causa foi o treinamento. Para conclusões mais fundamentadas, são necessários dados adicionais e um desenho de avaliação adequado.

6. Então, vale a pena usar o modelo de Kirkpatrick?

Sim. Mas é importante entender para quê.

O modelo de Kirkpatrick continua sendo um referencial prático que ajuda a não reduzir a avaliação do treinamento à satisfação dos participantes e ao fato de terem concluído o curso. Ele define quatro direções de atenção: reação, aprendizagem, comportamento e resultados.

Ao mesmo tempo, não é uma ferramenta universal que permita provar automaticamente o impacto do treinamento no negócio. Ele não substitui a análise do ambiente de trabalho, o estudo das causas das mudanças e um desenho de avaliação bem pensado.

Sua utilidade está em fazer as perguntas certas. Mas as respostas a essas perguntas exigem métodos, dados e horizontes de tempo diferentes.

Talvez seja justamente por isso que o modelo mantém sua importância mais de seis décadas após as primeiras publicações. Ele não resolve todos os problemas da avaliação de treinamento, mas ajuda a ver como a tarefa é mais ampla do que coletar feedback depois do curso ou verificar conhecimentos.

E, principalmente, lembra que o treinamento deve ser avaliado não só pelo que aconteceu durante o programa, mas pelo que mudou depois dele.

Perguntas frequentes

Fontes

1 Kirkpatrick, D. L. (1959–1960). Techniques for Evaluating Training Programs. Journal of the American Society of Training Directors, 13(11), 3–9; 13(12), 21–26; 14(1), 13–18; 14(2), 28–32. Os quatro artigos originais: Reaction, Learning, Behavior e Results. Reimpressão disponível de toda a série: Training and Development Journal, June 1979, pp. 78–92. Abrir o PDF da reimpressão

2 Kirkpatrick, D. L. (1994). Evaluating Training Programs: The Four Levels. San Francisco: Berrett-Koehler Publishers.

3 Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick's Levels of Training Criteria: Thirty Years Later. Personnel Psychology, 42(2), 331–342. https://doi.org/10.1111/j.1744-6570.1989.tb00661.x

4 Holton, E. F. III. (1996). The Flawed Four-Level Evaluation Model. Human Resource Development Quarterly, 7(1), 5–21. https://doi.org/10.1002/hrdq.3920070103

5 Alliger, G. M., Tannenbaum, S. I., Bennett, W., Traver, H., & Shotland, A. (1997). A Meta-Analysis of the Relations Among Training Criteria. Personnel Psychology, 50(2), 341–358. https://doi.org/10.1111/j.1744-6570.1997.tb00911.x

6 Bates, R. (2004). A Critical Analysis of Evaluation Practice: The Kirkpatrick Model and the Principle of Beneficence. Evaluation and Program Planning, 27(3), 341–347. https://doi.org/10.1016/j.evalprogplan.2004.04.011

7 Reio, T. G., Rocco, T. S., Smith, D. H., & Chang, E. (2017). A Critique of Kirkpatrick's Evaluation Model. New Horizons in Adult Education and Human Resource Development, 29(2), 35–53. https://doi.org/10.1002/nha3.20178

Leitura complementar sobre transferência de treinamento:

Baldwin, T. T., & Ford, J. K. (1988). Transfer of Training: A Review and Directions for Future Research. Personnel Psychology, 41(1), 63–105.

Grossman, R., & Salas, E. (2011). The Transfer of Training: What Really Matters. International Journal of Training and Development, 15(2), 103–120.