Модель Киркпатрика: что на самом деле измеряют четыре уровня оценки обучения

· 13 мин чтения
Timur Gareev

Timur Gareev

Основатель и Владелец продукта Брусника.ЛМС

Модель Киркпатрика: что на самом деле измеряют четыре уровня оценки обучения

Интеграции, упомянутые в статье

Логотип Битрикс24Логотип amoCRM

Почему самая известная модель оценки корпоративного обучения до сих пор полезна, за что её критикуют и почему её не стоит ни идеализировать, ни списывать со счетов.

Введение

Модель Киркпатрика — пожалуй, самая известная система оценки корпоративного обучения. Её используют в презентациях, методических рекомендациях, при разработке программ обучения и в разговорах о том, как доказать бизнесу ценность L&D.

Четыре уровня — реакция, обучение, поведение и результаты — выглядят просто и логично. Сначала мы выясняем, понравилось ли обучение участникам, затем проверяем, чему они научились, после этого смотрим, применяют ли они новые знания и навыки в работе, и наконец оцениваем, повлияло ли обучение на результаты организации.

Но за этой понятной схемой скрывается несколько важных вопросов. Действительно ли четыре уровня образуют последовательную лестницу? Можно ли считать, что положительная реакция ведёт к обучению, обучение — к изменению поведения, а изменение поведения — к бизнес-результатам? И насколько корректно приписывать изменения в работе именно обучению?

Чтобы разобраться, полезно вернуться к первоначальным публикациям Дональда Киркпатрика, а затем посмотреть, как модель развивалась и какую критику получила со стороны исследователей.

1. Откуда появилась модель

В 1959–1960 годах Дональд Киркпатрик опубликовал в Journal of the American Society of Training Directors серию из четырёх статей под общим названием Techniques for Evaluating Training Programs.

Каждая статья была посвящена отдельному аспекту оценки:

  • ноябрь 1959 года — Reaction;
  • декабрь 1959 года — Learning;
  • январь 1960 года — Behavior;
  • февраль 1960 года — Results.

В первоначальных публикациях Киркпатрик называл их не уровнями (levels), а шагами (steps). Он предложил четыре направления, по которым можно оценивать эффективность обучения, и описал практические способы такой оценки 1.

Важно учитывать исторический контекст. Это была не попытка создать исчерпывающую научную теорию обучения взрослых или универсальную модель причинно-следственных связей. Киркпатрик обращался прежде всего к руководителям обучения и стремился предложить им понятные способы систематической оценки программ.

В начале серии он сформулировал принцип, который хорошо передаёт практическую направленность работы: результаты оценки одной программы нельзя просто перенести на другую, но можно заимствовать методы оценки.

Иными словами, Киркпатрик предлагал не универсальные показатели успеха, а подходы, которые организации могли адаптировать к собственным задачам.

Сначала это были «шаги», а не «уровни». Термин «уровни» закрепился позднее — он вошёл в название книги Киркпатрика Evaluating Training Programs: The Four Levels, опубликованной в 1994 году 2.

2. Четыре уровня: что именно мы оцениваем

1. Reaction — реакция

Как участники восприняли обучение: содержание, преподаватель, формат, организация.

2. Learning — обучение

Что участники узнали и чему научились: знания, навыки, установки.

3. Behavior — поведение

Изменилось ли поведение человека на рабочем месте после обучения.

4. Results — результаты

К каким результатам для организации привело обучение.

Уровень 1. Reaction — реакция

Первый уровень отвечает на вопрос: как участники восприняли обучение?

Киркпатрик определял реакцию как то, насколько хорошо участникам понравилась программа. Речь идёт об их впечатлениях и отношении к содержанию, преподавателю, формату и организации обучения.

На практике это обычно анкеты обратной связи, которые участники заполняют после занятия или курса.

Можно выяснить:

  • насколько содержание соответствовало ожиданиям;
  • насколько понятным и полезным было изложение;
  • насколько участники удовлетворены работой преподавателя;
  • насколько комфортным оказался формат обучения;
  • считают ли участники полученные знания применимыми в работе.

Здесь важно не смешивать удовлетворённость обучением с результатами обучения. Сам Киркпатрик подчёркивал, что оценка реакции не включает измерение того, чему участники научились 1.

Высокая оценка курса не означает, что участники действительно освоили материал. И наоборот: сложная, требовательная программа может быть полезной, даже если не все участники поставят ей высокие оценки.

Поэтому первый уровень показывает качество восприятия образовательного опыта, но сам по себе не доказывает, что обучение состоялось.

Уровень 2. Learning — обучение

Второй уровень отвечает на вопрос: что участники узнали или чему научились?

Здесь оценивается изменение знаний, навыков или установок в результате обучения.

Для этого могут использоваться:

  • тестирование до и после обучения;
  • практические задания;
  • демонстрация навыков;
  • решение кейсов;
  • проверка выполнения определённых действий;
  • оценка изменения установок, если они являются целью программы.

Например, после курса по управлению проектами участник может знать основные принципы планирования, уметь составлять план проекта и понимать, как работать с рисками.

Но важно отличать знание от способности применить его в реальной рабочей ситуации. Человек может успешно пройти тест и при этом не использовать новые знания в работе.

Киркпатрик рекомендовал по возможности сравнивать результаты до и после обучения, а также использовать контрольные группы и статистический анализ. Это показывает, что уже в первоначальной работе он рассматривал оценку не только как сбор впечатлений или итоговое тестирование, но и как задачу, требующую более строгих методов 1.

Уровень 3. Behavior — поведение

Третий уровень отвечает на вопрос: изменилось ли поведение человека на рабочем месте?

Это один из наиболее важных и одновременно сложных уровней оценки.

Обучение может привести к тому, что сотрудник узнает новые подходы и продемонстрирует нужные навыки на занятии. Однако это ещё не означает, что он начнёт применять их в реальной работе.

В статье о поведении Киркпатрик приводит показательный пример руководителя, который хорошо усвоил принципы человеческих отношений во время обучения, но не применял их после возвращения на рабочее место 1.

Этот пример важен: между освоением знаний и изменением поведения существует разрыв.

Киркпатрик обращал внимание на условия, необходимые для изменения поведения. Среди них — желание самого человека улучшить свою работу, осознание собственных слабых сторон, поддерживающая рабочая среда, помощь заинтересованного и компетентного руководителя или наставника, а также возможность попробовать новые способы работы.

Для оценки поведения он предлагал сравнивать ситуацию до и после обучения, собирать оценки от нескольких источников — самого сотрудника, руководителя, коллег и подчинённых, проводить оценку спустя некоторое время после обучения и, если это возможно, использовать контрольную группу 1.

Таким образом, третий уровень — это уже не просто проверка знаний. Он требует наблюдения за работой человека и понимания того, в каких условиях происходит перенос обучения в практику.

Уровень 4. Results — результаты

Четвёртый уровень отвечает на вопрос: к каким результатам для организации привело обучение?

В отличие от предыдущих уровней, здесь внимание переносится с участника на организацию.

В качестве результатов могут рассматриваться:

  • повышение производительности;
  • улучшение качества продукции или услуг;
  • сокращение затрат;
  • снижение количества ошибок и брака;
  • сокращение текучести кадров и прогулов;
  • уменьшение числа жалоб;
  • повышение удовлетворённости клиентов;
  • улучшение других показателей, связанных с целями обучения.

Киркпатрик приводил примеры таких показателей уже в первоначальной статье о результатах 1.

Однако здесь возникает принципиальная методологическая проблема: даже если после обучения бизнес-показатель улучшился, это ещё не доказывает, что именно обучение стало причиной изменений.

На результаты могут влиять новые технологии, изменение процессов, действия руководителей, мотивация сотрудников, рыночная ситуация и множество других факторов.

Поэтому оценка четвёртого уровня требует не только фиксации изменений, но и попытки разобраться, какую роль в них сыграло обучение.

Киркпатрик признавал сложность отделения влияния обучения от других факторов. В первоначальной работе он обсуждал способы оценки результатов, в том числе их денежного выражения, но не предлагал полноценной самостоятельной методики расчёта ROI, которую сегодня иногда связывают с его моделью 1.
Как собирать данные на каждом из четырёх уровней в Brusnika.LMS — в статье «Модель Киркпатрика: 4 уровня оценки обучения для максимизации ROI».

3. Действительно ли четыре уровня образуют последовательную лестницу?

В профессиональной практике модель часто изображают в виде пирамиды или последовательной лестницы: от реакции участников к обучению, затем к изменению поведения и, наконец, к бизнес-результатам.

Такое изображение удобно для объяснения, но оно может создавать неверное представление о самой логике модели.

Во-первых, четыре уровня описывают разные объекты оценки. Реакция — это впечатления участников, обучение — приобретённые знания и навыки, поведение — применение освоенного в работе, результаты — изменения на уровне организации.

Во-вторых, эти показатели не обязательно связаны между собой автоматически. Высокая удовлетворённость не гарантирует обучения. Успешное освоение материала не гарантирует его применения. Изменение поведения не всегда приводит к заметному бизнес-результату — по крайней мере, в пределах периода наблюдения.

В-третьих, более высокий уровень не всегда означает более полную или более качественную информацию. Например, для улучшения учебного курса подробная обратная связь участников может оказаться полезнее, чем попытка измерить отдалённые бизнес-результаты.

Именно эти допущения стали предметом научной критики модели.

4. Что говорят исследователи: основные ограничения модели

Критика причинно-следственной связи

В 1989 году Джордж Аллигер и Элизабет Джанак опубликовали статью Kirkpatrick's Levels of Training Criteria: Thirty Years Later 3.

Авторы выделили три спорных предположения, которые часто связывают с моделью:

  1. Каждый следующий уровень предоставляет больше информации, чем предыдущий.
  2. Между уровнями существует причинно-следственная связь.
  3. Показатели разных уровней положительно коррелируют друг с другом.

Исследователи подвергли эти предположения критическому анализу. Их работа стала одной из наиболее известных публикаций, поставивших под сомнение упрощённое понимание модели как последовательной причинной цепочки.

Это не означает, что четыре направления оценки бесполезны. Скорее, нельзя автоматически считать, что наличие положительного результата на одном уровне гарантирует положительный результат на следующем.

Модель как классификация результатов, а не полноценная теория оценки

В 1996 году Элвуд Холтон опубликовал статью The Flawed Four-Level Evaluation Model 4.

Его критика была более фундаментальной. Холтон утверждал, что четыре уровня лучше рассматривать как классификацию результатов обучения, чем как полноценную модель оценки.

По его мнению, для объяснения эффективности обучения необходимо учитывать промежуточные факторы, которые влияют на результаты. Среди них:

  • мотивация к обучению;
  • индивидуальные особенности участников;
  • отношение к работе;
  • готовность применять новые знания;
  • условия рабочей среды;
  • возможности для переноса обучения в практику.

Иначе говоря, недостаточно просто измерить четыре типа результатов. Необходимо понимать, какие факторы влияют на их появление и как они взаимодействуют.

Это важное различие: модель Киркпатрика помогает структурировать оценку, но сама по себе не объясняет весь механизм, посредством которого обучение приводит к изменениям.

Реакция участников — не такой простой показатель, как кажется

В 1997 году Аллигер, Танненбаум, Беннетт, Трэвер и Шотланд опубликовали метаанализ взаимосвязей между критериями оценки обучения. В него вошли 34 исследования и 115 корреляций 5.

Авторы предложили более детально разделять реакцию участников. В частности, они различали эмоциональную реакцию — понравилось ли обучение — и оценку его полезности, то есть насколько участники считают полученное содержание применимым.

Результаты показали, что оценка полезности обучения была связана с обучением и переносом в рабочую деятельность сильнее, чем эмоциональная удовлетворённость.

Вопрос «Вам понравился курс?» и вопрос «Что из изученного вы сможете применить в работе?» измеряют разные вещи. Объединять их в один общий показатель реакции не всегда корректно.

Ограничения для практической оценки

В 2004 году Рид Бейтс опубликовал критический анализ практики оценки обучения, в котором рассмотрел модель Киркпатрика с точки зрения её возможностей и ограничений 6.

Один из важных вопросов — помогает ли модель не только определить, было ли обучение эффективным, но и понять, как улучшить саму программу.

Сбор показателей по четырём уровням может дать общую картину, но не всегда объясняет, почему обучение сработало или не сработало. Для этого требуется анализ причин, контекста и условий, в которых проходило обучение.

В 2017 году Томас Рейо и соавторы вновь обратились к критике модели. Они рассмотрели её влияние, альтернативные подходы и эмпирические исследования. Их вывод достаточно сбалансирован: модель остаётся полезной и влиятельной, но полноценная оценка по всем четырём уровням на практике представляет значительные трудности 7.

5. Что модель Киркпатрика даёт современному L&D

Несмотря на критику, модель Киркпатрика не потеряла практической ценности. Её сильная сторона — в простом и понятном способе расширить представление об оценке обучения.

Без такой рамки организации часто ограничиваются двумя вопросами: сколько людей прошли обучение и насколько им понравился курс.

Киркпатрик предложил смотреть дальше — на то, что человек действительно освоил, изменилось ли его поведение и появились ли результаты для организации.

Это важный сдвиг в понимании роли обучения. Сам факт проведения программы, количество участников и положительные отзывы ещё не говорят о её эффективности.

Однако применять модель стоит осознанно.

Первое. Не нужно обязательно измерять все четыре уровня для каждой программы

Глубина оценки должна соответствовать целям, стоимости и значимости обучения. Для короткого ознакомительного курса может быть достаточно проверки усвоения материала. Для программы развития руководителей, направленной на изменение управленческих практик, оценка поведения будет гораздо важнее.

Второе. Не следует считать уровни автоматической причинной цепочкой

Результаты на одном уровне не гарантируют результатов на следующем. Положительная реакция не доказывает обучение, а освоенные знания не гарантируют их применения в работе.

Третье. Нужно учитывать рабочую среду

Если сотрудник не может применять новые знания из-за отсутствия полномочий, времени, поддержки руководителя или необходимых инструментов, проблема может заключаться не в качестве обучения.

Четвёртое. Необходимо заранее определять, что именно должно измениться

Оценка не должна начинаться после завершения курса. Если организация хочет измерить изменение поведения или бизнес-результатов, соответствующие показатели и исходные значения необходимо определить до начала обучения.

Пятое. Не стоит приписывать обучению все положительные изменения

Если после программы выросли продажи или снизилось количество ошибок, это ещё не означает, что причиной стало именно обучение. Для более обоснованных выводов нужны дополнительные данные и подходящий дизайн оценки.

6. Так стоит ли использовать модель Киркпатрика?

Да. Но важно понимать, для чего именно.

Модель Киркпатрика остаётся удобной рамкой, которая помогает не сводить оценку обучения к удовлетворённости участников и факту прохождения курса. Она задаёт четыре направления внимания: реакция, обучение, поведение и результаты.

При этом она не является универсальным инструментом, который автоматически позволяет доказать влияние обучения на бизнес. Она не заменяет анализ рабочей среды, изучение причин изменений и продуманный дизайн оценки.

Её полезность — в постановке правильных вопросов. Но ответы на эти вопросы требуют разных методов, данных и временных горизонтов.

Возможно, именно поэтому модель сохраняет значение спустя более чем шесть десятилетий после первых публикаций. Она не решает все проблемы оценки обучения, но помогает увидеть, насколько шире сама задача, чем сбор обратной связи после курса или проверка знаний.

И главное — напоминает, что обучение имеет смысл оценивать не только по тому, что происходило во время программы, но и по тому, что изменилось после неё.

Частые вопросы

Источники

1 Kirkpatrick, D. L. (1959–1960). Techniques for Evaluating Training Programs. Journal of the American Society of Training Directors, 13(11), 3–9; 13(12), 21–26; 14(1), 13–18; 14(2), 28–32. Четыре первоначальные статьи: Reaction, Learning, Behavior и Results. Доступная перепечатка всей серии: Training and Development Journal, June 1979, pp. 78–92. Открыть PDF перепечатки

2 Kirkpatrick, D. L. (1994). Evaluating Training Programs: The Four Levels. San Francisco: Berrett-Koehler Publishers.

3 Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick's Levels of Training Criteria: Thirty Years Later. Personnel Psychology, 42(2), 331–342. https://doi.org/10.1111/j.1744-6570.1989.tb00661.x

4 Holton, E. F. III. (1996). The Flawed Four-Level Evaluation Model. Human Resource Development Quarterly, 7(1), 5–21. https://doi.org/10.1002/hrdq.3920070103

5 Alliger, G. M., Tannenbaum, S. I., Bennett, W., Traver, H., & Shotland, A. (1997). A Meta-Analysis of the Relations Among Training Criteria. Personnel Psychology, 50(2), 341–358. https://doi.org/10.1111/j.1744-6570.1997.tb00911.x

6 Bates, R. (2004). A Critical Analysis of Evaluation Practice: The Kirkpatrick Model and the Principle of Beneficence. Evaluation and Program Planning, 27(3), 341–347. https://doi.org/10.1016/j.evalprogplan.2004.04.011

7 Reio, T. G., Rocco, T. S., Smith, D. H., & Chang, E. (2017). A Critique of Kirkpatrick's Evaluation Model. New Horizons in Adult Education and Human Resource Development, 29(2), 35–53. https://doi.org/10.1002/nha3.20178

Дополнительная литература по переносу обучения:

Baldwin, T. T., & Ford, J. K. (1988). Transfer of Training: A Review and Directions for Future Research. Personnel Psychology, 41(1), 63–105.

Grossman, R., & Salas, E. (2011). The Transfer of Training: What Really Matters. International Journal of Training and Development, 15(2), 103–120.