В. Лесли Рай написал более 30 книг по тренингу и оценке обучения – он мастер своего дела. Его гид по эффективной оценке тренинга и обучения, тренинговые курсы, обучающие программы – полезный свод правил и техник для всех тренеров и HR-специалистов. Этот гид оценки тренинга – дополнен отличным набором бесплатного инструментария по оценке обучения и завершению, созданный Лесли Раем (set of free learning evaluation and follow-up tools).
Рекомендуется прочитать эту статью перед использованием методов оценки тренинга и его завершения.
Смотрите также секцию Donald Kirkpatrick's training evaluation model, которая представляет теорию и принципы для оценки обучения и тренинга. Смотрите Bloom's Taxonomy of learning domains, которая также показывает принципы для дизайна тренинга, оценки обучения, эффективность тренинга.
Было представлено множество обзоров по использованию оценки в тренинге и развитиите (research findings extract). Обзоры могут преднамеренно обнадеживать, показывая, что множество тренеров/организаций используют тренинговую оценку очень широко, когда ставятся более подробные и проницательные вопросы. Чаще всего это именно тот случай, когда оказывается, что множество тренеров и тренинговых отделов используют "реакционеры" (неопределенные общие формы обратной связи), включающие в себя "Счастливые листики", базирующиеся на вопросах типа: Насколько хорошим был тренер, как тебе показалось? Наслаждался ли ты тренинговым курсом? Киркпатрик (вместе с другими учеными) считает, что даже успешно выполненные "реакционеры" не сформируют должной надежности оценки эффективности тренинга.
Для эффективной оценки тренинга и обучения принципиально значимыми вопросами должны быть:
- Насколько заявленные цели тренинга были достигнуты в результате программы?
- Насколько заявленные цели участников были достигнуты?
- Чему конкретно участники научились, что им запомнилось?
- Что они будут использовать (из материалов тренинга) по возвращению на рабочие места?
И возвращаясь к работе,
- Насколько успешными были стажеры в осуществлении своих планов действий?
- Поддерживали (в какой мере) ли их в этом их менеджеры?
- В какой мере действия, перечисленные выше, привели к достижению Дохода на Инвестированный капитал (окупаемость тренинга для компании). Описать либо в соответствии с обозначенными желаемыми целями компании, либо в денежном эквиваленте (если возможно).
Организации часто затрудняются представить эти процессы оценки, особенно где:
- HR-отдел и тренеры не имеют времени это сделать и /или
- HR-отдел не имеет соответствующих ресурсов (люди, деньги и т.д.) для этого
Очевидно, что оболочка оценки эффективности должна быть срезана в соответствии с имеющимися ресурсами (и культурной атмосферой), которые сильно отличаются от организации к организации.
Факт остается фактом, что хорошая методичная оценка рождает хорошие, надежные данные; и наоборот – где представлена недостаточная оценка, очень мало узнается об эффективности тренинга.
Оценка тренинга
Есть 2 принципиальных вопроса, которые необходимо решить:
- Кто несет ответственность за процессы утверждения и оценки?
- Какие ресурсы (время, люди, деньги) можно использовать в целях оценки и утверждения?
Вместе с этим, принимать во внимание возможные изменения – неожиданные сокращения бюджета или персонала. Другими словами – предвидеть и планировать свои действия, для того чтобы справиться с форс-мажорными обстоятельствами.
Ответственность за оценку тренинга
Традиционно любая оценка ценности или любой другой вид оценки всегда оставался на совести тренеров "потому, что это их работа". Рай считает, что должен существовать Квинтет Оценки Эффективности Тренинга. Каждый член Квинтета имеет свой круг задач и ответственностей за процесс (см. книгу "Оценивая ценность вашего тренинга", Лесли Рай, Говер,2002).
Члены Квинтета Оценки Эффективности Тренинга:
- Главный менеджер
- Тренер
- Линейный менеджер
- Тренинг-менеджер
- Стажер
Каждый имеет свои обязанности, которые описаны ниже:
Главный менеджер – обязанности в оценке тренинга
- Осознание необходимости и ценности тренинга для организации
- Необходимость вовлечения Тренинг-менеджера (или его заменяющего) в график встреч главного менеджмента, где принимаются решения о будущих изменениях, когда тренинг будет необходим
- Знание и поддержка (сопровождение) планов обучения
- Активное участие в мероприятиях
- Требуется презентация оценки и предоставление регулярных обобщающих отчетов
- Политика и стратегические решения, базирующиеся на результатах и ROI (Прибыль на Инвестированный капитал, окупаемость для компании) данных
- Осознание необходимости и ценности тренинга для организации
- Необходимость вовлечения Тренинг-менеджера (или его заменяющего) в график встреч главного менеджмента, где принимаются решения о будущих изменениях, когда тренинг будет необходим
- Знание и поддержка (сопровождение) планов обучения
- Активное участие в мероприятиях
- Требуется презентация оценки и предоставление регулярных обобщающих отчетов
- Политика и стратегические решения, базирующиеся на результатах
Тренер – обязанности в оценке тренинга
- Обеспечение необходимой предпрограммной работы и т.д., а также планирование программы
- Определение уровня знаний и умений стажеров и участников в начале тренинга
- Обеспечение участников ресурсами обучения и тренинга в соответствии с целями программы и собственными целями участников
- Отслеживание обучения по мере проведения программы
- В конце программы должны быть предоставлены отчеты от обучающихся, с их оценкой
- Получение от обучающихся их планов действий для того, чтобы усилить, развить использовать на практике их обучение
Линейный менеджер – обязанности в оценке тренинга
- Вовлеченность в программу тренинга и развитие оценки
- Поддержка подготовки и проведение информационных совещаний с обучающимся
- Обеспечение практической и продолжающейся поддержки тренинговой программы
- Проведение совещаний по "разбору полета" с обучающимся о возвращении на работу с целью обсудить, согласовать или помочь модифицировать действия для их собственного плана дальнейших действий
- Требования к работе и персоналу
- Обозревание прогресса выполнения обучения
- Финальный обзор осуществления успеха и оценки, где возможно, данных Прибыли на Инвестированный капитал (окупаемость тренинга) (ROI)
Тренинг-менеджер – обязанности в оценке тренинга
- Управление тренинговым отделом, соотнесение потребностей тренинга и программы
- Поддержание интереса и планирования, а также реализации программ, включающих практическое вовлечение, где требуется
- Представление и поддержание систем оценки, а также производство регулярных отчетов для топ-менеджмента
- Частые, значимые контакты с топ-менеджментом
- Контактная связь с обучающимися линейными менеджерами и распределение ответственности за внедрение обучающих программ для менеджеров
- Контактная связь с линейными менеджерами, в том числе и по поводу оценки окупаемости тренинга, если это необходимо
Стажер/обучающийся – ответственность за оценку эффективности тренинга
- Вовлеченность по возможности в планирование и дизайн тренинговой программы
- Вовлеченность в планирование и дизайн процесса оценки ценности
- Очевидно: интересоваться и принимать активное участие в тренинговой программе
- Наполнять персональный план действий во время и в конце тренинга, для претворения его в жизнь по возвращению к работе. Сделать это привычкой при поддержке линейного менеджера
- Интересоваться и поддерживать процессы оценки ценности
N.B. Хотя главная роль стажера в программе – это учиться, стажер должен быть вовлечен в процесс оценки ценности. Это существенно, так как, без комментариев стажеров, полноценной оценки ценности не случится. Не будут также применены новые знания и умения. Снять со стажеров любую ответственность все равно, что для компании потерять все инвестиции, вложенные в тренинг. Стажеры согласятся ассистировать охотнее, если суть их работы не будет сводиться к тупой переработке чисел, задач типа "подай-принеси". Вместо этого убедитесь в том, что стажеры понимают значимость их собственного вклада в процесс – что и для чего их просят сделать.
Тraining evaluation and validation options
Как излагалось ранее то, что вы можете делать, более, чем то, что вы должны делать, или что вам бы хотелось, будет зависеть от разнообразных ресурсов и культурных особенностей. Нижеследующее описывает спектр возможностей в связи с этими обстоятельствами.
1 – ничего не делать
Ничего не делать для измерения эффективности и результативности любой бизнес-активности никогда не будет хорошим выбором. Но, возможно, это приемлемо в тренинговой среде при следующих обстоятельствах.
- Если организация демонстрирует отсутствие заинтересованности в оценке ценности тренинга и обучения (от линейного менеджера до директора)
- Если вы, как тренер, имеете четкую стратегию для планирования тренинга по организационным и развивающим персонал потребностям
- Если вы уверены или у вас есть доказательства, что проведенный тренинг соответствует поставленным целям, задачам и организация (в особенности линейный и топ-менеджмент, который обычно является главным ядром критики и скептицизма) довольна результатами.
- Если у вас есть иные задачи, кроме выяснения ценности тренинга, в особенности, если оценка ценности затруднена, а кооперация крайне мала.
Однако даже в этих обстоятельствах может наступить подходящий момент для успешного использования базисной системы оценки ценности:
- Вы получаете неожиданное требование, побуждающее вас подтвердить ценность всего тренинга или его части. Эти требования могут внезапно появляться в связи с изменениями в менеджменте, политике, новыми инициативами.
- Вы видите возможность или потребность в вашем собственном подтверждении ценности (к примеру, для увеличения тренинговых ресурсов, бюджета, оборудования, помещений и т.д.)
- Вы ищете другую работу и нуждаетесь в доказательствах эффективности вашей прошлой тренинговой деятельности.
И все же "ничего не делать" наименее желаемый образ действий. Ведь в любое время какой-нибудь начальник может подойти к вам и сказать: "Докажи мне, что ты действительно успешен!". Без зафиксированных результатов оценки ценности вам будет нечего сказать.
2 – минимальные действия
Первым шагом для оценки ценности будет:
В конце каждой тренинговой программы давайте обучающимся достаточно времени и поддержки в форме программной информации. Следите, чтобы обучающиеся заполняли свои планы действий, обозначая в них, чему они научились и что они намерены из этого использовать по возвращении к работе. Эти планы действий не должны ограничиваться общим описанием их намерений, там должны присутствовать комментарии к тому, каким именно образом обучающиеся намерены применить полученные знания, указать временную шкалу и необходимые для этого ресурсы. Полностью детализированный план действий всегда помогает обучающемуся интегрировать его мысли. План действий также продемонстрирует тренеру или любому другому заинтересованному лицу, типы и уровни обучения, которых достиг обучающийся. Обучающиеся должны быть воодушевлены показывать свои планы действий и рассказывать о них своим линейным менеджерам по возвращении к работе, вне зависимости от того, была ли данная форма завершения инициативой этого менеджера или нет.
3 – минимально желаемые действия, ведущие к оценке ценности
По возвращении на работу для того, чтобы воплотить в жизнь план действий, обучающийся должен быть идеально поддержан своим линейным менеджером. Линейный менеджер должен провести дебрифинг с обучающимся сразу по его возвращении к работе, обсуждая все необходимые вопросы, согласовывая план действий, оказывая поддержку обучающемуся в его осуществлении.
Как описывалось ранее, это четкая ответственность линейного менеджера, которая демонстрирует топ-менеджменту, тренинговому отделу и самому обучающемуся позитивную тренинговую установку. Дебрифинг – это не финальная точка взаимодействия обучающегося и линейного менеджера. На встрече согласовываются цели и поддержка, затем распределяются конкретные шаги, согласованные во времени, по претворению плана действий в жизнь. Далее необходима финальная встреча, обозначающая будущие действия.
Этот процесс требует от линейного менеджера минимальных усилий. Малая затрата времени и небольшое усилие для менеджера ничего не стоят, но зато показывают всему персоналу, что их менеджер серьезно относится к тренингу.
4 – программа оценки тренинга (подход валидизации)
План действий и подход к его осуществлению, описанный выше в п.3 расценивается как ответственность, лежащая на самих обучающихся и их линейных руководителях и кроме потребности в совете и времени, не требует более никакого участия со стороны тренера. Есть еще две ступени в подходе, которые также требуют только времени обучающихся для того, чтобы описать их чувства и др. информацию. Первый – это "реакционер", который выявляет взгляды, мнения, чувства обучающихся по поводу программы. Это не уровень "Счастливого листочка" и не простой лист отметок. "Реакционер" позволяет определить реальные ощущения от тренинга.
"Реакционер" описан в книге "Оценивая ценность вашего тренинга" Лесли Раем. Этот метод оценки ценности выявляет уровень каждой переменной по 6 степеням шкалы "Плохо-Хорошо", учитывая причины такой оценки обучающимся, что особенно важно, если уровень низкий.
"Реакционеры" не должны быть автоматическими событиями каждого курса программы. Этот метод оценки может быть оставлен для новых программ (к примеру, первые 3 события) или в случае, когда что-то в программе идет не так.
Образцы "реакционеров" можно посмотреть здесь free training evaluation tools.
Следующий инструмент оценки ценности, как и план действий следует использовать по возможности в конце каждого курса. Это Обучающий Опросник (ОО), простой инструмент, выясняющий, чему научились участники в ходе тренинга, что полезного им запомнилось, что они ожидали от тренинга, но так и не получили и что бы они хотели получить. Есть альтернатива ОО. Это Обучающий Опросник Ключевых Целей (ООКЦ), который показывает количество достигнутых целей обучения, задавая вопросы, отражающие ключевые цели тренинговой программы.
Когда использованы методы "реакционер", ОО и ООКЦ, то их результаты не надо класть в долгий ящик по окончании программы (как многие делают), их надо использовать для оценки ценности тренинга и обзора валидизации.
Созданная на фактах оценка ценности нужна для поддержки заверений, что программа хороша/удовлетворительна/эффективна, отвечает поставленным целям. Результаты оценки ценности могут помочь в огласке тренинговой программы.
Примеры ОО и ООКЦ смотрите здесь free evaluation tools.
5 – общий процесс оценки ценности
Если это необходимо, то помимо методов, описанных в п. 3 и 4, можно использовать другие, для обеспечения полной оценки ценности. Процесс описан ниже:
- Тренинг должен быть соотнесен с целями организации
- Планирование, дизайн и приготовление в соответствии с целями
- Предварительный курс определения потребностей участников и завершение этапа подготовки
- Обеспечение согласованных тренинговых программ
- Предварительный курс брифингов участников с линейными менеджерами
- Предварительный курс или старт программы определения существующих у участников знаний, умений, установок ('3-Test' before-and-after training example tool and manual version)
- Повременная валидизация по мере продолжения программы
- Оценка терминальных умений, знаний и завершение оценки ('3-Test' example tool and manual version)
- Выполнение "реакционера" в конце программы
- Выполнение ОООКЦ в конце программы
- Заполнение плана действий
- Послекурсовой дебрифинг между обучающимся и линейным менеджером
- Линейный менеджер осуществляет наблюдение за осуществлением плана действий
- Обзорные встречи с целью обсудить осуществление плана действий
- Обзорная встреча по финальному осуществлению
- Оценка окупаемости тренинга
Заключение
Делать что-нибудь
Процессы, описанные выше, дают определенную свободу, зависящую от ресурсов и культурной среды, таким образом, всегда есть возможность что-то сделать – очевидно, что чем больше инструментов используется, чем шире подход, тем более ценной и эффективной будет оценка ценности. Однако будьте прагматичными. Большие и дорогие программы всегда будут подтверждены скрупулезной оценкой ценности в сравнении с маленькими, некритичными тренинговыми проектами. Если имели место серьезные финансовые вливания и ожидания, то и оценка ценности тренинга должна быть в достаточной мере детализирована. Тренинг-менеджеры в особенности должны выяснить меры оценки ценности и ожидания, связанные с ней у топ-менеджмента, для того, чтобы соответствующие процессы оценки ценности были установлены, когда программа уже разработана.
Когда большие и насыщенные программы планируются, тренинг-менеджеры должно быть ошибаются, заверяя, что запущены адекватные методы оценки ценности. Так как с каждым инвестированием, исполнительное руководство всегда любит спрашивать: "А что мы все-таки получили, потратив свои деньги?". Тренинг-менеджер должен быть готов к данной ситуации для того, чтобы дать полный, детализированный ответ.
Продолжение следует...
|
|
