что оценивает roi в обучении

Оценка эффективности обучения. Суть методологии ROI

Наталья Толстая, сертифицированный специалист по ROI Methodology, генеральный директор компании «Амплуа-Брокер»

В основе подхода ROI Methodology лежит утверждение, что любой процесс обучения и развития персонала должен оцениваться по следующим уровням :

На этом этапе вы собираете информацию о том, как оценивают сами участники обучающей программы ее эффективность. Для этой цели используются анкеты. Очень желательно дать их участникам тренинга и/или обучающей программы сразу после завершения обучения.

Важно, чтобы в анкете были охвачены такие темы:

На этом уровне ваша задача оценить знания, полученные на тренинге.

Для оценки этого уровня используют специально разработанные тесты, опросники и задания, цель которых – количественно измерить прогресс в полученных знаниях.

Это экзамен. По нему участники получают оценки. Вариантов проверки экзамена может быть три:

К минусам этого подхода можно отнести естественное желание провайдера завысить результаты, т.к. это свидетельствует об их хорошей работе (предвзятость). С другой стороны, если у компании-заказчика нет своих специалистов, способных оценить правильность ответов, привлечение провайдера к оценке обучения – единственный выход.

Минусы – может не быть своего специалиста, способного оценить уровень полученных знаний, загруженность своих сотрудников. Плюсы – объективность оценок.

Основной минус – хлопотно и далеко не всегда бесплатно. Плюс – абсолютная объективность.

На этом уровне очень хорошо проявляется профессионализм и серьезность провайдера (тренинговой компании) – если это профессиональная компания, у нее уже будет готов вариант опросника к своей программе или она продемонстрирует готовность его составить.

Довольно сложный уровень, на котором для структурирования действий следует предпринять несколько шагов:

Список бизнес-показателей не ограничивается объемом продаж, прибылью и затратами. Он гораздо более шире (например, производительность, текучка, время отсутствия на рабочем месте, количество результативных звонков в день и пр.). Главное – выбрать тот показатель, на который проведенное обучение влияет максимально и непосредственно.

И еще очень важный момент – проведите измерение выбранного показателя до обучения, чтобы оценить его динамику. Здесь для многих российских компаний и начинаются основные проблемы, потому что статистики по многим показателям просто нет. Поэтому для своих первых проектов старайтесь выбирать те показатели, по которым эта статистика все-таки доступна.

5. Пятый уровень — «ROI»

ROI = ((Доход от обучения – затраты) / Затраты) х 100%

Источник

Что оценивает roi в обучении

На предыдущих уроках вы узнали, как и зачем считать конверсию и стоимость целевого обращения/заказа. Мы подошли к главному — как понять:

Коэффициент возврата инвестиций (return on investment, ROI) — это отношение прибыли к потраченным инвестициям. ROI показывает:

Так выглядит самая простая формула для оценки ROI:

Если ROI меньше 0% — вы понесли убытки. Если равен 0% — вложения окупились, но прибыли нет. Если больше 0% — вы получили прибыль.

Пример. Интернет-магазин продаёт розы, орхидеи и тюльпаны. Для рекламы каждого вида цветов в Директе была создана рекламная кампания. Вот результаты:

В столбцах «Доход» и «Заказы» лидируют орхидеи. Поэтому на первый взгляд кажется, что больше всего прибыли мы получили от их продажи. Проверим, так ли это: посчитаем ROI. Начнём с роз:

Как видите, ROI рекламной кампании «Тюльпаны» наивысший, не смотря на самый маленький доход среди всех трех кампаний.

Важно! Чтобы безошибочно определить ROI вычитайте из дохода все расходы. Например, если у вас магазин цветов считайте стоимость не только цветов, но и упаковки, доставки, зарплату сотрудникам. Помните не только о заказах с сайта, но и о звонках, офлайн-продажах и т. п.

Иначе картина исказится и вы сделаете неверные выводы об эффективности.

Чем выше коэффициент конверсии (CR) и ниже стоимость обращения (CPA), тем выше ROI. Значит, вы можете:

Чем больше средний чек (Average Order Value, AOV), тем выше ROI. AOV вычисляется так: общий доход делится на количество заказов.

Чтобы увеличить средний чек, вы можете:

Анализируйте ROI систематически (например, раз в месяц). Можно считать ROI для рекламных каналов, кампаний в Директе, форматов рекламы, товаров или услуг, регионов и т. д. Зная ROI, вы вовремя и грамотно распределите вложенные в рекламу средства и увеличите их эффективность.

Пример. Вы запустили две рекламные кампании. ROI кампании А — 120%, а Б — 90%. Значит, вы можете:

Источник

Что оценивает roi в обучении

Теперь про моменты. Если брать для расчетов только очевидные цифры, получится так называемый ложный ROI. Поэтому стоит копать глубже.

Из чего складывается доход? Это и заработанные деньги: например, продавцов прокачали, продажи выросли. И деньги сэкономленные: стало меньше жалоб клиентов и расходов на их обработку. А еще это деньги, которые не ушли: вы подтянули качество сервиса, пользователи перестали уходить к конкурентам. Так что над цифрами надо будет посидеть, посчитать, во сколько компании обходились жалобы, ушедшие клиенты и тому подобное.

С инвестициями то же самое. Помимо очевидных расходов (выделили 200 тысяч на учебный проект) бывают неочевидные. Допустим, обучение отъедало кусок рабочего дня, из-за этого компания зарабатывала чуть меньше — такая вот косвенная инвестиция в обучение.

Камень раз. ROI — не священная истина, а приблизительная величина. Мало того, что доход и инвестиции не всегда складываются из очевидных цифр, так еще и внешние факторы могут создавать погрешность. Экстремально плохая погода подкосила сотрудников и цифры эффективности. Или лето, потенциальные клиенты улетели в отпуска, а продажи вниз.

Камень два. У каждой компании своя планка. Для кого-то 50% окупаемости это окей, у нас пилотный проект, есть запас средств и можно ошибаться. А для другой компании это провал, у нее жесткий финансовый режим, каждый рубль должен работать.

Камень три. Не все меряется деньгами. После обучения коммуникациям сотрудники друг с другом ведут себя как зайчики, атмосфера в офисе стала теплее и ламповее. Это ценно, а сколько это в деньгах? Чтобы оценить эффективность обучения по полной, одного ROI недостаточно. Вот тут подробнее написали про оценку эффективности, есть 6 разных моделей этой самой оценки, на любой корпоративный вкус.

1. Считать ROI важно, ведь обучение — финансовый проект, а не гуманитарное развлечение.

2. Чтобы нормально посчитать ROI, нужно покопаться с цифрами. Доход от обучения складывается не только из прибыли, инвестиции — не только прямые денежные вливания. Откопали и рассчитали все неочевидное, а дальше по формуле.

3. Посчитали ROI — рано успокаиваться. Время анализа. А такой показатель для нас хорошо или плохо? Что помешало добрать нужные цифры? Что привело к успеху?

4. С ответами на вопросы можно будет жить дальше: полировать или масштабировать обучающий проект либо оставить все как есть и наслаждаться.

Источник

Как правильно рассчитать ROI в обучении?

Когда кто-то из близких дарит коробочку конфет, то, невольно, мы начинаем предвкушать вкус этого лакомства. Но внешний вид весьма обманчив! К примеру, аппетитная ароматная конфетка может оказаться очень горькой на вкус. Внешне привлекательное лакомство приносит лишь разочарование.

С инвестициями в обучение происходит примерно такая же история. То, что мы видим, может оказаться не тем, что можно получить. Ситуация с конфетами довольно типична и понятна, поэтому никто не будет из этого делать большую трагедию. Но вот с ROI все намного серьезнее. Расчеты ROI служат важной основой для принятия серьезных деловых решений. В основу таких расчетов не должны входить какие-либо искаженные представления. Следует понимать, что ROI – это не какой-то определенный результат, а показатель, отражающий финансовые затраты на какой-либо проект и выгодность тех самых затрат для развития бизнеса. Этот показатель очень важен для проведения глубокого анализа, но он не может сам по себе выступать единым индикатором успеха.

Качество шоколада невозможно определить, изучая лишь упаковку, и, соответственно, только лишь по значению ROI нельзя оценить уровень производительности. Только эффективные решения могут помогать сотрудникам качественно выполнять свою работу и достигать отличных результатов. Чтобы подсчитать ROI, необходимо определить финансовую выгоду и улучшение результатов ведения бизнеса. В этом могут помочь деловые книги компании, так как они содержат ценную информацию обо всех денежных операциях. Если нет возможности использовать этот источник, то можно также воспользоваться оценочным методом анализа, при условии использования только проверенных данных.

Финансирование, доходы, прибыль.

Экономия и сокращение расходов.

1. Не связаны с финансированием, доходами и прибылью.

2. Расходы сокращаются благодаря улучшениям в различных сферах.

С помощью формулы расчета ROI можно увидеть и понять, как проходит оценка производительности. Этот способ оценивания носит имя «Ложный ROI », так как он предполагает использование некоторых спорных оценочных решений.

(Чистая прибыль/Полный объем расходов)*100 = ROI

«Ложный ROI»

Сотрудники техподдержки, которые работали в одном из американских колл-центров, испытывали некие сложности, когда помогали клиентам решать вопросы об устранении неполадок в работе высокоскоростного Интернет-соединения. Менеджеры этого колл-центра, в сотрудничестве с отделом обучения, провели анализ потребностей своих подчиненных в обучении. Основной причиной увеличения количества жалоб от потребителей, которые обращались в колл-центр, был недостаток знаний и умений его сотрудников. Чтобы улучшить качество работы, менеджеры организовали специальный тренинг для сотрудников колл-центра. После этого, в течение месяца проводился персональный коучинг, который наблюдали опытные супервизоры. Затем менеджеры проанализировали полученные бизнес-результаты.

На обучение было потрачено 110 тыс. долларов. Чтобы определить улучшения в работе службы техподдержки, использовались наблюдения супервизоров и запись абонентских звонков. По истечению двух месяцев было отмечено уменьшение количества жалоб от клиентов. Чтобы определить ROI, необходимо выяснить, какие финансовые потери мог бы нести колл-центр из-за этих жалоб. Недавнее правительственное исследование показывает, что разрешение и обработка типичной жалобы от клиентов обходится в 595 долларов. Итак, в колл-центре количество жалоб сократилось на 30 в месяц, значит, компании, благодаря проведенным обучающим мероприятиям, удалось сэкономить 17 850 долларов. За год компания сможет сократить свои расходы на 214 200 долларов. Эти цифры помогают подсчитать ROI, который равен 95%.

Полученное значение впечатляет, но для установления качества ROI необходимо провести более детальный анализ того, как это значение было получено. Что же на самом деле отражает качественный анализ ROI?

Даже при самом тщательном подсчете, возможны неточности и ошибки. Но если такие результаты служат основой для принятия важных решений, то лучше всегда ставить под вопрос качественную значимость показателя ROI. К сожаленью, практически невозможно учитывать все важные перемены и ложные интерпретации, но необходимо обязательно обратить внимание на следующие факторы:

Изучив все эти факторы, можно проанализировать, как недостоверные данные повлияли на значительное преувеличение оценки ROI в компании Mountain Media.

Чтобы получит удовольствие от подаренных шоколадных конфет, недостаточно только рассматривать красивую коробку или просто съесть лакомство. Для полного наслаждения шоколадом важны также особые обстоятельства и испытываемые чувства.

Для разработки учебной стратегии необходимо учитывать следующие моменты:

В течение двух месяцев решение Mountain Media использовалось в двух из трех колл-центров. Третий колл-центр получил это решение только на третий месяц. Если рассматривать этот колл-центр как контрольную группу для определения причинно следственной связи улучшений из-за внедренных решений, то необходимо отметить, что он обладает совершенно одинаковыми характеристиками с первыми двумя центрами. Проанализировав работу «экспериментальных» колл-центров выяснилось, что количество жалоб за месяц уменьшилось на 30. В «контрольном» центре число жалоб уменьшилось на 10, что свидетельствует о том, что существуют и факторы, которые не связаны с применением решения, но приводят к снижению жалоб. Поскольку эту информацию, полученную из контрольной группы, можно считать надежной, то можно также утверждать, что такие факторы присутствовали и в колл-центрах, в которых проводилось обучение. Сделав качественный анализ ROI можно смело говорить о том, что, благодаря внедренным решениям, количество жалоб снизилось не на 30, а на 20 в месяц.

Для величины ROI огромное значение имеет то время, на протяжении которого сохраняются полученные результаты. Делая оценку ситуации в Mountain Media, полученный результат попытались экстраполировать на год вперед. Это довольно ошибочное решение, так как оно совершенно не учитывает те изменения, которые могут происходить в течение года. Качественный анализ ROI предполагает, что снижение количества жалоб, в результате применения обучения, продлиться не 12, а 9 месяцев. В последнем квартале года потребители будут обеспечены новой технологией с опцией встроенной автоматической техподдержки, что, по мнению экспертов, поможет минимизировать количество звонков.

Одни и те же показатели имеют разную денежную ценность в различных организациях. Качественные показатели и маржа прибыли – надежные величины, которые хранятся во внутренних источниках компаний. Ценность таких показателей можно выяснить следующими способами:

Ценность, которую несут подаренные шоколадные конфеты, намного выше, чем их цена, так как необходимо учитывать и время, потраченное на выбор подарка, и создание особой обстановки, в которой дарили конфеты. Учебные решения также требуют особых дополнительных расходов. Делая оценку в Mountain Media, эксперты взяли во внимание стоимость обучения, но совершенно не учли денежные средства, потраченные на оплату работы супервизоров. Коучинг, который проводился в течение 30 дней, увеличил стоимость обучения на 15 тысяч долларов.

В таблице представлено сравнение «Ложного расчета ROI» с результатом качественного анализа этого показателя.

Качественный анализ ROI

Ложный анализ ROI

Сокращение количества жалоб на 20. Эта цифра была получена в результате анализа работы «контрольной» группы.

Сокращение количества жалоб на 30. В основе лежит предположение, что на этот показатель повлияло внедренное обучение.

Результат сохраняется в течение 9 месяцев. Информация, полученная из надежных источников, свидетельствует о том, в течение 9 месяцев количество жалоб будет сокращаться.

Результат сохраняется в течение 12 месяцев. Предполагалось, что число жалоб будет уменьшаться в течение года.

Стоимость обучения – 125 тыс. долларов.

Стоимость обучения – 110 тыс. долларов.

ROI – отрицательный, так как расходы превышают доход.

ROI=95%. Этот показатель значительно преувеличен, так как получен в результате не правильно проведенного анализа.

Всегда необходимо знать, откуда взяты данные, которые используются для различных анализов. Личные и деловые решения не должны основываться только на показателе ROI. Но многие консультанты и менеджеры очень часто делают именно так. Чтобы не запутаться в цифрах и различных подсчетах, необходимо знать всю правду о показателях ROI.

Источник

ROI в HR: для чего он и как правильно рассчитать эффективность инвестиций в персонал

Вложения в персонал — это инвестиции с распределенной во времени отдачей. Принимать решения и подкреплять аргументами необходимость вложений в персонал HR-специалистам зачастую не позволяет отсутствие понимания, как считать эффект от вложений, особенно если нет прямого результата в виде денежных поступлений. В этом HR-отделам может помочь встраивание в систему HR-аналитики компании такого показателя, как ROI (return on investment). Он используется для определения эффективности долгосрочных вложений, когда есть вероятность, что денежные поступления и затраты (инвестиции) не совпадут по времени. О том, как правильно использовать ROI в HR-аналитике, рассказала Елена Артемьева, директор по аналитике сервиса Работа.ру.

ROI показывает прибыль на один рубль вложенных средств или процент денег, которые возвращаются после затрат (инвестиций).

Классическая формула ROI:

ROI = (доходы от вложений − сумма инвестиций) ∶ сумма инвестиций × 100%

Если денежные потоки от инвестиций поступают более года, применяется метод дисконтирования, который позволяет привести будущие денежные поступления к текущей стоимости денег. Так мы учитываем инфляцию и тот факт, что тысяча рублей, полученная сейчас, не равна тысяче рублей, полученной через два года. Но в рамках данной статьи мы не будем усложнять расчеты и вводить в формулу коэффициенты дисконтирования.

ROI позволяет оценивать эффективность любых вложений. В HR-отрасли именно ROI поможет окончательно определиться с необходимостью оплаты обучения или ДМС для сотрудников, а также с необходимостью внедрения принципиально иной системы мотивации.

Формула расчета ROI кажется достаточно простой до тех пор, пока не возникает необходимость непосредственно приступить к расчетам. Как правило, компании очень редко встраивают данную метрику в систему показателей HR-аналитики по ряду причин:

1. Нет понимания, как считать эффект от вложений.

2. Нет понимания, какие затраты необходимо учитывать при расчете ROI и что делать, если эффект не выражается в прибыли напрямую.

3. Вложения в персонал отсутствуют, потому что кажется, что это бессмысленно и не окупается (см. п. 1).

4. Данные хранятся в таком виде, что соотнести затраты с доходами не всегда удается.

В этой и следующей статьях мы последовательно разберем все эти пункты

Может показаться, что все вложения должны напрямую влиять на выручку или прибыль компании, иначе расчет ROI не имеет смысла. Однако при таком подходе мы сможем рассчитать эффект от вложений только в том случае, если речь идет об инвестициях в персонал, непосредственно участвующий в формировании выручки компании. Например, менеджеры по продажам. Естественно, вложения в персонал — это не всегда тренинги для них о том, как лучше продавать, где эффект рассчитывается достаточно просто по формуле выше. Но и здесь есть много подводных камней.

Допустим, компания долго выбирала лучший тренинг для роста эффективности работы менеджеров по продажам. Сотрудники учились два месяца отрабатывать возражения, продумывать лучшие скрипты, работать с психотипами клиентов, допродавать услуги и товары и т. п. Они вернулись с тренинга заряженные на успех и повышенные продажи. Мы замеряем эффект до и после тренинга и видим, что выручка увеличилась на 50%. Но можем ли мы отнести этот прирост только на счет затрат на тренинг?

Посмотрим на примере. График демонстрирует нам условную выручку до и после тренинга.

Выглядит эффектно. Но стоит нам добавить прогноз продаж, который был сделан еще до тренинга на тот же период, как сразу результат становится уже не таким ошеломляющим.

Так ли был важен тренинг для роста эффективности менеджеров? Если нет, почему тогда выросла выручка? На следующем графике видно, что в компании есть явно выраженная сезонность в продажах. Поэтому нельзя сравнивать результаты декабря, когда и так наступает пик продаж, с ноябрем и делать выводы о том, что рост показателей в декабре произошел не в результате логичного сезонного прироста, а за счет влияния внешних факторов.

Как же в нашем примере корректно рассчитать эффект от вложений средств в обучение?

Здесь поможет подход, применяемый в A/B-тестировании — методе, при котором мы пытаемся оценить влияние определенных изменений, когда все прочие условия остаются прежними.

В данном случае нам необходимо было бы отправить на тренинг не всех менеджеров, а часть команды. При этом выбор должен быть равномерным, чтобы небольшая группа менеджеров была максимально похожа по характеристикам на ту группу, показатели которой мы хотим улучшить. Так, если мы планируем обучать новичков и протестировать эффективность определенного тренинга, необходимо набирать тестовую и контрольную группы из числа новеньких случайным образом, чтобы в тестовой группе, например, не оказались одни девушки, а в контрольной — одни парни или в тестовой — менеджеры Новосибирска, а в контрольной — только Пензы. Почему это важно? Потому, что тестовая и контрольная группы должны быть максимально похожи для обеспечения сопоставимости групп теста и исключения влияния каких-либо других факторов, например связанных со структурными сдвигами внутри самих групп. Также на время теста ни в одной группе не должно происходить никаких других изменений, кроме факта направления или ненаправления на обучение. То есть менять мотивацию, повышать зарплату, изменять планы и т. п. категорически нельзя.

В итоге мы получаем не просто разницу «было — стало», а сравниваем тестовую и контрольную группы и определяем степень значимости в ключевых метриках между ними — как в абсолюте, так и в относительном выражении (например, в приросте к периоду, взятому за базу сравнения).

Подробнее о том, как правильно проводить A/B-тесты, можно узнать на совместном курсе Работа.ру и «Нетологии» «HR-аналитика и автоматизация», который стартует 15 ноября.

Таким образом, мы выяснили, что расчет показателя ROI в HR подчиняется тем же правилам, что и расчет ROI в маркетинге или любом другом виде деятельности, где есть инвестиции, и заключается в сравнении затрат с прибылью от вложений. Однако особенность ROI в HR заключается в том, что эффект от инвестиций в персонал не всегда можно выразить напрямую через денежные поступления. Что делать в этих случаях, мы расскажем в продолжении статьи.

Источник