+7 (495) 645–00–40
Связаться
+7 (495) 645–21–15

Прививка диджитала: что делать с оценкой персонала во время коронавируса?

COVID-19 вместе с нарастающим экономическим кризисом создаёт условия, с которыми мир ранее не сталкивался. Страны изолируются, рынки застывают, вводятся новые методы контроля населения. Всё это видоизменяет и HR: бюджеты сокращаются, найм ограничивается, практически весь персонал переводится на удалёнку.

В этой статье мы даём семь рекомендаций, как ответить на эти вызовы в оценке персонала.

Юрий Шатров
Руководитель
практики Digital Assessment ЭКОПСИ

shatrov@ecopsy.ru
facebook.com/lopecgo
1. Обратите внимание на дистанционные инструменты — альтернативы пока нет
По сравнению с очными инструментами они более дёшевы и могут проводится дистанционно.
2. Оценивайте критерии, которые важны в ситуации кризиса и изменений
В текущей ситуации необходимо оценивать две группы критериев:
1
Потенциал и деструкторы: спрогнозируют эффективность человека в новых (непредсказуемых и стрессовых) условиях
Мы попали в мир, которым консультанты нас долго пугали в своих презентациях, — VUCA-мир. Сложно с точностью предсказать, чем закончится ситуация с вирусом и какая будет рыночная ситуация в стране через полгода. Поэтому необходимо оценивать критерии, которые влияют на поведение не только сейчас (навыки и знания), но и в средне- и долгосрочной перспективе.
Составляющие потенциала, наиболее важные в ситуации кризиса (на примере PiF)
— Мотивация к развитию. Человек будет обучаться новому, продолжит развиваться в своей профессиональной деятельности. (Также важна шкала «Адаптивность» из экспертного отчёта PiF).
— Мотивация к лидерству. Человек будет брать на себя лидерство вопреки возрастающим издержкам и возможному снижению оклада.
— Шкалы блока «Драйв». Человек будет активным и энергичным в период замедления рынка, возрастания уровня неопределённости и тревоги.
Деструкторы, наиболее критичные в ситуации кризиса (на примере DPI)
— Безынициативность. Человек будет быстро опускать руки и начнёт ожидать от других решения его проблем.
— Независимость. Человек будет выключаться из работы команды, замыкать решение задач на себе, принимать единоличные решения.
— Эмоциональность. Человек будет чувствительно реагировать на происходящие события, не будет управлять своими негативными эмоциями.
2
Управленческие компетенции и практики: поддержат повседневную эффективность сотрудников
Удалённая работа требует от руководителей большего внимания к сотруднику. Цикл управления исполнения сжимается с недель и месяцев до дней, сотрудники нуждаются в большей эмоциональной поддержке, коммуникация должна быть более быстрой и чёткой. Поэтому необходимо оценивать и давать обратную связь по управленческим компетенциям и практикам. Для оценки компетенций подойдёт практически любая модель, которая показывает эффективность в Вашей компании, а практики регулярного менеджмента должны быть разработаны с учётом специфики Вашей компании и её отдельных бизнесов.
3. Стандартизируйте оценку — с дефицитом очных инструментов это единственный способ сохранить её точность
В дистанционном формате оценщик получает намного меньше информации об участнике, они оба стеснены в способах самовыражения. Уже невозможно дать всё на откуп эксперту в ожидании, что он сумеет оценить всё своим глубоким взглядом. Поэтому необходимо стандартизировать процессы оценки — привести их к единым стандартам.
Начать нужно с оценочных критериев — обеспечить всех оценщиков единым пониманием компетенций, ценностей, навыков. В этом помогут калибровочные тренинги (или frame-of-reference training, FOR). В ходе калибровочных тренингов оценщики подробно рассматривают все критерии и их индикаторы, обсуждают, как они проявляются в поведении. Крайне эффективно отрабатывать понимание критериев на практике. Оценщики просматривают видеозапись с поведением участника в ходе упражнений (если происходит обучение центру оценки), или знакомятся с текстовым описанием его действий в рабочих ситуациях (180 / 360 градусов). Далее они самостоятельно оценивают «ролевых» участников — и сверяют свои оценки с правильными ответами. Дополнительно в ходе обучения необходимо описать основные искажения, которые возникают в ходе оценки: ореола, первого впечатления, личностного подобия.
Влияние калибровочных тренингов на точность разных инструментов оценки (выберите инструмент)
*Согласованность отражает, насколько «одинаковые» оценки дают эксперты в отношении одного участника. Чем выше согласованность — тем лучше.
**Валидность — связь оценок интервьюеров по оцениваемым критериям с оценками экспертов.
*Согласованность отражает, насколько «одинаковые» оценки дают эксперты в отношении одного участника. Чем выше согласованность — тем лучше.
**Валидность — связь результатов интервью с эффективностью участников.
Далее стандартизируйте сами процедуры оценки. Например, чем стандартизированнее интервью — тем оно точнее. Есть три уровня стандартизированности интервью (по Huffcutt, Culbertson, and Weyhrauch, 2013):
— Низкий. Интервьер задаёт произвольные вопросы участнику или выбирает их из списка, ставит оценку участнику «в целом».
— Средний. Интервьюер сначала задаёт вопросы из списка, а затем дополнительные произвольные, ставит оценку по отдельным компетенциям.
— Высокий. Интервьюер задаёт вопросы строго по скрипту, без каких-либо дополнительных, оценивает ответ на каждый отдельный вопрос.
Точность интервью по компетенциям разного уровня стандартизированности (Thorsteinson, 2017)
*Согласованность отражает, насколько «одинаковые» оценки дают эксперты в отношении одного участника. Чем выше согласованность — тем лучше.
**Валидность — связь результатов интервью с эффективностью участников.
Другой пример — сведение в центрах оценки. Мы сейчас видим большой интерес к виртуальным центрам оценки и уверены, что даже на карантине компании продолжат проводить ЦО. Финальный этап в оценочной части ЦО — сведение: оценщики обсуждают участников и выставляют им финальные баллы. Последние исследования показывают, что статистическое сведение эффективнее экспертного. Наблюдатели усредняют свои оценки по разным компетенциям — получившаяся цифра и есть итоговый балл по центру оценки. Главное преимущество данной процедуры — на неё не влияет групповая динамика, которая возникает в ходе обсуждения результатов, и субъективность отдельных наблюдателей.
*Валидность — связь результатов ЦО с эффективностью участников.
Статистическое сведение может быть основой для заключительной части ЦО, но проводить только его нельзя. Результаты всё равно нужно обсуждать. Две причины:
— Наблюдатели могут выставить противоположные оценки одному участнику. Это различие требует обсуждения и согласования оценок.
— Написание отчётов требует глубоких выводов по участнику, которые могут возникнуть только в результате обсуждения.
Наконец, алгоритмизируйте механизм принятия решений. Мы согласны с идеей, что не надо принимать решения за менеджеров, надо упростить менеджерам условия для принятия решений. А алгоритмизация принятия кадровых решений не только упрощает принятие решений, но и повышает их точность (Shu, 2018; Yu, 2018):
— Применяйте механическое суммирование / усреднение результатов разных оценочных инструментов. Например, кандидат получил балл 87 (из 100) по тесту, по интервью — 3,5 (из 5), а по кейсу — 4,1. Мы переводим балл по тесту в пятибалльную шкалу (если не уходить в z-баллы, получится 5), чтобы все результаты можно было сравнивать между собой, и усредняем результаты по всем оценочным инструментам. Также баллы по разным инструментам могут идти с весами, чтобы учесть важность каждого из них (Sackett, Dahlke, Shewach, & Kuncel, 2017). Веса могут быть разработаны экспертно, но лучший вариант, если они разработаны на основе данных об эффективности каждого инструмента.
— Применяйте пороговые баллы. HR'ы часто пренебрегают этой очевидной стратегией (Woehr, Arthur Jr, & Fehrmann, 1991). Практически все автоматизированные инструменты оценки эффективны в задаче барьерометрии — отсеве слабых участников. Причина — тесты хорошо выявляют слабых участников, но менее точны в дифференциации «средних» от сильных. Поэтому в тестах способностях можно смело ставить пороговый балл 30 процентилей и таким образом сокращать воронку. В тестах знаний можно ставить более высокий пороговый балл — 70% и выше усвоенного материала (исходя из допущения, что человек для успешного выполнения своей работы должен знать как минимум 70% материала).

С этими двумя механизмами можно отсеивать слабых и «средних» участников, а оставшихся оставлять менеджеру для принятия его собственного решения (Kuncel, 2008).
4. Защитите оценку от обмана и социальной желательности — удалённый формат искушает участников
Мы не будем подробно описывать, как участники могут обманывать и искажать результаты оценки. Скажем только, что согласно оптимистичным оценкам, 30% людей фальсифируют результаты тестов и опросников (Griffith & Converse, 2012) и как минимум половина из них попадает в организацию и далее показывает низкую эффективность в работе (Donovan, Dwight, & Schneider, 2014). На удалёнке эта проблема встаёт в полный рост: кажется, что невозможно проконтролировать прохождение тестов и участники обязательно обманут. На первый взгляд это так, но есть способы защититься от фрода. Все способы защиты делятся на две группы — предотвращение и выявление. Первая требует более трудоёмких мер, но зато более эффективна. Вторая — менее трудоёмка, но и менее эффективна.
1
Методы предотвращения (или снижения вероятности) обмана.
— Прокторинг. Искусственный интеллект или человек наблюдает за участником во время прохождения теста и оценивает, в какой мере он следует инструкциям (ведётся запись видео и аудио, в поле зрения камеры нет второго лица, нет лишних шумов). В результате выводится оценка достоверности прохождения теста, с помощью которой можно отбраковать самые ненадёжные протоколы. А также можно сравнить лицо в кадре с фото участника, полученным из другого источника. Эти меры снижают процент обмана практически до нуля. Среди всех российских сервисов прокторинга мы рекомендуем Examus — на текущий момент у коллег самая совершенная технология.
При использовании прокторинга важно учитывать две вещи:
1. Он требует у участника наличия камеры и микрофона.
2. Он не очень нравится людям моложе 30 лет, т.к. создаёт у них ощущение нарушения приватности.
В случае использования прокторинга в рекрутменте количество желающих пройти тест снижается на 20-50% в зависимости от возрастного состава и географической распределённости участников. Мы прогнозируем, что со временем этот % будет стремительно падать. В оценке действующих сотрудников — к примеру, в рамках продвижения или формирования резерва — такого серьёзного сужения воронки не происходит.
— Оценка, основанная на искусственном интеллекте. Эта оценка использует так называемые black-box алгоритмы: способы выставления оценки настолько сложны, что не могут быть полностью проинтерпретированы и раскрыты. А значит, и участники не смогут понять и обмануть их. ИИ может как усовершенствовать традиционные технологии — тесты и опросники (например, delta.ai и Plum); так и предложить инновационные — автоматизированные чат-боты и видеоинтервью.
Пример ИИ в оценке персонала — видеоиннтервью в Конкурсе «Лидеры России»
ИИ анализирует в видеоинтервью участника его речь, эмоции и особенности голоса. В результате прогнозируется успешность участника на очных этапах Конкурса.
— Ипсативные опросники. Это опросники, в которых на одном экране участнику необходимо сделать выбор из двух и более утверждений. Ипсативные опросники мешают участникам искажать свои результаты, так как сравниваемые качества более-менее равны по своей «желательности» (Cao, & Drasgow, 2019). Обратные им — нормативные опросники — наоборот, более подвержены обману.
Каждый вопрос — одно утверждение

Укажите, в какой мере Вы согласны с данным утверждением:

Я ответственно подхожу к выполнению задач
  • Согласен
  • Скорее согласен
  • Скорее не согласен
  • Не согласен
      — Предупреждения. Если участник знает, что в случае обмана он будет выявлен и исключён из отбора / отправлен на повторное тестирование — вероятность фальсификации результатов существенно снижается (Dwight, & Donovan, 2003).
      2
      Методы выявления обмана.
      Здесь мы ограничимся простым описанием каждого метода, чтобы не выдавать слишком много секретов. За подробностями вы можете обратиться к своему провайдеру психометрики.
      — Шкалы несогласованности ответов. Эти шкалы выявляют участников, которые пытаются сформировать определённый положительный профиль в своих ответах.
      — Специфичные паттерны ответов. Участники, которые пытаются обмануть опросники, отвечают достаточно специфично. И есть специальные методы выявления таких паттернов ответов.
      — Замер скорости ответа. Участники, которые заранее знают ответы на тесты знаний, отвечают слишком быстро. В опросниках работает обратный принцип, который используется в полиграфе: участники дают социально-желательные ответы в большей задержкой.
      Все методы выявления обмана менее эффективны, так как зачастую неясно, что делать с недостоверными результатами. Повторное тестирование во многих случаях провести невозможно — в личностном опроснике участник ещё сильнее исказит результат, а в тестах способностях наберёт ещё более высокий балл. Выявлять обман и социальную желательность полезно только в том случае, если за этим последует исключение участника из отбора. Но на такую меру идёт крайне мало компаний.
      5. Цифровизируйте оценку — если не сейчас, то никогда
      На удалёнке актуализируется давняя проблема оценки: результаты хранятся на индивидуальных дисках или в почтовых переписках, естественно, не связанных с какой-либо «материнской» системой. Из-за этого результаты оценки теряются, а оценщики тратят время на лишние транзакции и переключение между окнами. Причём в диджитализации рекрутёры шагнули намного дальше оценщиков: ATS'ки есть во многих российских компаниях, и они интегрированы со многими платформами для тестирования и видеоинтервью.
      ATS-платформы на российском рынке
      Оценка тоже должна иметь своё цифровое пространство, в котором можно управлять кандидатами и сотрудниками: назначать им инструменты, отслеживать прохождение, смотреть на результаты. На примере Success Factors (SF):
      — SF автоматизирует процессы оценки. В профиле сотрудника будут сохраняться результаты оценки и отчёты центра оценки, опросов 360 градусов, интервью. Результаты будут сохраняться вне зависимости от того, они были получены посредством встроенных в SF инструментов или из сторонних.
      — SF может быть интегрирован со всеми известными платформами для дистанционной оценки: создать «на той стороне» респондентов, принять и отобразить в личном кабинете результаты. Оценщик или рекрутёр будет работать в одном окне, не переключаясь между системами.
      6. Поддерживайте в участниках веру в точность оценки
      Люди с бо́льшим негативом относятся к дистанционной оценке. В первую очередь это касается тестов и телефонного / видео-интервью (Blacksmith, Willford & Behrend, 2016). Причины очевидны: дистанционная оценка кажется участникам более механизированной, менее управляемой и поэтому менее справедливой. Помимо «бесчеловечности», участникам не нравится отсутствие (или бедность) обратной связи и подверженность техническим ошибкам (Guchait, Ruetzler, Taylor, & Toldi, 2014).
      Исключение — виртуальные центры оценки. Согласно нескольким исследованиям, участники воспринимают их практически так же позитивно, как очные (Denunzio, Marira, & Collins, 2013; Fay, Frame, Kenworthy, & Lopez, 2013; Gibbons, & Lanik, 2014).
      В пользу дистанционной оценки есть три аргумента:
      1
      Дистанционная оценка предъявляется ко всем одинаковые требования, а значит, в этой части справедлива. Согласно исследованиям, на примере с видеоинтервью этот аргумент и соответствует действительности, и способствует принятию участнику своих результатов (Basch, & Melchers, 2019).
      2
      Дистанционная оценка компетенций равна по точности очной.
      — Виртуальные центры оценки с большей точностью оценивают аналитические компетенции и с меньшей — коммуникативные (Gibbons, & Lanik, 2014). Но оба формата сопоставимы по точности итогового балла, на основе которого формируется рейтинг участников (Lievens, Keer, & Volckaert, 2010).
      — Точность интервью, проводимого по видеосвязи, сопоставима с точностью очного интервью (Gorman, Robinson, & Gamble, 2018). Условие — высокий уровень структурированности интервью.
      3
      Дистанционная оценка удобна: интервью или тест можно пройти в удобном месте и в удобное время.
      7. Развивайте свою экспертизу — сейчас как можно лучшее время для этого
      Во-первых, из-за урезания бюджета на внешних подрядчиков. Во-вторых, для получения конкурентных преимуществ в условии возрастающей конкуренции на рынке. (В-третьих, узнавать что-то новое — просто интересно). Мы видим как минимум два направления профессионального развития российских оценщиков:
      Также вас может заинтересовать полный список ресурсов по оценке персонала, который мы кропотливо собирали последние полгода:
      — Часть 1. Блоги, сообщества, журналы
      — Часть 2. Стандарты и научные журналы
      — Часть 3. Книги (на русском)
      — 12 лучших книг по оценке персонала (на английском)
      Автор статьи
      • Юрий Шатров
        Руководитель практики
        «Digital Assessment»

        shatrov@ecopsy.ru