Эффективный центр оценки: 10 рекомендаций

Мы очень любим центр оценки (ЦО). И ещё больше нам хотелось бы, чтобы российские компании пользовались лучшими практиками ЦО. Поэтому мы решили написать, как сделать центр оценки эффективной процедурой отбора. Постараемся не быть банальными, но сделать акцент на непростых и не самых очевидных вещах, связанных с информационной перегрузкой наблюдателей, их подготовкой и отбором, сведением результатов, проверкой валидности. (Для основ рекомендуем обратиться к Стандарту центра оценки :)
Компетенции
1
Оценивайте до 6 компетенций в одном центре оценки.
Чем больше компетенций – тем сильнее они смешиваются друг с другом. Во-первых, на практике они начинают повторять друг друга. В теории, в виде прописанных индикаторов, они действительно различаются. Но в наблюдаемом поведении они становятся сложно различаемыми. Пример – индикаторы на (а) анализ плюсов и минусов решения (компетенция "системное мышление"); (б) анализ рисков и возможностей в ситуации (компетенция "стратегическое мышление"). В теории можно описать их различия, но на практике, в поведении человека, они смешиваются. Сложно точно сказать, "эта фраза" участника следует из его системного мышления, или из стратегического.

Во-вторых, наблюдатели тоже начинают смешивать компетенции, так как не всегда могут удержать во внимании сразу много элементов. Они упрощают компетенции до 2-3 элементов – чаще всего до (а) эффективной коммуникации и драйва; и (б) решения задач. В случае особенно сильной информационной "перегрузки" наблюдатели основывают свои оценки уже не на компетенциях, а на ошибках восприятия (первого впечатления и ореола).
Наблюдатели
2
Привлекайте в наблюдатели и психологов, и представителей бизнеса.
– Психологи привыкли ставить человека в центр своего внимания. Поэтому их оценки более согласованы (они одинаково понимают компетенции и наблюдаемое поведение), что в итоге повышает точность.
– Люди из бизнеса лучше понимают, какое поведение эффективно в рабочих ситуациях. Это также повышает точность оценки. В Европе распространена практика, когда в ЦО привлекаются наблюдатели из бизнеса – действующие менеджеры, прошедшие тренинг навыков наблюдения в ЦО. Также участие в ЦО позволяет менеджерам повысить их собственный уровень владениями компетенциями.
Если нет возможности привлечь менеджеров – делайте ставку на оценщиках с психологическим образованием. Они выставляют более точные оценки, чем люди без психологического бэкграунда.
3
Обучайте наблюдателей не только НОКО, но и в формате frame-of-reference.
НОКО – последовательность действий наблюдателя-эксперта в ходе проведения моделирующих упражнений. Состоит из четырех этапов: наблюдение (Н), описание (О), классификация (К) и оценка (О) поведения.

Стандарт центра оценки
В оценке распространены тренинги НОКО. Основная цель тренинга – научить наблюдателей фиксировать и оценивать именно поведение, а не свои субъективные суждения об участниках оценки. За рубежом также получили распространение т.н. frame-of-reference тренинги, или калибровочные тренинги. Их цель – создать у наблюдателей единое понимание (фрейм), какие компетенции оцениваются и как они проявляются в конкретных упражнениях. В ходе калибровочных тренингов оценщики подробно рассматривают все компетенции и индикаторы, обсуждают, как они проявляются в поведении. Крайне эффективно отрабатывать понимание компетенций на практике. Оценщики просматривают видеозапись с поведением участника в ходе упражнений (если происходит обучение центру оценки), или знакомятся с текстовым описанием его действий в рабочих ситуациях (180 / 360 градусов). Далее они самостоятельно оценивают "ролевых" участников – и сверяют свои оценки с "правильными" ответами. Дополнительно в ходе обучения необходимо описать основные искажения, которые возникают в ходе оценки: ореола, первого впечатления, личностного подобия.
В России калибровочные тренинги практически не проводятся. Тем не менее, они являются крайне эффективным дополнением к НОКО-тренингам.
4
Отбирайте оценщиков, выставляющих наиболее согласованные оценки
Работа с оценщиками должна происходить не только до ЦО, но и после самого мероприятия. Основная мера эффективности оценки наблюдателями – это согласованность их оценок. Согласованность отражает то, насколько оценки одного наблюдателя согласуются с оценками других наблюдателей. Высокий уровень согласованности означает, что наблюдатель пользуется единой для всех моделью оценки в упражнениях. Низкий уровень согласованности отражает субъективизм наблюдателя, использование им своих собственных критериев оценки.

Согласованность необходимо считать на данных по индикаторам, а не компетенциям - это повышает точность аналитики. Существует множество способов оценки согласованности, самый распространённый из них – коэффициент конкордации Кэндалла. Его оптимальное значение – от 0,6 для каждого наблюдателя. Более подробно ознакомиться с методами оценки согласованности вы сможете в соответствующих статьях.

Наблюдателей с низким уровнем согласованности необходимо обучать модели оценки (проявлению индикаторов в каждом упражнении). Наиболее эффективный формат обучения - описанные выше калибровочные тренинги. Наблюдателей с хронически низкой согласованностью необходимо заменять.
Процедура оценки
5
Проводите оценку в каждом упражнении на уровне адаптированных индикаторов
У компетенций в большинстве моделей есть конкретные поведенческие проявления - индикаторы. Мы рекомендуем проводить оценку в рамках именно на уровне индикаторов. Компетенции – слишком абстрактный (верхнеуровневый) конструкт для упражнений ЦО, чтобы оценка проводилась сразу на их уровне. Хотя в российском ЦО доминирует подход, когда оценка изначально происходит на уровне компетенций, индикаторный подход показывает большую точность. Индикаторы могут оцениваться с использованием нескольких шкал:
– Двухбалльная (0/1) - индикатор проявился или нет.
– С тремя и более баллами (1-2 ... N) - индикатор проявился на определённом уровне выраженности.
За исключением двухбалльной шкалы мы рекомендуем НЕ описывать каждый уровень индикатора в BARS-логике. Это только утяжеляет оценку для наблюдателей.
BARS (Behavioral Anchored Rating Scale) - шкала оценки, в которой у каждого уровня компетенции (или другого оценочного критерия) есть текстовое описание из нескольких пунктов. В BARS-логике составлена большая часть моделей компетенций российских компаний, по ней происходит оценка в рамках performance appraisel. Также BARS шкалы используются российскими компаниями в оценке компетенций в рамках упражнений ЦО.
В оценке индикаторов необходимо следовать двум рекомендациям:
Б. Адаптируйте индикаторы под каждое конкретное упражнение. Индикаторы как они прописаны в модели компетенций - могут быть слишком абстрактными по отношению к поведению в упражнении. Поэтому описание индикаторов необходимо адаптировать – создавать их в терминах того поведения, которое может проявится в конкретном упражнении. Оптимальное количество "адаптированных" индикаторов в каждой компетенции – от 3 до 5 на каждое упражнение.
В. Сводите результаты оценки индикаторов простым усреднением. Это позволит избежать субъективизма при выведении оценки по компетенции. К примеру, вы оценивали каждый индикатор по шкале от 1 (плохо проявил) до 3 (хорошо проявил). Усреднение оценок по нескольким индикаторам даёт дробное значение от 1 до 3. Чтобы перевести эту усреднённую оценку в оценку по компетенции – постройте "таблицу соответствия". Это такая таблица, где каждой усреднённой оценке по индикаторам соответствует определённая оценка по компетенции. К примеру, усреднённая оценка по индикаторам от 1 до 1,3 равна оценке по компетенции "1", от 1,4 до 1,7 равна "2" и так далее.
6
Используйте статистическую процедуру сведения интегральных результатов по ЦО, дополняя её экспертными наблюдениями.
В центре оценки всегда использовалась экспертная процедура сведения результатов. Наблюдатели обсуждали поведение участника в различных упражнениях и совместно выставляли итоговую оценку по ЦО.
Но последние исследования показали, что статистическое сведение – более эффективная процедура. Наблюдатели усредняют свои оценки по разным компетенциям – получившаяся цифра и есть итоговый балл по центру оценки. Главное преимущество данной процедуры – на неё не влияет групповая динамика, которая возникает в ходе обсуждения результатов, и субъективность отдельных наблюдателей. Всё это повышает критериальную валидность итогового балла (его связь с результативностью) на 8%.

Тем не менее, ограничиться только статистическим сведением нельзя. Сведение - пусть и в сокращённом формате - всё равно необходимо проводить. Две причины:
– Наблюдатели могут выставить противоположные оценки одному участнику. Это различие требует обсуждения и согласования оценок.
– Написание отчётов требует глубоких выводов по участнику, которые могут возникнуть только в результате обсуждения.
Важно: Опираться только на экспертное сведение оценок можно в двух случаях:
1. Если вы не уверены в высоком уровне разработки и подготовки центра оценки. Экспертиза наблюдателей может скомпенсировать недостатки дизайна ЦО.
2. Если вы проводите центры развития. В них особенно важна глубина оценки каждого участника - особенностей его поведения, типичных совершаемых ошибок.
Моделирующие упражнения
7
Оценивайте до 3 компетенций в одном упражнении.
Если включить в одно упражнение больше компетенций – наблюдатели, с высокой вероятностью, всё равно "схлопнут" их до трёх. Это связано с пределами человеческого внимания: большинство людей способны удерживать в фокусе не больше трёх сложных элементов (которыми и являются компетенции, разбитые на индикаторы).
8
Дополняйте ЦО психометрическими инструментами – тестами оценки потенциала (PIF), тестами способностей, личностными опросниками.
A. Тесты оценки потенциала имеют схожую с ЦО цель – прогноз эффективности в работе. И дают схожие результаты: 89% участников, получивших высокие результаты по тесту Potential in Focus, также имеют высокие интегральные баллы по ЦО. Их различие в фокусах оценки. Если ЦО оценивает навыковые компетенции, то тесты оценки потенциала – их фундамент, личностные и интеллектуальные особенности.
Б. Тесты способностей могут использоваться как дополнение к аналитическим компетенциям. Согласно исследованиям, добавление тестов способностей в ЦО увеличивает точность ЦО на 35% (в относительном, а не абсолютном выражении).
В. Личностные опросники могут служить дополнительным замером компетенций, которые сложно измерить в рамках моделирующих упражнений, – адаптивности, мотивации к развитию, межкультурной толерантности.
9
Разрабатывайте и используйте упражнения, которые содержат в себе сложный контент, помещают участника в ситуацию неопределённости, требуют взаимодействия в другими, отражают рабочие процессы.
А. Сложность – необходимость анализа большого количества информации, построения или учёта долгосрочной стратегии компании. Упражнения, требующие большей умственный нагрузки, обладают более высоким уровнем валидности.
Б. Неопределённость – низкая степень подробности инструкции или "прозрачности" поведения ролевого игрока; элементы неожиданности в сценарии упражнений.
В. Необходимость взаимодействия с другими участниками или наблюдателями. Практически любая работы подразумевает общение с другими, поэтому здесь также действует правило: чем ближе ЦО к реальности, тем выше его эффективность.
Г. Соответствие рабочему контексту – упражнения включают в себя отраслевую специфику компании; действия, которые участник должен совершать в ЦО, соответствуют его действиям в работе.
Важно: Требование использовать упражнения, отражающие отраслевую специфику компании, справедливо при одном условии – высоком уровне отраслевой экспертизы наблюдателей. Только в этом случае они смогут понять ошибки и правильные действия участников.
Валидность
10
Измеряйте критериальную валидность центров оценки.
Критериальная валидность – степень соответствия результатов конкретной программы ЦО и показателей успешности деятельности.

Стандарт центра оценки
Согласно исследованию российских практик ЦО, самым используемым методом оценки эффективности центра оценки остаётся мнение руководителей, наблюдателей и участников. То есть разработчики ЦО ориентируются на удовлетворённость всех интересантов, а не на объективные – то есть статистические – показатели эффективности центра оценки. Этот подход является в корне неверным – с ним практика оценки остаётся реактивной, не влияющей как-либо на эффективность бизнеса.

Альтернативой является измерение критериальной валидности. Простыми словами, критериальная валидность – это связь конкретного ЦО с важными бизнес-показателями. К наиболее универсальным бизнес-показателям относятся объективные KPI (в т.ч. финансовая успешность) и оценка результативности руководителем.

Процедура проверки критериальной валидности (в самом общем формате):
1. Проводится конкретная программа центра оценки. Для проверки валидности необходимый объём выборки – от 100 человек, прошедших одну программу ЦО.
2. Собираются данные по KPI или результативности. Эти данные могут быть либо ретроспективными – относящимися к текущим должностям участников ЦО; либо они могут собираться через >6 месяцев после назначения на новую должность по результатам ЦО. Во втором случае измеряется способность ЦО предсказывать важные бизнес-показатели.
Данные по бизнес-показателям должны соответствовать двум критериям:
– Относительная устойчивость. Прокоррелируйте оценку по KPI / результативности за разные года. Если корреляция ниже 0,5 – эти данные использовать нельзя. Они слишком конъюктурны: зависят от рыночной ситуации, а не от усилий человека. Это требование действует только для ретроспективных данных.
– Наличие разброса оценок. Если практически все показатели KPI / результативности близки к высоким (100% / 5 / "А") – их использовать нельзя. Это означает, что они не отражают истинной эффективности людей.
Что делать, если имеющиеся данные о результативности низкого качества и им нельзя доверять?
В этом случае можно собрать данные непосредственно в рамках исследования валидности – с помощью руководителей участников ЦО. Руководители выбирают лучших и худших сотрудников – и оценивают их по индикаторам результативности. Важно, чтобы опрос руководителей был проведён именно в рамках HR-аналитического исследования и руководители понимали, что их оценки не повлияют на карьеру или мотивацию сотрудника. В этом случае результаты будут в меньшей степени подвержены искажениям.
3. Проводятся статистические процедуры – регрессионный, дискриминативный, дисперсионный анализ. В данном случае цель одна – понять, как конкретные элементы ЦО связаны с бизнес показателями. В результате могут быть получены ответы на следующие вопросы:
– Интегральный балл по ЦО вообще связан с бизнес-показателями?
– Как отдельные компетенции и индикаторы связаны с бизнес-показателями?
– Как оценки по отдельным упражнениям связаны с бизнес-показателями?
Все эти данные позволят убрать из ЦО контент, который не связан с эффективностью в работе.

Проверка иных видов валидности – содержательной и конструктной – описана в Стандарте центра оценки.
Авторы статьи
  • Юрий Шатров
    Руководитель практики развития оценочных технологий

    shatrov@ecopsy.ru
  • Павел Дегтярёв
    Консультант центра анализа данных

    degtyariov@ecopsy.ru