+7 (495) 645–00–40
Связаться
+7 (495) 645–21–15

Полное руководство по кейс-тестам в оценке персонала

Недавно нас спросили, какой инструмент оценки мы считаем самым недооценённым в России. Командой психометриков мы пришли к однозначному ответу – кейс-тесты.
Только 25% российских организаций используют кейс-тесты. Для сравнения: за рубежом в 2014 году данный показатель был равен 43%. В зарубежных научных журналах каждый год выходят сотни статей по теме кейс-тестов. В России мы нашли десяток публикаций про этот инструмент (включая квалификационные работы и обзоры). Одним словом, практика разработки и применения кейс-тестов в российской оценке не распространена.
Столь слабая популярность констрастирует с теми преимуществами, которыми обладают кейс-тесты. Для глубокого знакомства российского оценщика с кейс-тестами мы решили написать подробное руководство. Наша задача – убедить компании из реального сектора, что они могут самостоятельно разрабатывать кейс-тесты.
Что такое кейс-тесты?
Кейс-тест – метод оценки персонала, в котором участник решает проблемную ситуацию с помощью выбора одного из нескольких вариантов действий. Результат кейс-теста рассчитывается автоматически. Используются бумажные, компьютеризированные и мультимедийные (видео / игровые) форматы кейс-тестов.

Синонимы: ситуационный тест, тест оценки ситуаций, тест ситуационных (или ситуативных) суждений. На Западе используются названия Situational Judgment Test (SJT) и Low-fidelity simulation.
Примеры заданий кейс-тестов
Вы работаете над сложным проектом. Скоро близится дата его сдачи, и вы понимаете, что можете не уложиться в необходимый срок.

Оцените эффективность каждого действия, которое Вы можете совершить в данной ситуации.

1. Объяснить руководителю ситуацию и попросить его перенести срок сдачи проекта.
2. Распланировать задачи, усердно работать и пытаться сдать проект в срок.
3. Завершить до срока сдачи наиболее важные части проекта, второстепенные доделать после.
4. Привлечь дополнительных людей к завершению проекта и попытаться уложиться в срок.
Почему необходимо разрабатывать и применять кейс-тесты?
Кейс-тесты позволяют диджитализировать поведенческую оценку. Они одновременно (1) оценивают установки, которые лежат в основе компетенций и ценностей; (2) описывают реальные рабочие ситуации; (3) автоматизированы. Всё это вкупе с достаточно высокими психометрическими характеристиками.
Валидность – 0,34
Это выше, чем у личностных опросников (0,26), но ниже, чем у центра оценки (0,42). Также есть подтверждения того, что результаты кейс-тесты сохраняют актуальность спустя 9 лет после оценки.
Надёжность – 0,57
Это самая слабая сторона кейс-тестов. Тем не менее, достигнуть необходимого уровня надёжности (0,6) можно с помощью (1) следования правилам разработки, описанным в данном руководстве; (2) увеличения количества заданий (кейсов) в тесте.
Защищённость от социальной желательности и научения
Кейс-тесты в большей мере защищены от угадывания и попыток дать "правильный" ответ, чем тесты знания или личностные опросники. Также кейс-тесты более устойчивы к научению – в результате прохождения специальных тренингов или многократного заполнения, – чем тесты способностей или тесты знаний.
Восприятие участниками
Кейс-тесты воспринимаются участниками более позитивно, чем личностные опросники, тесты способностей, тесты знаний – и даже очные упражнения. Людям нравится то, что в кейс-тестах они решают реальные рабочие ситуации.
Кейс-тест, разработанный ЭКОПСИ
Что оценивают кейс-тесты?
Кейс-тесты могут оценивать три группы критериев:
1
Профессиональные знания
Приведённый выше кейс-тест, посвящённый навыкам военной подготовки, оценивает профессиональные знания. Основное преимущество кейс-тестов перед тестами знаний – реалистичность: они описывают рабочие ситуации, а не предъявляют вопросы "в вакууме". В настоящий момент профессиональные кейс-тесты воплощаются в развивающих VR-симуляциях.
2
Личностные черты
Кейс-тесты могут оценивать универсальные личностные черты – "Большую пятёрка", благонадёжность, адаптивность. В среднем, точность оценки личностных черт у кейс-тестов ниже, чем у личностных опросников. Исключение – оценка эмоционального интеллекта и смежных коммуникативных конструктов: в этой задаче кейс-тесты показывают более высокую точность.
3
Установки
Большая часть кейс-тестов, разработанных для оценки персонала, измеряет базовые представления человека о том, как необходимо выполнять рабочие задачи и выстраивать профессиональные отношения. В англоязычной литературе используется термин "implicit trait policies", который можно перевести как "установки на черты".

Эти установки лежат в основе корпоративных компетенций и проявляемых человеком ценностей. Как следствие, кейс-тесты могут применяться как фильтр в поведенческой (компетентостной или ценностной) оценке.
Валидность кейс-тестов на примере коммуникативных компетенций
ЭКОПСИ Консалтинг – крупнейшая консалтинговая компания в области оценки персонала. Ежегодно мы реализовываем более 100 проектов в области оценки персонала. Вы можете скачать презентацию, посвящённую нашим психометрическим инструментам, или задать вопрос экспертам.
Скачать презентацию
Проконсультироваться
Для решения каких задач можно применять кейс-тесты?
1
Знакомство кандидата с работой (realistic job preview, RJP)
Кейс-тесты позволяют кандидатам понять, насколько им подходит определённая компания или работа. В этом случае кейс-тест может не иметь психометрического движка и работает как инструмент привлечения, но не отбора. Ссылка на кейс-тест располагается на корпоративном портале и кандидат может заполнить её неограниченное количество раз. После заполнения кандидат получает автоматизированную обратную связь, а в случае успешного прохождения – оставляет заявку на позицию. Вопросы такого кейс-теста просты, могут иметь шуточный характер, что дополнительно формирует у кандидата положительный образ компании.

Есть много примеров RJP в формате кейс-тестов, мы особенно рекомендуем посмотреть на McDonalds, Heineken и Delloite.
Нажмите на логотипы компаний, чтобы увидеть примеры их RJP в формате кейс-тестов
2
Оценка компетенций / ценностей кандидатов или сотрудников
Кейс-тесты могут оценивать, насколько кандидат или сотрудник соответствует требованиям к компетенциям или ценностям. В этом случае они работают как фильтр – кандидат может «провалить» тест и не попасть на следующий этап отбора. Такие инструменты разрабатываются под массовые позиции – операционисты, специалисты call-центра, директора магазина и др. Вопросы имеют достаточно серьёзный и реалистичный характер, отражающий суть предполагаемой работы.
3
Оценка усвоенности знаний в рамках обучения
Кейс-тесты могут оценивать, насколько успешно сотрудник освоил знания, которые были даны в рамках обучении. В таких кейс-тестах участник должен отвечать в соответствии с материалом программы обучения. Этим материалом могут быть стандарты работы или, к примеры конкретные "коммуникативные" теории, – ситуационное лидерство, этапы продаж, теория Митчела Хауса и др.
Как разрабатывать кейс-тесты?
Мы опишем разработку только тех кейс-тестов, которые могут использоваться в оценке корпоративных ценностей или компетенций. Эти кейс-тесты специфичны для определённой должности или компании, что максимизирует их точность. Мы не рассмотрим кейсы-тесты, измеряющие знания, и универсальные кейс-тесты, оценивающие личностные черты.
1
Определение фокуса кейс-теста
Кейс-тест может решать две задачи:
— Оценка общего соответствия компании / целевой позиции. Результат – одно число, описывающее, насколько человек соответствует позиции или компании.
— Оценка нескольких качеств, которые необходимы на позиции / в компании. Источник для качеств – модель компетенций / ценностей или результаты анкетирования экспертов в позиции.
2
Разработка кейсов (заданий)
2.1
Разработка стемов (описаний ситуаций)
Основа пункта (задания) в кейс-тесте – ситуация, или стем. Первый этап разработки кейс-теста – наработка избыточного списка ситуаций. Мы рекомендуем использовать метод критических инцидентов – фокус-группу, опрос или интервью сотрудников, работающих на целевой позиции. Необходимо привлекать от 4 экспертов, обладающих опытом работы от 3 на целевой позиции / участвовавших в разработке модели оцениваемых критериев.
Примеры вопросов для опроса экспертов
Кейс-тест оценивает общее соответствие позиции / компании
Опишите сложную ситуацию, случившуюся с Вами во время работы на данной должности.
Кейс-тест оценивает несколько качеств
Опишите сложную ситуацию, случившуюся с Вами во время работы на данной должности. Она требовала от Вас проявления [простое, поведенческое описание оцениваемого качества].
В случае если кейс-тест оценивает общее соответствие позиции или компании – мы рекомендуем собрать 20-30 ситуаций. Если несколько качеств – 7-12 на каждое качество. Наработка ситуаций должна длиться до тех пор, пока эксперты не начнут повторяться и перестанут описывать новые ситуации.
После того, как собран избыточный список – необходимо его обработать: удалить повторяющиеся ситуации и сформировать первичный текст каждой из них. Потенциально эффективные ситуации должны обладать следующими характеристиками:
Сложность
Ситуации должны описывать проблему – столкновение интересов их участников, разрыв между актуальным и целевым состоянием подразделения, происшествие в организации.
Неопределённость
Ситуации не должны быть описаны максимально подробно. Участник оценки должен самостоятельно проанализировать недостающие условия задачи.
Реалистичность
Ситуации должны происходить в реальной жизни сотрудников. Это могут быть достаточно редкие, но всё-таки встречающиеся ситуации.
2.2
Разработка вариантов ответа
В кейс-тестах у каждой ситуации есть несколько вариантов ответа – действий, которые участник может в ней совершить. Варианты ответов необходимо разрабатывать с привлечением сотрудников компании. Есть два подхода к их разработке:
— Привлечь экспертов, которые разрабатывали стемы.
— Привлечь сотрудников, показывающих разный уровень эффективности в работе.
Мы рекомендуем использовать второй подход. С его использованием уже на этом этапе мы повышаем точность кейс-теста, так как выделяем варианты ответов, которые различают эффективных и неэффективных сотрудников.
Эксперты или сотрудники должны дать как можно больше вариантов действий в каждой ситуации. На этом этапе не следует их ограничивать – предлагаемые варианты действий могут быть как эффективными, так и неэффективными.
После сбора всех вариантов действий необходимо проделать их первичную обработку:
— Убрать нереалистичные варианты действий.
— Объединить похожие варианты действий.
— Сделать все варианты действий более-менее равными по уровню социальной желательности. Это самый сложная задача в разработке кейс-тестов – сохранить смысл ответа, при этом немного "подтянув" его по уровню социального одобрения. Если мы этого не сделаем – кандидаты или сотрудники будут легко угадывать варианта ответа, а не отвечать в соответствии со своими установками.
В результате на каждую ситуацию необходимо оставить 6-8 вариантов действий. Это будет наш избыточный список ответов, на основе которого мы далее выберем ключи – правильные варианты ответа.
2.3
Выбор инструкции к кейсам
Варианты ответов всегда дополняются инструкцией – описанием того, как необходимо работать с заданиями кейс-теста. В кейс-тестах используется два вида инструкций:
— Знаниевая – участник должен выбрать варианты действий, которые он считает самыми эффективными. При этом в типовых ситуациях он сам может вести себя по-другому.
— Поведенческая – участник должен отвечать в соответствии с тем, как бы он поступил в данной ситуации.
В ситуации отбора мы рекомендуем использовать "знаниевую", а не поведенческую инструкцию. Основная причина – в случае поведенческой инструкцией часть участников всё равно будет отвечать в соответствии со "знаниевой". Они будут отвечать не как поступили бы на самом деле, а как считают правильным поступать (и необязательно поступают так сами). Эти участники будут получать несправедливое преимущество.
В ситуации развития можно использовать поведенческую инструкцию – когда нет рисков участники склонны давать более честные ответы.
3.
Разработка механизмов вычисления результатов
3.1
Разработка ключей
Ключи – это указание на то, какие варианты ответа являются правильными и неправильными (эффективными и неэффективными в случае кейс-тестов). По аналогии с разработкой вариантов ответов на этом этапе можно использовать два подхода:
— Провести опрос среди экспертов в целевых позициях / оцениваемой модели критериев.
— Провести опрос среди сотрудников, показывающих низкий и высокий уровень результативности.
Опрашиваемые участники – вне зависимости от подхода – должны самостоятельно оценить эффективность всех вариантов ответов в каждой ситуации по 6-ти балльной шкале.
Важно: Можно использовать 4-х балльную шкалу. Важно не использовать шкалу с нечётным количеством категорий (3 или 5) - в этом случае участники будут "злоупотреблять" срединным (2 или 3) ответом.
В случае привлечения экспертов следующим шагом будет подсчёт согласованности их суждений – насколько похожим образом они оценили эффективность одного ответа. Здесь могут использовать любые метрики согласованности. Если какой-то вариант ответа имеет низкий уровень согласованности, то есть эксперты по-разному оценили его эффективность, – он не должен использоваться в тесте. Необходимо оставить только однозначно оцениваемые варианты ответов.
Если привлекались сотрудники – можно измерить разницу между их ответами с помощью логистической регрессии. И также оставить только те варианты ответов, которые различают эффективных и неэффективных сотрудников.
Результат данного этапа – указание на то, какие варианты ответов являются правильными и неправильными. В итоге должно остаться 4 или (реже) 5 вариантов ответа на каждый кейс. Кейс-тест уже готов на 50%.
3.2
Выбор формата ответов
В кейс-тестах используется несколько форматов ответов. В зависимости от формата участник должен совершить разные действия:
— Выбор одного. "Выберите один самый эффективный вариант действия".
— Most-least. "Выберите один самый эффективный и один самый неэффективный вариант действия".
— Ранжирование. "Расставьте все варианты действия в порядке их эффективности".
— Оценка всех вариантов. "Оцените эффективность каждого варианта действия по 4 (или 6) балльной шкале".
Самые эффективные форматы ответов – ранжирование и оценка всех вариантов. Они дают самое большое количество баллов в каждом кейсе, что повышает надёжность и дифференцируемость участников. В "выборе одного" и "most-least" форматах в каждом кейсе можно получить 1 или 2 балла. В "ранжировании" и "оценке всех вариантов" количество баллов будет равняться количеству вариантов ответов в каждом кейсе.
3.3
Разработка механизмов вычисления сырого балла
Когда у нас есть варианты ответов и ключи кейс-теста – мы можем разработать механизм вычисления результатов. Результаты вычисляются в два шага. Первый – это вычисление сырого балла участника. Сырой балл отражает количество правильных ответов, без сравнения с результатами других участников. Второй этап – вычисление стандартизированного балла, то есть сравнение сырого балла участника с сырыми баллами выборки.
Ранее мы рекомендовали использовать "ранжирование" или "оценку всех вариантов" в качестве форматов ответа. Есть два способа вычислить сырой балл в рамках этих форматов:
— Измерить расстояние ответа участника до ключа. Для примера возьмём 4-х балльную шкалу ответа. У одного варианта действия ключ "4" – этот вариант действия очень эффективный. Участник оценил его на "2" – этот вариант, согласно его представлениям, скорее неэффективный. Два вычитается из 4, берётся модуль значения (убирается знак "минус") – получается 2. Это и есть расстояние ответа участника до ключа. Чем больше расстояние (значение выше "0") – тем более низкий балл получает участник. Сырые баллы за каждый ответ суммируются и получается итоговый сырой балл по кейс-тесту / его отдельной шкале.
— Высчитать количество правильных ответов. Для этого необходимо "дихотомизировать" ключи – упростить до (0) неправильный вариант ответа; (1) правильный вариант ответа. Этот приём необходим для того, чтобы не штрафовать участников за отсутствие разницы между "очень эффективно" / "эффективно". После этого посчитать, совпадают ли ключи и ответы участников. Количество совпадений – это количество сырых баллов участника.
3.4
Разработка механизмов вычисления стандартизированного балла
При расчёте сырого балла ответы участника сравнивались с ключом. Теперь результаты каждого участника должны пройти сравнение с выборкой –результатами других участников. Результат этого сравнения – стандартизированный балл. Способ вычисления стандартизированного балла отличается в зависимости от того, в какой шкале мы хотим в итоге отображать результаты.
— Стены (1-10) или станайны (1-9). В вычислении стентов или станайнов используется среднее и стандартное отклонение сырых баллов. В итоге распределение оценок в этих шкалах приближено к нормальному. Формула для вычисления стенов:
((Сырой балл участника – среднее сырых баллов выборки) / стандартное отклонение баллов выборки) * 2 + 5,5
— Процентили (0-100). Процентиль отражает, сколько участников получили такой же или более низкий балл, чем участник. Процентиль "45" означает, что участник получил более высокий результат, чем 45 других участников. Простая формула для вычисления процентилей:
(Количество участников, чей сырой балл <= сырому баллу участнику / общее количество участников в выборке нормирования) *100
Если Вы разрабатывайте кейс-тест, оценивающий несколько качеств – результаты по ним можно объединить в один итоговый балл.
— В случае использования стандартизированной шкалы (станайны / стены / т-баллы) – просто усредните или суммируйте баллы по шкалам.
— В случае использования процентилей – проделайте более сложную операцию. Процентили усреднять нельзя, поэтому необходимо (1) перевести все сырые оценки по шкалам в стандартизированную шкалу (z-шкалу, например); (2) усреднить получившиеся стандартизированные оценки; (3) перевести усреднённое значение в процентиль. Получившийся итоговый процентиль не будет равен среднему процентилей по шкалам, что может создать дополнительные вопросы у участников. Но такова цена использования простой и понятной шкалы процентилей.
4.
Выбор формата кейс-теста
Мы не рекомендуем проводить кейс-тест в бумажном формате. Во-первых, его обработка будет достаточно трудозатратна. Во-вторых, бумажные бланки с заданиями часто крадутся. В качестве альтернативы есть 2 формата:
4.1
Компьютеризированные кейс-тесты
Самый важный вопрос - выбор платформы для тестирования. Платформа должна обладать следующими возможностями:
— Рандомизация заданий (кейсов) между собой. Задания предъявляются в случайном порядке.
— Рандомизация вариантов ответа. Ответы предъявляются внутри каждого кейса в случайном порядке.
— Ранжирование или "оценка всех вариантов" в качестве формата ответов. Эти форматы ответов, как мы писали выше, дают кейс-тесту максимальную надёжность.
— Настройка расчёта сырых и стандартизированных результатов, экспорт в табличный вид (xls / csv).
— Функционирование на HTML, а не на flash- / java-плеере. Флеш не поддерживается на старых браузерах.
— Поддержка адаптивной вёрстки / мобильная версия. Всё больше участников проходит тестирование с мобильных телефонов.
В среднем, платформы провайдеров психометрики (как Linkis от ЭКОПСИ) или провайдеров HRM систем (как Question Mark на SF) обладают данными возможностями.
Важно поделиться с каждым участником результатами тестирования. Это может быть html-форма – тогда участник видит свои результаты только в цифровом виде. Или pdf- / doc-форма, которую участник может скачать и распечатать. В последнем случае для формирования отчёта можно использовать excel, который на основе макросов и загруженных в него данных (результатов теста) формирует pdf или doc форму. Но автоматическая генерация отчётов должна оставаться приоритетным вариантом.
4.2
Мультимедийные кейс-тесты
Мультимедийные кейс-тесты обладают большей валидностью, чем компьютеризированные и, тем более, "бумажные". В мультимедийных кейс-тестах участник видит ситуацию в виде ролика, при этом варианты ответа предъявляются так же в текстовом формате. Этот ролик может быть как снят с живыми актёрами, так и нарисованным на "флеше" / в 3D редакторе
Кейс-тест в видео формате
Производство мультимедийных кейс-тестов более дорогостоящее, чем компьютеризированных. В случае разработки видео кейс-теста стоимость увеличивается за счёт следующих статей:
— Наём режиссёра и операторов
— Аренда студии (если съёмка происходит вне офиса)
— Покупка или аренда реквизита
— Аренда оборудования для съёмки
— Наём актёров
"Нарисованный" кейс-тест менее дорогостоящ, так как требует только художников и актёров озвучивания.
5.
Валидизация и проверка надёжности кейс-теста
Кейс-тест создан. В процессе мы проделали множество операций, которые должны обеспечить его базовую валидность и надёжность. Теперь мы можем проверить, так ли хорош наш кейс-тест, как мы о нём думаем.
— Проверка надёжности. Надёжность должны быть измерена в первую очередь как внутренняя согласованность. Этот параметр отвечает на вопрос, можем ли мы быть уверены, что наш кейс-тест (или шкала) измеряет одно качество, а не распадается на несколько. В качестве метрики надёжности необходимо использовать Альфу Кронбаха. Если наш кейс-тест измеряет несколько качеств – его структуру можно проверить с помощью факторного анализа.
— Проверка валидности. Кейс-тест должен быть связан с какими-то внешними критериями – результативностью, текучестью, нарушением правил. Следует скоррелировать эти показатели с результатами кейс-тестами. Кейс-тест является эффективным, если коэффициент корреляции выше 0,2. Другой подход – выделить крайние группы (сотрудники с низким и высоким уровнем результативности) и "срегрессировать" результаты кейс-теста на эти группы.
Как проверить объективные данные о результативности (KPI) на качество?
Прокоррелируйте оценку по результативности за разные года. Если корреляция ниже 0,5 – эти данные использовать нельзя. Они слишком конъюктурны: зависят от рыночной ситуации, а не от усилий человека.

Что делать, если данные о результативности низкого качества и им нельзя доверять?
Вместо прямых данных о результативности можно использовать оценку руководителем. Руководители выбирают лучших и худших сотрудников – и оценивают их по индикаторам. Важно, чтобы опрос руководителей был проведён именно в рамках валидизации кейс-теста и руководители понимали, что их оценки не повлияют на карьеру или мотивацию сотрудника. В этом случае результаты будут в меньшей степени подвержены искажениям.
— Проверка достоверности. Со временем задания кейс-теста могут уйти в сеть в виде скриншотов / стать достоянием корпоративных чатов. Это поможет новым кандидатам или сотрудникам искажать свои результаты. Для проверки достоверности результатов кейс-теста необходимо раз в квартал / месяц делать срез его результатов. Если средний сырой балл по какому-то кейсу вырос – это повод его заменить.
Резюме. Как разработать эффективный кейс-тест
Что почитать по теме кейс-тестов?
В первую очередь, данное руководство :) Кроме этого, мы приведём все интересные с нашей точки зрения статьи, посвящённые кейс-тестам. Мы использовали их при подготовке данного руководства.
Автор руководства
  • Юрий Шатров
    Руководитель практики "Digital Assessment"

    shatrov@ecopsy.ru