+7 (495) 645–00–40
Термин недели — General Domain Knowledge
Начнем с разбора одной из лидирующих согласно опросу тем — «Как разрабатываются кейс-тесты, основанные на GDK».
Руководитель практики Digital Assessment ЭКОПСИ
Юрий Шатров
Два введения:
1. Вокруг кейс-тестов есть путаница: многие подразумевают под ними очные упражнения. Мы же понимаем их как автоматизированный инструмент, в котором человек выбирает наиболее эффективные действия в определенной проблемной ситуации. Подробнее про это говорили в нашем руководстве по разработке кейс-тестов и вебинаре про них же.
2. История кейс-тестов. В 1990 году исследователь Motowidlo предложил кейс-тесты в их современном виде. Разрабатывать их следовало через критические инциденты: интервью с представителями должности про наиболее сложные и значимые ситуации в их работе. Соответственно, кейс-тесты того времени были пригодны только для оценки на конкретную должность, а их результатом был один балл — уровень соответствия этой должности. HR'ы же хотели получить кейс-тесты, которые оценивают критерии – компетенции, ценности, личностные черты. Многие последующие исследования были посвящены поиску ответа на этот вопрос.
Один из ответов на него в 2010-х годах дал как раз Motowidlo и другой исследователь, Lievens. Свою теорию они назвали General Domain Knowledge (GDK). Она говорит о том, что:
— Кейс-тесты оценивают представления о правильном поведении в определенных рабочих ситуациях. Эти представления они назвали «General Domain Knowledge».
— GDK связано с личностными чертами, установками, убеждениями, которые лежат в основе компетенций и ценностей.
— Можно разработать кейс-тест с прицелом на необходимые GDK.
1. Вокруг кейс-тестов есть путаница: многие подразумевают под ними очные упражнения. Мы же понимаем их как автоматизированный инструмент, в котором человек выбирает наиболее эффективные действия в определенной проблемной ситуации. Подробнее про это говорили в нашем руководстве по разработке кейс-тестов и вебинаре про них же.
2. История кейс-тестов. В 1990 году исследователь Motowidlo предложил кейс-тесты в их современном виде. Разрабатывать их следовало через критические инциденты: интервью с представителями должности про наиболее сложные и значимые ситуации в их работе. Соответственно, кейс-тесты того времени были пригодны только для оценки на конкретную должность, а их результатом был один балл — уровень соответствия этой должности. HR'ы же хотели получить кейс-тесты, которые оценивают критерии – компетенции, ценности, личностные черты. Многие последующие исследования были посвящены поиску ответа на этот вопрос.
Один из ответов на него в 2010-х годах дал как раз Motowidlo и другой исследователь, Lievens. Свою теорию они назвали General Domain Knowledge (GDK). Она говорит о том, что:
— Кейс-тесты оценивают представления о правильном поведении в определенных рабочих ситуациях. Эти представления они назвали «General Domain Knowledge».
— GDK связано с личностными чертами, установками, убеждениями, которые лежат в основе компетенций и ценностей.
— Можно разработать кейс-тест с прицелом на необходимые GDK.
Как разрабатываются кейс-тесты на основе GDK:
1. Выделяем критерии оценки. Это может быть действующая модель компетенций / ценностей или результат анализа должности.
2. Разрабатываем ситуации. Ситуации должны соответствовать трем критериям: (1) рабочий контекст; (2) сложные и значимые; (3) в них можно совершить действия, которые одновременно эффективны и связаны с высоким уровень выраженности оцениваемого критерия.
3. Разрабатываем эффективные и неэффективные варианты поведения в каждой ситуации. Каждый ответ должен быть связан с оцениваемым критерием. Разрабатывать их можно так же, как ситуации — брать из действующей модели или использовать критические инциденты. Затем пишем избыточный список вариантов и даем группе HR'ов и менеджеров оценить, насколько каждый ответ (1) эффективен; (2) описывает положительный или отрицательный полюс критерия / не описывает его совсем. Цель — сделать варианты ответа, в которых уровень эффективности максимально коррелирует с уровнем выраженности критерия.
1. Выделяем критерии оценки. Это может быть действующая модель компетенций / ценностей или результат анализа должности.
2. Разрабатываем ситуации. Ситуации должны соответствовать трем критериям: (1) рабочий контекст; (2) сложные и значимые; (3) в них можно совершить действия, которые одновременно эффективны и связаны с высоким уровень выраженности оцениваемого критерия.
3. Разрабатываем эффективные и неэффективные варианты поведения в каждой ситуации. Каждый ответ должен быть связан с оцениваемым критерием. Разрабатывать их можно так же, как ситуации — брать из действующей модели или использовать критические инциденты. Затем пишем избыточный список вариантов и даем группе HR'ов и менеджеров оценить, насколько каждый ответ (1) эффективен; (2) описывает положительный или отрицательный полюс критерия / не описывает его совсем. Цель — сделать варианты ответа, в которых уровень эффективности максимально коррелирует с уровнем выраженности критерия.
Добавим от себя, что это самый сложный этап. Потому что наиболее эффективные варианты поведения могут быть не связаны с оцениваемым критерием и наоборот. Или связаны, но слишком прозрачны и просты для ответа. Самый неприятный и отнюдь не редкий случай, когда вариант ответа соответствует модели, но при этом неэффективен в этой ситуации. Тут уже появляются вопросы к модели.
4. Чтобы рассчитать балл участника по каждому критерию, коррелируем его ответы с рейтингом эффективности ответов, зашитым в кейсы. Самое интересное — формат ответов. Авторы предлагают предъявлять на одном экране один вариант ответа, который участник должен оценить по 3–5-балльной шкале. Один кейс повторяется столько раз, сколько есть вариантов ответа к нему. Мы рекомендуем повторять кейс не более четырех раз, иначе можно утомить участника.
Так как у нас есть опыт разработки кейс-тестов, оценивающих корпоративные и управленческие компетенции и ценности, мы знаем, что GDK возможный, но не единственный способ их разработки. Он будет наиболее полезен, если:
— Кейс-тест оценивает массовый персонал и специалистов. Для более высоких должностей тесты получатся недостаточно сложными.
— Кейс-тест оценивает софтовые критерии (компетенции с личностным «ядром» / ценности).
— В кейс-тест зашито не больше 3–4 критериев. Длинные и сложные ответы повлияют на длину всего кейс-теста.
— Кейс-тест оценивает массовый персонал и специалистов. Для более высоких должностей тесты получатся недостаточно сложными.
— Кейс-тест оценивает софтовые критерии (компетенции с личностным «ядром» / ценности).
— В кейс-тест зашито не больше 3–4 критериев. Длинные и сложные ответы повлияют на длину всего кейс-теста.
Автор статьи
- Юрий Шатров