+7 (495) 645–00–40
Исследования в оценке персонала (декабрь и январь 2021)
Публикуем исследования в оценке персонала и психологии, которые читаем сами и которые считаем интересными. В этот раз сразу за два месяца, потому что декабрь вышел бедным на исследования.
Руководитель практики Digital Assessment ЭКОПСИ
Юрий Шатров
1. Автоматизированные игры плохо оценивают личностные черты и неплохо — интеллект (исследование раз, исследование два, исследование три).
В 2010 гг. в США произошел бум стартапов в области геймифицированной оценки (pymetrics, Arctic Shores, Knack и много кто еще), исследователи добрались до них только несколько лет назад. И первый вывод, что такие продукты плохо оценивают именно личностные склонности. Это связано с тем, что современные игры требуют либо реакции и внимания, либо разгадывания загадок. Что, конечно, провоцирует проявление интеллекта. Единственный пока убедительный пример игр, которые могут оценивать личностные черты, — это кейс-тесты с игровой фабулой (см исследования Nikolaou).
2. При этом кандидаты видят более инновационными те компании, которые используют игры для оценки персонала.
Люди действительно хотят чего-то нового. И игры, при условии если они валидны и более-менее отражают рабочий контекст, можно рассматривать в качестве альтернативы традиционным инструментам.
3. Исследователи подвергают сомнения хрестоматийные метаанализы, посвященные валидности оценочных инструментов (исследование раз, исследование два).
Напомню, что метаанализы — это когда учёные «усредняют» все исследования в определенной теме, чтобы выявить какие-то закономерности. В оценке персонала есть хрестоматийные метанализы Шмидта и Хантера, которые зарубежные исследователи считают за что-то вроде священных текстов. Да и я когда-то я увлекался ими, мне они казались ответом на все вопросы. Хотя несколько лет назад понял, что в них слишком много слабых мест. И вот сразу два текста, которые критикует эти метаанализы за (1) некорректные статистические процедуры, преувеличивающие валидность тестов способностей; (2) включение исследований, которые не соответствуют критериям качества. Думаю, метаанализ как метод и дальше будет критиковать, а будут цениться исследования, которые направлены на какую-то узкую задачу.
4. Мужчины демонстрируют большую креативность, чем женщины.
Интересно, что разрыв увеличивается, если креативность оцениваются самоотчетом, и уменьшается (но сохраняется), если оценивается коллегами. Это что-то про самоуверенность.
5. Люди проявляют большее терпение к «роботам», которые демонстрируют эмоции.
Может быть полезно при разработке чат-ботов для оценки или адаптации и голосовых роботов для скрининга.
6. ИИ-оценка людей на основе фото из социальных сетей.
Таких исследований не очень много, поэтому они тем более интересны. Тем более, что в этот раз авторы добились неплохой точности оценки.
7. Обзор понятия «обучаемость» в практиках управления талантами.
Лучшая рефлексия по теме, плюс включающая в себя последние исследования (последний раз такой обзор был в 2012 году). Основной вывод авторов — в этой теме сохраняется и даже увеличивается разрыв между наукой и практикой. А я напоминаю, что у нас есть валидизированный инструмент оценки потенциала и обучаемости PiF.
8. Огромный метаанализ (3 миллиона человек) конструктов, которые отражают отношение к работе.
Это такие конструкты как, например, вовлеченность, удовлетворенность, приверженность. Выводы достаточно понятны: все эти конструкты хорошо связаны с результативностью и хорошо связаны друг с другом.
В 2010 гг. в США произошел бум стартапов в области геймифицированной оценки (pymetrics, Arctic Shores, Knack и много кто еще), исследователи добрались до них только несколько лет назад. И первый вывод, что такие продукты плохо оценивают именно личностные склонности. Это связано с тем, что современные игры требуют либо реакции и внимания, либо разгадывания загадок. Что, конечно, провоцирует проявление интеллекта. Единственный пока убедительный пример игр, которые могут оценивать личностные черты, — это кейс-тесты с игровой фабулой (см исследования Nikolaou).
2. При этом кандидаты видят более инновационными те компании, которые используют игры для оценки персонала.
Люди действительно хотят чего-то нового. И игры, при условии если они валидны и более-менее отражают рабочий контекст, можно рассматривать в качестве альтернативы традиционным инструментам.
3. Исследователи подвергают сомнения хрестоматийные метаанализы, посвященные валидности оценочных инструментов (исследование раз, исследование два).
Напомню, что метаанализы — это когда учёные «усредняют» все исследования в определенной теме, чтобы выявить какие-то закономерности. В оценке персонала есть хрестоматийные метанализы Шмидта и Хантера, которые зарубежные исследователи считают за что-то вроде священных текстов. Да и я когда-то я увлекался ими, мне они казались ответом на все вопросы. Хотя несколько лет назад понял, что в них слишком много слабых мест. И вот сразу два текста, которые критикует эти метаанализы за (1) некорректные статистические процедуры, преувеличивающие валидность тестов способностей; (2) включение исследований, которые не соответствуют критериям качества. Думаю, метаанализ как метод и дальше будет критиковать, а будут цениться исследования, которые направлены на какую-то узкую задачу.
4. Мужчины демонстрируют большую креативность, чем женщины.
Интересно, что разрыв увеличивается, если креативность оцениваются самоотчетом, и уменьшается (но сохраняется), если оценивается коллегами. Это что-то про самоуверенность.
5. Люди проявляют большее терпение к «роботам», которые демонстрируют эмоции.
Может быть полезно при разработке чат-ботов для оценки или адаптации и голосовых роботов для скрининга.
6. ИИ-оценка людей на основе фото из социальных сетей.
Таких исследований не очень много, поэтому они тем более интересны. Тем более, что в этот раз авторы добились неплохой точности оценки.
7. Обзор понятия «обучаемость» в практиках управления талантами.
Лучшая рефлексия по теме, плюс включающая в себя последние исследования (последний раз такой обзор был в 2012 году). Основной вывод авторов — в этой теме сохраняется и даже увеличивается разрыв между наукой и практикой. А я напоминаю, что у нас есть валидизированный инструмент оценки потенциала и обучаемости PiF.
8. Огромный метаанализ (3 миллиона человек) конструктов, которые отражают отношение к работе.
Это такие конструкты как, например, вовлеченность, удовлетворенность, приверженность. Выводы достаточно понятны: все эти конструкты хорошо связаны с результативностью и хорошо связаны друг с другом.
Авторы
- Юрий ШатровРуководитель практики
Digital Assessment ЭКОПСИ