+7 (495) 645–00–40
Тесты способностей: насколько связаны с эффективностью, оценивают ли интеллект и как их вообще применять
Тесты способностей — один из наиболее используемых инструментов оценки персонала. В мире их применяет 59% организаций, в России — 50%. Однако они остаются самым критикуемым психометрическим инструментом. Когда противники «бесчеловечной» оценки говорят, что тесты не связаны с эффективностью и лидерством, тесты можно научиться проходить или списывать, на результаты влияет настроение и физическое состояние — они имеют в виду тесты способностей.
В этой статье мы разбираем тесты способностей и даём 4 рекомендации по их применению (и даже соглашаемся с некоторыми пунктами критики).
В этой статье мы разбираем тесты способностей и даём 4 рекомендации по их применению (и даже соглашаемся с некоторыми пунктами критики).
Юрий Шатров
Руководитель практики Digital Assessment ЭКОПСИ
Преимущества тестов способностей
Тесты способностей наряду с интервью не только самый используемый, но и самый исследованный инструмент оценки. Впервые в оценке взрослых они начали применяться во время Первой мировой войны, к сегодняшнему дню проведено 20 000 исследований по теме эффективности тестов способностей, через которые прошло 5 миллионов человек.
Валидность — 0,29
Это немного выше, чем у личностных опросников (0,26), но ниже, чем у центра оценки (0,42).
Надёжность — 0,8
Тесты способностей — один из самых устойчивых к помехам инструмент оценки.
Позитивные реакции
Тесты способностей входят в ТОП-5 инструментов (из 12), которые одобряются участниками и заказчиками.
Универсальность
Способности влияют на эффективность практически во всех сферах жизни. Их можно использовать на должностях от рабочих до линейных менеджеров без какой-либо настройки.
Отдельный вопрос — связь результатов тестов с реальностью (внешними критериями, такими как результативность или управленческая успешность). Это связь есть и она достаточно высокая. Ниже вы можете увидеть валидность тестов способностей в отношении разных критериев.
Связь тестов способностей с разными критериями
Что оценивают тесты способностей?
Простой и прямой ответ — интеллект. Многие в это не верят, ведь интеллект кажется намного более широким понятием, чем способности. Давайте разберёмся.
Начнём с определения интеллекта. В 1997 году на основе мнения 52 экспертов было сформулировано следующее определение:
Интеллект — общие умственные способности, которые позволяют анализировать информацию, выстраивать планы, решать задачи, оперировать абстрактными понятиями, понимать сложные концепты, быстро обучаться, извлекать уроки из опыта. Это не просто книжные знания, конкретный академический навык или умение сдавать тесты. Интеллект скорее отражает способность понимать окружающие нас явления — вникать в суть дела, ухватывать смысл, разбираться в происходящем.
Тесты действительно оценивают более конкретные способности. Это могут быть когнитивные процессы — память, внимательность, воображение. Или способности к работе с конкретной информацией — вербальной, числовой. Или даже навыки — счёт, скорость письма.
Однако результаты тестов способностей коррелируют с оценкой интеллекта на уровне 0,7. Это высокий показатель, иллюстрирующий, что способности — проявления интеллекта. Результаты тестов примерно на 50% отражают уровень интеллекта и на 8-10% — конкретную способность.
Интеллект и способности соотносятся как общее и частное. Есть много моделей соотношения интеллекта и способностей, мы приведём самую известную — модель McGrew (2005). Она создана на основе моделей трёх известных исследователей структуры интеллекта — Cattell, Horn и Carroll.
Способности, которые измеряются в тестах, находятся на третьем уровне данной модели.
ЭКОПСИ Консалтинг – крупнейшая консалтинговая компания в области оценки персонала. Ежегодно мы реализовываем более 100 проектов в области оценки персонала. Вы можете скачать презентацию, посвящённую нашим психометрическим инструментам, или задать вопрос экспертам.
Ограничения тестов способностей
Два основных аргумента против тестов способностей — отсутствие связи с эффективностью и отсутствие связи с интеллектом — мы разобрали. Теперь давайте рассмотрим в формате вопросов и ответов остальные аргументы.
1. Выбирайте тесты способности, которые соответствуют оцениваемой категории сотрудников
- Аргумент противТесты способностей неинтересно проходить.ОтветМы согласны с этим — тесты способностей проходить скучнее, чем, скажем, кейс-тесты или интервью. Это приводит к риску, что участник покинет воронку, а компания лишится кандидата. Поэтому советуем применять тесты способностей не первым этапом воронки (допустим, разместив ссылку на тест в теле вакансии), а вторым и далее, когда участник уже вложил силы и показал свою заинтересованность в работе. Также тесты способностей не стоит применять на перегретых рынках кандидатов (допустим, рынке разработчиков).
- Аргумент противК тестам способностей можно подготовиться, их можно списать или дать пройти за себя другому человеку.ОтветОт 5 до 30% людей — в зависимости от «остроты» отбора — действительно пытаются обмануть тесты. Есть много способов повысить достоверность тестирования, с помощью которых можно снизить процент успешных фальсификаций до одного, — банки заданий, прокторинг, верификация результатов, заполнение под контролем администратора. Подробнее мы рассматривали их в статье «Прививка диджитала: что делать с оценкой персонала в коронавирусный кризис?». Одним словом, тесты способностей пытаются обмануть, но если провайдер и заказчик вместе работают над этим — практически никому этого не удастся.
- Аргумент противРезультаты тестов способностей зависят от состояния участника. Если он плохо себя чувствует — получит более низкий балл.ОтветДа, это так. Примерно то же случится и в интервью, и в центре оценки. Эту критику можно отнести не только к тестам способностей, а к инструментам оценки в целом. Поэтому мы советуем участникам проходить тесты в спокойной обстановке в утренние часы (а организациям в случае тестирования в офисе — организовывать такую обстановку).
- Аргумент противМолодые люди, особенно выпускники, получают более высокие баллы, чем опытные, но возрастные сотрудники. Получается, выпускники будут успешнее менеджеров? :)ОтветЭта проблема связана с тем, что на результаты тестов способностей также влияют навыки и знания участника. Если он последние несколько лет имел дело с текстами и графиками — он получит более высокие баллы. Также влияет т.н. эффект Флинна — уровень интеллектуальных способностей популяции постепенно повышается, соответственно, у более молодых людей он должен быть выше. (Да, согласно исследованиям, мир не глупеет, а умнеет, и связано с это с развитием образования и повышением доступности информации). Проблема более высоких баллов у молодых участников решается применением двух версий теста или двух норм для разных возрастных категорий.
Можно выделить четыре вида тестов способностей, и каждый из них подходит для определённой категории персонала (адаптация схемы Cianciolo и Sternberg, 2008).
Тесты способностей необходимо выбирать исходя из двух факторов:
— Интеллектуальной нагруженности позиций. Чем более сложная работа на позиции, тем более сложными должны и тесты. Например, для отбора менеджеров не стоит применять тесты на свойства внимания и скорость реакции, так как их работа требует намного более сложных способностей. Вместо этого лучше оценивать вербальные и числовые способности или критическое мышление. И наоборот, в отборе операционистов не стоит применять слишком сложные тесты (даже вербальных способностей). Есть риск, что они их не поймут и из-за этого получат несправедливо низкие баллы.
— Очевидной валидности. Здесь всё просто: не применяйте тесты способностей в оценке средних менеджеров и выше. Менеджеры этого уровня считают, что тесты способностей недостаточно точно отражают содержание их работы (обладают низкой очевидной валидностью). Вместо этого лучше протестировать обучаемость и потенциал, провести интервью по компетенциям или кейс-интервью.
— Интеллектуальной нагруженности позиций. Чем более сложная работа на позиции, тем более сложными должны и тесты. Например, для отбора менеджеров не стоит применять тесты на свойства внимания и скорость реакции, так как их работа требует намного более сложных способностей. Вместо этого лучше оценивать вербальные и числовые способности или критическое мышление. И наоборот, в отборе операционистов не стоит применять слишком сложные тесты (даже вербальных способностей). Есть риск, что они их не поймут и из-за этого получат несправедливо низкие баллы.
— Очевидной валидности. Здесь всё просто: не применяйте тесты способностей в оценке средних менеджеров и выше. Менеджеры этого уровня считают, что тесты способностей недостаточно точно отражают содержание их работы (обладают низкой очевидной валидностью). Вместо этого лучше протестировать обучаемость и потенциал, провести интервью по компетенциям или кейс-интервью.
Тесты специальных способностей для определённых должностей
В российском HR есть практика оценки специальных способностей при отборе на определённые должности. Например, у бухгалтеров оценивается внимание и счёт, у продажников — вербальные способности, у маркетологов — креативность. Мы считаем этот подход избыточным. Результаты тестов примерно на 50% отражают уровень интеллекта и только на 8-10% — конкретную способность. Отдельные способности коррелируют друг с другом на уровне 0,5-0,8 (Jensen, 1980). Наконец, предсказательная сила тестов способностей на 80% зависит от общего интеллекта и на 20% — от специфичные способностей. Эти цифры показывают, что от конкретных способностей зависит мало.
В российском HR есть практика оценки специальных способностей при отборе на определённые должности. Например, у бухгалтеров оценивается внимание и счёт, у продажников — вербальные способности, у маркетологов — креативность. Мы считаем этот подход избыточным. Результаты тестов примерно на 50% отражают уровень интеллекта и только на 8-10% — конкретную способность. Отдельные способности коррелируют друг с другом на уровне 0,5-0,8 (Jensen, 1980). Наконец, предсказательная сила тестов способностей на 80% зависит от общего интеллекта и на 20% — от специфичные способностей. Эти цифры показывают, что от конкретных способностей зависит мало.
2. Используйте тесты способностей в воронках с большим количеством людей
В отличие от личностных опросников тесты способностей стоит применять не как дополнение к другим инструментам, а как отдельный самодостаточный этап. Этот инструмент наиболее выгоден именно для отсева определённого процента выборки. Обычно такая этапность в отсечением на определённых шагах возникает в относительно больших воронках (после отбора по резюме осталось 50-100 человек и больше).
Тесты способностей обычно идут в середине воронки — после скрининговых инструментов по типу отбора по CV, но до или вместе с поведенческой оценкой (кейсами и интервью). В короновирусный кризис рынок постепенно становится рынком работодателя, поэтому у нас есть возможность применить больше инструментов без опасения, что участник покинет воронку.
3. Применяйте тесты способностей как инструмент барьерометрии
Любые тесты наиболее точны в выявлении участников с низкими результатами — и менее точны в дифференциации «средних» и сильных участников. Поэтому мы рекомендуем отсеивать от 20 до 50% участников по результатам тестов способностей. При отсеве 70% участников точность тестов достаточно сильно падает.
Нелинейная связь тестов способностей с успешностью
Последние исследования показывают, что также есть нелинейная связь между результатами тестов способностей и лидерской успешностью. Руководители с очень высоким интеллектом менее эффективны, чем люди со средним или высоким интеллектом. Это также аргумент в пользу барьерометрийной логики (thumbs-down decisions) в тестах способностей.
Последние исследования показывают, что также есть нелинейная связь между результатами тестов способностей и лидерской успешностью. Руководители с очень высоким интеллектом менее эффективны, чем люди со средним или высоким интеллектом. Это также аргумент в пользу барьерометрийной логики (thumbs-down decisions) в тестах способностей.
4. Выбираете тесты способностей, которые можно использовать в оценке персонала
В России достаточно распространена практика использования устаревших пиратских копий или адаптаций известных тестов — матриц Равена, теста Айзенка, теста Вандерлика (КОТ). Эти тесты не могут использоваться в оценке персонала по целому ряду причин. Они устарели — их задания и нормы были разработаны 20-35 лет назад, что существенно снижает их точность. У этих тестов есть официальная компания-разработчик, которая поддерживает задания в актуальном состоянии. Поэтому их использование нелегально и нарушает авторские права. Они выложены в Интернет, а значит участники могут заранее к ним подготовиться (есть кандидаты, которые знают матрицы Равена наизусть).
Мы собрали основные требования к тестам способностей, которые могут применяться в оценке персонала (основа — Российский стандарт тестирования персонала, 2015).
- Доказанная точность (надёжность и валидность)У теста способностей должен быть технический (или психометрический) отчёт, в котором указаны данные о надёжности и валидности. Надёжность — это помехоустойчивость теста, она должна быть 0,7 и выше. Валидность отражает, в какой мере тест оценивает именно способности (связан с другими тестами способностей, с целевым поведением или внешним критерием по типу результативности). Критериальная валидность должна быть 0,15 и выше. Действительно, сейчас появляются провайдеры, которые научились говорить по-психометрически, но на деле никакую психометрику не проверяющие. Наличие психометрического отчёта — фильтр для отсева устаревших тестов.
- Современные нормы и заданияНормы — это выборка, с которой сравниваются результаты участника. Выборка нормирования для универсальных тестов (т.к. тестов провайдера) должна включать в себя 500 человек и больше.
- Лицензионная чистотаПровайдер должен предоставить свидетельство, что он владеет тестом (свидетельство о регистрации программы ЭВМ) или имеет право его дистрибьютировать на территории вашей страны (соглашение о партнёрство с вендором).
- Большой банк заданийБанк заданий — это все задания теста, из которых участник получает свою определённую «порцию». Например, банк включает 40 заданий, из которых участнику случайным образом предъявляется 10 (банк х4). Банк необходим, чтобы снизить риски списывания и передачи заданий (которые в ситуации отбора достаточно высоки). Мы рекомендуем применять тесты с как минимум десятикратным банком, дальше действует правило «чем больше — тем лучше».
- Тренировочные заданияЭто небольшая, но важная деталь. Участник может получить заниженный балл, потому что не понял инструкцию и суть заданий. Чтобы избежать этого, необходимо применят тесты как минимум с двумя тренировочными заданиями. Участник отвечает на тренировочные задания и сразу получает обратную связь по ним.
Скачайте новый отчёт для участника по тесту Switch
Мы создали специальный отчёт для участника по тестам способностей Switch. В отчёте участник видит литературу, курсы и видеоматериалы, с помощью которых может работать над своими способностями. Цель отчёта — сформировать у участника позитивное впечатление об оценке и помочь принять её результаты.
Также мы рекомендуем использовать адаптивные тесты. Это тесты, которые подстраиваются под участника. Если он верно отвечает на вопросы — предъявляются более трудные задания. Если ошибается — более простые. Адаптивность слабо влияет на точность, но зато на 30-50% сокращает длительность теста. Например, адаптивные тесты Switch требуют 20 минут на прохождение (вербальный и числовой тест).
5. Давайте участнику отчёт с результатами оценки и рекомендациями по работе со способностями
Это важный пункт, про который российские оценщики иногда забывают. Действительно, способности достаточно сложно развивать (и невозможно развить сколько-нибудь существенно). Но участник должен в любом случае узнать свои результаты и получить рекомендации по работе с ними. Это смягчит его восприятие (возможного) отказа от приёма на работу.
Скачайте новый отчёт для участника по тесту Switch
Мы создали специальный отчёт для участника по тестам способностей Switch. В отчёте участник видит литературу, курсы и видеоматериалы, с помощью которых может работать над своими способностями. Цель отчёта — сформировать у участника позитивное впечатление об оценке и помочь принять её результаты.
Материалы по тестам способностей
- Cianciolo, A. T., & Sternberg, R. J. (2008). Intelligence: A brief history. John Wiley & Sons.
- Gottfredson, L. S. (1997). Mainstream science on intelligence: An editorial with 52 signatories, history, and bibliography. Intelligence, 24(1), 13–23.
- Jensen, A. R. (1980). Chronometric analysis of intelligence. Journal of Social and Biological Structures, 3(2), 103–122.
- Lubinski, D. (2004). Introduction to the Special Section on Cognitive Abilities: 100 Years After Spearman's (1904) "'General Intelligence,' Objectively Determined and Measured". Journal of Personality and Social Psychology, 86(1), 96–111.
- McGrew, K. S. (2005). The Cattell-Horn-Carroll theory of cognitive abilities: Past, present, and future. In D. P. Flanagan, J. L. Genshaft, & P. L. Harrison (Eds.), Contemporary intellectual assessment: Theories, tests, and issues (pp.136–182). New York: Guilford.
- Anderson, N., Salgado, J. F., & Hülsheger, U. R. (2010). Applicant reactions in selection: Comprehensive meta‐analysis into reaction generalization versus situational specificity. International Journal of Selection and Assessment, 18(3), 291–304.
- Jackson, D. J., Dewberry, C., Gallagher, J., & Close, L. (2018). A comparative study of practitioner perceptions of selection methods in the United Kingdom. Journal of Occupational and Organizational Psychology, 91(1), 33–56.
- НК РЧК (2016). Исследование рынка оценки персонала в России — 2015. Неопубликованное исследование Федерации оценки персонала.
- CEB (2014). Assessment practice research.
- Antonakis, J., House, R. J., & Simonton, D. K. (2017). Can super smart leaders suffer from too much of a good thing? The curvilinear effect of intelligence on perceived leadership behavior. Journal of Applied Psychology, 102(7), 1003–1021.
- Judge, T. A., Colbert, A. E., & Ilies, R. (2004). Intelligence and leadership: a quantitative review and test of theoretical propositions. Journal of Applied Psychology, 89(3), 542.
- Salgado, J. F., Anderson, N., Moscoso, S., Bertua, C., De Fruyt, F., & Rolland, J. P. (2003). A meta-analytic study of general mental ability validity for different occupations in the European community. Journal of applied psychology, 88(6), 1068.
- Lang JWB, Kersting M, Hülsheger UR, Lang J. (2010). General mental ability, narrower cognitive abilities, and job performance: the perspective of the nested-factors model of cognitive abilities. Personnel Psychology, 63, 595–640.
- Ng, T. W., Eby, L. T., Sorensen, K. L., & Feldman, D. C. (2005). Predictors of objective and subjective career success: A meta‐analysis. Personnel psychology, 58(2), 367–408.
- Zaccaro, S. J., Green, J. P., Dubrow, S., & Kolze, M. (2018). Leader individual differences, situational parameters, and leadership outcomes: A comprehensive review and integration. The Leadership Quarterly, 29(1), 2–43.
Автор статьи
- Юрий Шатров