+7 (495) 645–00–40
Переоценённые люди: В каких ситуациях можно назначать повторное тестирование сотрудников?
В 90х годах исследователи сделали удивительное открытие: чем чаще человек проходил клинический опросник MMPI, тем меньшее количество психических заболеваний у него диагностировали (Kelley, Jacobs & Farr, 1994). Психологи задались вопросом: «Как перетест влияет на результаты тестирования?». Этот вопрос актуален и для оценки персонала, где HR'ы часто неосознанно злоупотребляют повторным тестированием. При этом четких стандартов проведения перетеста на данный момент нет ни в российских стандартах, ни в зарубежных (SIOP, 2003). Поэтому мы решили разобрать основные ситуации перетеста.
Юрий Шатров
Руководитель практики Digital Assessment ЭКОПСИ
Плановое повторное тестирование
спустя год и больше
спустя год и больше
В некоторых компаниях тесты встроены в процесс управления талантами и сотрудники проходят их раз в год / несколько лет.
В случае перетеста тестов способностей результаты точно улучшатся. Для знающих: средний размер эффекта — 0,26 (Hausknecht, Halpert, Di Paolo & Moriarty Gerrard, 2007). Тесты способностей, конечно, измеряют способности, но всё-таки через конкретные задания. Человек может обучиться навыкам решения этих заданий спонтанно, через многократные корпоративные тестирования, или намеренно с помощью соответствующих руководств.
Факторы, которые помогут участникам улучшить свои результаты:
В случае перетеста тестов способностей результаты точно улучшатся. Для знающих: средний размер эффекта — 0,26 (Hausknecht, Halpert, Di Paolo & Moriarty Gerrard, 2007). Тесты способностей, конечно, измеряют способности, но всё-таки через конкретные задания. Человек может обучиться навыкам решения этих заданий спонтанно, через многократные корпоративные тестирования, или намеренно с помощью соответствующих руководств.
Факторы, которые помогут участникам улучшить свои результаты:
Маленький объём банка заданий или его отсутствие
Здесь решающим фактором станет не навыки решения заданий, а память участников и их сплочённость.
Использование того же формата заданий
Банк заданий снижает эффект научения, но не до конца. Участники уже знают формат заданий и время их выполнения (Arendasy & Sommer, 2013; Villado, Randall & Zimmer, 2016).
Привлечение других тестов способностей для перетеста затруднено по многим причинам. Это и затратно, и несправедливо (участники будут оцениваться разными инструментами). Получается, у нас нет выхода: участники улучшат свои результаты в любом случае.
С личностными опросниками ситуация сложнее. Зависит от конкретных используемых опросников — нормативных или ипсативных.
С личностными опросниками ситуация сложнее. Зависит от конкретных используемых опросников — нормативных или ипсативных.
Каждый вопрос — одно утверждение
Укажите, в какой мере Вы согласны с данным утверждением:
Я ответственно подхожу к выполнению задач
Укажите, в какой мере Вы согласны с данным утверждением:
Я ответственно подхожу к выполнению задач
- Согласен
- Скорее согласен
- Скорее не согласен
- Не согласен
Каждый вопрос — два и более утверждения
Выберите наиболее подходящее Вам утверждение:
- Я ответственно подхожу к выполнению задач
- Я выстраиваю теплые отношения с другими
Если из года в год компания использует нормативные опросники, сотрудники будут улучшать свои результаты. Ведь сотрудники знают, что результаты этой оценки влияют на кадровое решение. Каждое прохождение будет для них ситуацией научения. Они будут учиться понимать, какое качество оценивает каждый вопрос. А нормативные опросники, в среднем, проще для обмана, чем ипсативные.
Насколько сильно каждый из них в итоге будет «врать», зависит, в первую очередь, от следующих факторов:
Насколько сильно каждый из них в итоге будет «врать», зависит, в первую очередь, от следующих факторов:
- Успешность прошлых прохождений личностных опросников.Если сотрудник в прошлые тестирования получал низкие результаты, он будет стараться их улучшить (Holladay, David & Johnson, 2013).
- Значимость результатов для сотрудника.Чем больше вес опросника в принятии решении, тем выше шанс того, что сотрудники будут стараться улучшить свои результаты (Hausknecht, 2010; Walmsley & Sackett 2013).
- Наличие обратной связи по результатам первого прохождения.Каждая обратная связь, будь то отчёт или устный ответ, будет учить сотрудника понимать измеряемые качества (Holladay et al., 2013).
Использование ипсативных опросников мешает сотрудникам улучшать свои результаты. Ведь эти опросники вынуждают делать выбор между качествами, равными по своей «желательности». Тем не менее, и здесь сотрудники смогут улучшить свои результаты, узнав «желаемый» профиль качеств и заполнив опросник соответствующим образом. Улучшения могут быть существенными (Hausknecht, 2010).
Наконец, следует помнить, что личностные качества не выбиты на молекулах ДНК и могут меняться со временем (McAdams & Olson, 2010). Если опросник заполнялся через год и более, изменения в результатах могут отражать реальные изменения в человеке. Или в том, как он начал себя воспринимать :)
Наконец, следует помнить, что личностные качества не выбиты на молекулах ДНК и могут меняться со временем (McAdams & Olson, 2010). Если опросник заполнялся через год и более, изменения в результатах могут отражать реальные изменения в человеке. Или в том, как он начал себя воспринимать :)
Как считать результаты повторного планового перетеста?
Есть два целесообразных способа:
1. Считать результаты повторных участников наряду с остальными участниками. Таким образом мы не обращаем внимания на эффекты научения и обмана.
2. Считать отдельно результаты участников, которые проходят тест повторно. Использовать отдельный рейтинг или выборку нормирования (нормы). Тогда все участники разделятся на две группы — (1) проходящие первый раз (рейтинг 1); (2) проходящие второй раз (рейтинг 2). Целесообразно также ввести квоты — количество участников из каждого рейтинга, которые должны пройти на следующий этап отбора.
1. Считать результаты повторных участников наряду с остальными участниками. Таким образом мы не обращаем внимания на эффекты научения и обмана.
2. Считать отдельно результаты участников, которые проходят тест повторно. Использовать отдельный рейтинг или выборку нормирования (нормы). Тогда все участники разделятся на две группы — (1) проходящие первый раз (рейтинг 1); (2) проходящие второй раз (рейтинг 2). Целесообразно также ввести квоты — количество участников из каждого рейтинга, которые должны пройти на следующий этап отбора.
Внеплановое повторное тестирование
1. Некорректно проведённая процедура тестирования
К примеру, участник не был вовремя проинформирован об оценке, ему дали меньше времени на заполнение, чем другим участникам, тест заполнялся в непригодных условиях, или были нарушены какие-либо иные положения Российского стандарта тестирования персонала.
В этом случае важно разобрать каждое нарушение и то, насколько оно повлияло на результаты. Особое внимание надо уделить в том случае, если тестировались способности или знания. Доступное время и условия заполнения являются критичными факторами в этой ситуации. Личностные опросники менее чувствительны к этим факторам.
Будьте готовы: если участник не проходил тест способностей в совсем плохих условиях, второе заполнение улучшит его результаты. Если банка заданий нет или он небольшой, улучшение будет существенным. И даже в случае наличия объёмного банка заданий участник улучшит свои результаты потому, что он уже знаком с процедурой, форматом заданий и временем их выполнения.
К примеру, участник не был вовремя проинформирован об оценке, ему дали меньше времени на заполнение, чем другим участникам, тест заполнялся в непригодных условиях, или были нарушены какие-либо иные положения Российского стандарта тестирования персонала.
В этом случае важно разобрать каждое нарушение и то, насколько оно повлияло на результаты. Особое внимание надо уделить в том случае, если тестировались способности или знания. Доступное время и условия заполнения являются критичными факторами в этой ситуации. Личностные опросники менее чувствительны к этим факторам.
Будьте готовы: если участник не проходил тест способностей в совсем плохих условиях, второе заполнение улучшит его результаты. Если банка заданий нет или он небольшой, улучшение будет существенным. И даже в случае наличия объёмного банка заданий участник улучшит свои результаты потому, что он уже знаком с процедурой, форматом заданий и временем их выполнения.
2. Участник списывал или заполнял тест совместно с кем-то
Именно эта причина описана в Российском стандарте тестирования персонала как повод для перетеста (пункт 9.3). Основной вопрос заключается в источниках информации о том, что участник списывал или заполнял не сам / вместе с кем-то.
Источники по степени достоверности:
Именно эта причина описана в Российском стандарте тестирования персонала как повод для перетеста (пункт 9.3). Основной вопрос заключается в источниках информации о том, что участник списывал или заполнял не сам / вместе с кем-то.
Источники по степени достоверности:
1
Свидетельства администраторов, контролирующих тестирование.
2
Статистические методы, используемые в онлайн-тестировании. Это могут быть индексы соответствия ответов или среднее время ответа. Любой современный провайдер тестов может сказать, есть ли вероятность, что участник списывал.
3
Подозрения HR'а или руководителя участника.
Общая рекомендация — проводить тестирование под контролем администратора, который будет следить за участниками. Остальные рекомендации зависят от инструмента. Если это тест знаний, ситуация, скорее всего, не имеет простого выхода, т.к. тесты знаний редко содержат банки заданий и поэтому не могут быть нормально перетестированы. Участники уже помнят большую часть заданий и ответов.
Если это тесты способностей, следует назначить повторное тестирование с использованием альтернативной формы теста. Это более короткий вариант теста, не содержащий заданий из полной формы. Результаты повторного прохождения покажут в какой мере первичный результат был объективен. Практически каждый провайдер тестов имеет такие альтернативные формы, и вы можете обратиться к нему для перетеста.
Если это тесты способностей, следует назначить повторное тестирование с использованием альтернативной формы теста. Это более короткий вариант теста, не содержащий заданий из полной формы. Результаты повторного прохождения покажут в какой мере первичный результат был объективен. Практически каждый провайдер тестов имеет такие альтернативные формы, и вы можете обратиться к нему для перетеста.
3. Проблемы с компьютером или Интернетом, повлиявшие на результат участника
Наиболее лёгкая для манипуляции ситуация. Если тестирование проводилось под контролем администратора и на корпоративных компьютерах, нам не остаётся ничего, кроме перетеста. Только важно удостовериться, что технические проблемы действительно повлияли на результат. Если тестирование проводилось кандидатом в неизвестном месте — это повод ещё более серьёзно разобраться в ситуации.
Как это можно сделать:
Наиболее лёгкая для манипуляции ситуация. Если тестирование проводилось под контролем администратора и на корпоративных компьютерах, нам не остаётся ничего, кроме перетеста. Только важно удостовериться, что технические проблемы действительно повлияли на результат. Если тестирование проводилось кандидатом в неизвестном месте — это повод ещё более серьёзно разобраться в ситуации.
Как это можно сделать:
- Привлечь IT-специалистов и посмотреть, действительно ли происходили разрывы во время прохождения.
- Проверить, на каком задании / блоке теста (в случае если тест состоит из частей) происходили разрывы. В этом случае перетестировать надо не весь тест, а только соответствующий блок.
К сожалению, даже предприняв эти действия, мы не сможем со 100% точностью сказать, действительно ли были проблемы. Поэтому лучше прибегать к превентивным мерам – тестировать под контролем администратора и непосредственно перед тестированием проверять компьютеры и Интернет.
Важно помнить, что проблемы с Интернетом могут повлиять на выполнение только тех заданий, которые ограничены по времени. Поэтому плохое Интернет-подключение не является поводом для перетеста личностных опросников!
4. Шкала лжи или согласованности в опроснике указывает на неправдоподобность ответов
Ситуация встречается в компаниях, которые используют нормативные личностные опросники (см. пункт 1). Это такие опросники, где участника прямо спрашивают о его уровне личностных черт. Чтобы хоть как-то защитить нормативные опросники от обмана, в них встраивают шкалы лжи или согласованности. Получив по ним высокие баллы, участник приглашается заполнить опросник ещё раз, но уже «более честно».
Далее возможны несколько сценариев:
Ситуация встречается в компаниях, которые используют нормативные личностные опросники (см. пункт 1). Это такие опросники, где участника прямо спрашивают о его уровне личностных черт. Чтобы хоть как-то защитить нормативные опросники от обмана, в них встраивают шкалы лжи или согласованности. Получив по ним высокие баллы, участник приглашается заполнить опросник ещё раз, но уже «более честно».
Далее возможны несколько сценариев:
1
Перетест может оставить ситуацию прежней — высокие баллы по шкале лжи просто продублируются. Шкалы лжи в основном измеряют не намерение человека обмануть опросник, а его склонность слишком «позитивно» мыслить о себе (McCrae & Costa, 1993; Ones, Viswesvaran & Reiss, 1996). Повторно заполнив опросник, он вновь показывает эту склонность.
2
Может сложится обратная ситуация, когда в перетесте участник получит более высокие баллы и по шкале лжи, и по шкалам опросника. Он уже сознательно будет давать более позитивные самоописания. Чем более значима процедура оценки для участника, тем сильнее он будет стараться улучшить свои результаты (Hausknecht, 2010; Walmsley & Sackett 2013).
3
Также участник может подготовиться к повторному тестированию, прочитав про шкалы лжи и в итоге улучшив свои результаты. Как и все методы выявления социальной желательности, шкалы лжи достаточно уязвимы для подготовленных участников.
Что в итоге? Тестирование участника оплачено, но шкала лжи или согласованности указывает на не истинность ответов. Перетест вряд ли выправит ситуацию. Компания в тупике. Рекомендация — не использовать нормативные опросники, или использовать их вместе с ипсативными заданиями (где просят сравнить несколько качеств между собой). В этом случае необходимость перетеста личностными опросниками отпадёт.
5. Участник получил низкие результаты, и это противоречит ожиданиям заказчика
Например, участник является сильным кандидатом, и его приём на работу / повышение важно для HR'а или руководителя.
Назначение перетеста в этом случае дискредитирует процедуру тестирования по двум причинам:
— Тесты не должны сильно коррелировать с оценкой менеджера или какого-либо другого человека (Connolly, Kavanagh & Viswesvaran, 2007). Важный нюанс: инструмент «создаёт» качество, которое он измеряет. Интеллект, измеренный руководителем, и интеллект, измеренный тестом — это не одно и то же качество. То же самое с личностными чертами. Это расхождение и делает тесты ценным инструментом — они рассматривают качество с уникального ракурса (и поэтому добавляют валидности).
— Участник получит преимущество, т.к. сможет улучшить свои результаты в повторном тестировании. Что (а) несправедливо по отношению к другим участникам и (б) снижает объективность оценки.
Например, участник является сильным кандидатом, и его приём на работу / повышение важно для HR'а или руководителя.
Назначение перетеста в этом случае дискредитирует процедуру тестирования по двум причинам:
— Тесты не должны сильно коррелировать с оценкой менеджера или какого-либо другого человека (Connolly, Kavanagh & Viswesvaran, 2007). Важный нюанс: инструмент «создаёт» качество, которое он измеряет. Интеллект, измеренный руководителем, и интеллект, измеренный тестом — это не одно и то же качество. То же самое с личностными чертами. Это расхождение и делает тесты ценным инструментом — они рассматривают качество с уникального ракурса (и поэтому добавляют валидности).
— Участник получит преимущество, т.к. сможет улучшить свои результаты в повторном тестировании. Что (а) несправедливо по отношению к другим участникам и (б) снижает объективность оценки.
1. Arendasy, M. E., & Sommer, M. (2013). Quantitative differences in retest effects across different methods used to construct alternate test forms. Intelligence, 41(3), 181–192.
2. Connolly, J. J., Kavanagh, E. J., & Viswesvaran, C. (2007). The convergent validity between self and observer ratings of personality: A meta‐analytic review.International Journal of Selection and Assessment, 15(1), 110-117.
3. McCrae, R. R., & Costa, P. T. (1983). Social desirability scales: More substance than style. Journal of consulting and clinical psychology, 51(6), 882.
4. Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Moriarty Gerrard, M. O. (2007). Retesting in selection: a meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373.
5. Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. Personnel Psychology, 63(2), 299–324.
6. Holladay, C. L., David, E., & Johnson, S. K. (2013). Retesting personality in employee selection: implications of the context, sample, and setting. Psychological reports, 112.
6. Kelley, P. L., Jacobs, R. R., & Farr, J. L. (1994). Effects of multiple administrations of the MMPI for employee screening. Personnel Psychology, 47, 575–591.
7. McAdams, D. P., & Olson, B. D. (2010). Personality development: Continuity and change over the life course. Annual review of psychology, 61, 517–542.
8. Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81(6), 660.
9. Villado, A. J., Randall, J. G., & Zimmer, C. U. (2016). The effect of method characteristics on retest score gains and criterion-related validity. Journal of Business and Psychology, 31(2), 233–248.
10. Walmsley, P. T., & Sackett, P. R. (2013). Factors affecting potential personality retest improvement after initial failure. Human Performance, 26(5), 390–408.
2. Connolly, J. J., Kavanagh, E. J., & Viswesvaran, C. (2007). The convergent validity between self and observer ratings of personality: A meta‐analytic review.International Journal of Selection and Assessment, 15(1), 110-117.
3. McCrae, R. R., & Costa, P. T. (1983). Social desirability scales: More substance than style. Journal of consulting and clinical psychology, 51(6), 882.
4. Hausknecht, J. P., Halpert, J. A., Di Paolo, N. T., & Moriarty Gerrard, M. O. (2007). Retesting in selection: a meta-analysis of coaching and practice effects for tests of cognitive ability. Journal of Applied Psychology, 92(2), 373.
5. Hausknecht, J. P. (2010). Candidate persistence and personality test practice effects: Implications for staffing system management. Personnel Psychology, 63(2), 299–324.
6. Holladay, C. L., David, E., & Johnson, S. K. (2013). Retesting personality in employee selection: implications of the context, sample, and setting. Psychological reports, 112.
6. Kelley, P. L., Jacobs, R. R., & Farr, J. L. (1994). Effects of multiple administrations of the MMPI for employee screening. Personnel Psychology, 47, 575–591.
7. McAdams, D. P., & Olson, B. D. (2010). Personality development: Continuity and change over the life course. Annual review of psychology, 61, 517–542.
8. Ones, D. S., Viswesvaran, C., & Reiss, A. D. (1996). Role of social desirability in personality testing for personnel selection: The red herring. Journal of Applied Psychology, 81(6), 660.
9. Villado, A. J., Randall, J. G., & Zimmer, C. U. (2016). The effect of method characteristics on retest score gains and criterion-related validity. Journal of Business and Psychology, 31(2), 233–248.
10. Walmsley, P. T., & Sackett, P. R. (2013). Factors affecting potential personality retest improvement after initial failure. Human Performance, 26(5), 390–408.
Автор обзора
- Юрий Шатров