+7 (495) 645–00–40
Сколько вешать в корреляциях?
Часто на встречах менеджеры и HR'ы говорят, что валидность инструмента 0,3 — низкая, и нужна как минимум 0,5. Это — ошибочное убеждение. Разберем. Речь пойдет, конечно же, о критериальной валидности.
Руководитель практики Digital Assessment ЭКОПСИ
Юрий Шатров
Иногда так думают люди, которые считают корреляцию процентами, только более умными и научными. Но корреляция — это не проценты, и 0,3 не равны 30%. В этом основная сложность корреляций — они не имеют физической величины, поэтому их хочется проассоциировать с чем-то знакомым. Первыми в голову обычно приходят проценты.
При этом корреляцию можно перевести в проценты — и даже нужно, если мы хотим объяснить точность оценки бизнесу. Но и там не все так просто: в зависимости от способа перевода корреляция 0,3 может быть равна 9% (объяснимая дисперсия), может 65% (по формуле Кеттела), а может — 70–75% (с помощью четырехклеточной матрицы). Магии и обмана тут нет — в каждом способе перевода процент имеет разный смысл. Об этом напишу отдельный пост.
Еще 0,5 могут требовать естественно-научники — химики, физики. В этих науках часто встречаются корреляции 0,7 и выше — предметы изучения проще, можно проконтролировать «шумовые» факторы и таким образом провести чистый эксперимент. В социальных науках — а психология как раз такая — мы изучаем намного более сложную сущность: человека. Поведение человека в работе не равно поведению на интервью или в кейсах, ответам на тесты. Есть факторы ситуации, настроения, социальной желательности и обмана оценки. И мы эти факторы не то, что не можем контролировать, мы их даже выявить не можем. Критерий, об который мы измеряем точность оценки, тоже зависит от средовых и субъективных факторов. Поэтому между оценкой и действительностью всегда будет дельта.
Иногда корреляцию в 0,5 требует та просвещенная часть публики, которая читала зарубежные исследования. В них иногда можно встретить корреляции между инструментами оценки и результативностью от 0,5 и выше. Только вот эти 0,5 — не чистая корреляция, а скорректированная. Это вообще отдельная песня. Поется она примерно так. Исследователи говорят: «Так, наше исследование нельзя назвать точным. Мы не учли то, что внешний критерий может быть ненадежным. Или что выборка какая-то не такая. Давайте применим корректирующие формулы — и у нас будет более правильная корреляция, которая учла несовершенство мира исследования». Итог этих формул — корреляция увеличивается в два-два с половиной раза. На примере крупных исследований (сначала идет чистая корреляция, в скобках — скорректированная):
— Центры оценки — 0,28 (0,37).
— Тесты способностей — 0,26 (0,65).
— Структурированное интервью — 0,24 (0,58).
— Кейс-тесты — 0,2 (0,28).
Мы не против поправок. Сами иногда применяем их, когда на то есть основания (о чем отдельно предупреждаем клиента). Мы против сравнения чистых и скорректированных корреляций. В самых цитируемых зарубежных исследованиях все корреляции выше 0,5 — скорректированные.
А теперь минутка философии. Представьте, что кто-то разработал инструмент с валидностью 0,9. Это громадный показатель, и вряд ли мы его когда-либо достигнем. Но он интересен как пример. Валидноcть 0,9 означала бы, что человек практически полностью понят, изучен. Что мы проконтролировали многие средовые факторы, в том числе воздействующие на человека в будущем (а не только в момент, когда мы исследовали точность). По сути, валидность 0,9 означает, что человек практически равен цифрам из исследования. Во-первых, реально ли это? Во-вторых, хочется ли такого? Лично мне не нравится такая детерминированность алгоритмом. Думаю, мы понимаем, что вслед за оцениваемыми колокол прозвонит по всем нам))
Это не про то, что нужно забить на увеличение точности и не развивать инструменты оценки. Просто как бы мы не хотели все контролировать и прогнозировать со 100% точностью, человек — и человеческое в нас самих — будет сопротивляться этому. Поэтому видите корреляцию 0,3 — радуйтесь: это честная и безопасная цифра. А 0,5 — скорее ориентир.
При этом корреляцию можно перевести в проценты — и даже нужно, если мы хотим объяснить точность оценки бизнесу. Но и там не все так просто: в зависимости от способа перевода корреляция 0,3 может быть равна 9% (объяснимая дисперсия), может 65% (по формуле Кеттела), а может — 70–75% (с помощью четырехклеточной матрицы). Магии и обмана тут нет — в каждом способе перевода процент имеет разный смысл. Об этом напишу отдельный пост.
Еще 0,5 могут требовать естественно-научники — химики, физики. В этих науках часто встречаются корреляции 0,7 и выше — предметы изучения проще, можно проконтролировать «шумовые» факторы и таким образом провести чистый эксперимент. В социальных науках — а психология как раз такая — мы изучаем намного более сложную сущность: человека. Поведение человека в работе не равно поведению на интервью или в кейсах, ответам на тесты. Есть факторы ситуации, настроения, социальной желательности и обмана оценки. И мы эти факторы не то, что не можем контролировать, мы их даже выявить не можем. Критерий, об который мы измеряем точность оценки, тоже зависит от средовых и субъективных факторов. Поэтому между оценкой и действительностью всегда будет дельта.
Иногда корреляцию в 0,5 требует та просвещенная часть публики, которая читала зарубежные исследования. В них иногда можно встретить корреляции между инструментами оценки и результативностью от 0,5 и выше. Только вот эти 0,5 — не чистая корреляция, а скорректированная. Это вообще отдельная песня. Поется она примерно так. Исследователи говорят: «Так, наше исследование нельзя назвать точным. Мы не учли то, что внешний критерий может быть ненадежным. Или что выборка какая-то не такая. Давайте применим корректирующие формулы — и у нас будет более правильная корреляция, которая учла несовершенство мира исследования». Итог этих формул — корреляция увеличивается в два-два с половиной раза. На примере крупных исследований (сначала идет чистая корреляция, в скобках — скорректированная):
— Центры оценки — 0,28 (0,37).
— Тесты способностей — 0,26 (0,65).
— Структурированное интервью — 0,24 (0,58).
— Кейс-тесты — 0,2 (0,28).
Мы не против поправок. Сами иногда применяем их, когда на то есть основания (о чем отдельно предупреждаем клиента). Мы против сравнения чистых и скорректированных корреляций. В самых цитируемых зарубежных исследованиях все корреляции выше 0,5 — скорректированные.
А теперь минутка философии. Представьте, что кто-то разработал инструмент с валидностью 0,9. Это громадный показатель, и вряд ли мы его когда-либо достигнем. Но он интересен как пример. Валидноcть 0,9 означала бы, что человек практически полностью понят, изучен. Что мы проконтролировали многие средовые факторы, в том числе воздействующие на человека в будущем (а не только в момент, когда мы исследовали точность). По сути, валидность 0,9 означает, что человек практически равен цифрам из исследования. Во-первых, реально ли это? Во-вторых, хочется ли такого? Лично мне не нравится такая детерминированность алгоритмом. Думаю, мы понимаем, что вслед за оцениваемыми колокол прозвонит по всем нам))
Это не про то, что нужно забить на увеличение точности и не развивать инструменты оценки. Просто как бы мы не хотели все контролировать и прогнозировать со 100% точностью, человек — и человеческое в нас самих — будет сопротивляться этому. Поэтому видите корреляцию 0,3 — радуйтесь: это честная и безопасная цифра. А 0,5 — скорее ориентир.
Авторы
- Юрий ШатровРуководитель практики
Digital Assessment ЭКОПСИ