+7 (495) 645–00–40
Термин недели — jingle jangle fallacy
Все оценщики хоть раз сталкивались с ситуацией, когда две компетенции (или шкалы опросника) называются по-разному, а оценивают примерно одно и то же.
Руководитель практики Digital Assessment ЭКОПСИ
Юрий Шатров
Показательный случай — Ответственность, Исполнительность, Настойчивость. Да, на уровне слов можно объяснить разницу между этими компетенциями, но на уровне измерения — например, в ЦО — разница практически всегда незаметна. Это все про достижение результата
Второй случай — обратный первому, — когда компетенции называются одинаково, но измеряют разное. Например, Лидерство. В одних компаниях это доминантность, ассертивность, в других — инноваторство. Или Командность. Где-то это взаимовыручка; где-то уступчивость и неконфликтность; где-то — партнерство.
Такая путаница в критериях получила название jingle jangle fallacy (первый случай выше — джангл; второй — джингл). Перевести на русский это невозможно, поэтому будем называть просто «JJ» (совпадения случайны).
JJ — огромная проблема и для оценки персонала. Из-за джингл-эффекта оценщики могут полагаться на свое бытовое восприятие критериев и иметь в виду под Лидерством что-то свое, а не то, что описано в модели. Опросник может быть настроен на оценку «Командности», но само содержание шкалы будет отличаться от смысла компетенции в модели. Причина джингл-эффекта в том, что психология и оценка персонала используют понятия из бытового языка. В котором количество слов, естественно, ограничено, и где под одним словом может скрываться много смыслов.
От джангл-эффекта радости тоже мало (и в оценке персонала он встречается чаще). Из-за придумывания новых критериев, дробления моделей компетенций на мелкие сущности увеличивается длительность и трудоемкость оценки. А главное, что не повышается качество, потому что происходит оценка 3–5 критериев, просто скрывающихся под пятнадцатью названиями. Проверить, испытывает ли ваша оценка джангл-эффект, очень просто. Прокоррелируйте оценки по компетенциям, например, в интервью или кейсах. Если какие-то два критерия связаны на уровне 0,8 и выше — они дублируют друг друга, джангл-эффект есть. И эти критерии можно объединить. Если связь находится в интервале 0,6–0,8 — вы приближаетесь к джанглу. Причина у джангла примерно та же — мы пытаемся оперировать обывательским пониманием критериев. Как следствие, считаем, что если на уровне языка есть различия между Аналитическим и Системным мышлением — значит, это различие будет на уровне измерения. Другая причина в «множении» конструктов — необходимость, а где-то желание исследователей придумывать новое. Согласитесь, что существовать только в пространстве Большой пятерки — скучно. Каждый год оценщикам хочется чего-то нового, и исследователи и провайдеры им это предлагают. Хорошо, когда это «новое» предлагает что-то действительно отличное от того, что было раньше; но часто бывает так, это то же вино, разлитое в новые бокалы.
Как не попасть в джингл-джангл? На примере моделей компетенций. Разрабатывать их на основе данных. Это разлепит компетенции на уровне модели. Проводить обучение по компетенциям (так называемые калибровочные тренинги) — со всеми: оценщиками, руководителями, эйчарами. Это разлепит критерии в головах людей и позволит отойти от бытового понимания «слов» в модели.
Второй случай — обратный первому, — когда компетенции называются одинаково, но измеряют разное. Например, Лидерство. В одних компаниях это доминантность, ассертивность, в других — инноваторство. Или Командность. Где-то это взаимовыручка; где-то уступчивость и неконфликтность; где-то — партнерство.
Такая путаница в критериях получила название jingle jangle fallacy (первый случай выше — джангл; второй — джингл). Перевести на русский это невозможно, поэтому будем называть просто «JJ» (совпадения случайны).
JJ — огромная проблема и для оценки персонала. Из-за джингл-эффекта оценщики могут полагаться на свое бытовое восприятие критериев и иметь в виду под Лидерством что-то свое, а не то, что описано в модели. Опросник может быть настроен на оценку «Командности», но само содержание шкалы будет отличаться от смысла компетенции в модели. Причина джингл-эффекта в том, что психология и оценка персонала используют понятия из бытового языка. В котором количество слов, естественно, ограничено, и где под одним словом может скрываться много смыслов.
От джангл-эффекта радости тоже мало (и в оценке персонала он встречается чаще). Из-за придумывания новых критериев, дробления моделей компетенций на мелкие сущности увеличивается длительность и трудоемкость оценки. А главное, что не повышается качество, потому что происходит оценка 3–5 критериев, просто скрывающихся под пятнадцатью названиями. Проверить, испытывает ли ваша оценка джангл-эффект, очень просто. Прокоррелируйте оценки по компетенциям, например, в интервью или кейсах. Если какие-то два критерия связаны на уровне 0,8 и выше — они дублируют друг друга, джангл-эффект есть. И эти критерии можно объединить. Если связь находится в интервале 0,6–0,8 — вы приближаетесь к джанглу. Причина у джангла примерно та же — мы пытаемся оперировать обывательским пониманием критериев. Как следствие, считаем, что если на уровне языка есть различия между Аналитическим и Системным мышлением — значит, это различие будет на уровне измерения. Другая причина в «множении» конструктов — необходимость, а где-то желание исследователей придумывать новое. Согласитесь, что существовать только в пространстве Большой пятерки — скучно. Каждый год оценщикам хочется чего-то нового, и исследователи и провайдеры им это предлагают. Хорошо, когда это «новое» предлагает что-то действительно отличное от того, что было раньше; но часто бывает так, это то же вино, разлитое в новые бокалы.
Как не попасть в джингл-джангл? На примере моделей компетенций. Разрабатывать их на основе данных. Это разлепит компетенции на уровне модели. Проводить обучение по компетенциям (так называемые калибровочные тренинги) — со всеми: оценщиками, руководителями, эйчарами. Это разлепит критерии в головах людей и позволит отойти от бытового понимания «слов» в модели.
Авторы
- Юрий ШатровРуководитель практики
Digital Assessment ЭКОПСИ