Нарративы, ИИ и оценка персонала
В оценке персонала появляются подходы, которые доказывают свою эффективность на данных, но при этом встречают сопротивление со стороны рынка. Например, когда ИИ встраивается в видеоинтервью, чат-боты. Или анализуется цифровой след кандидата.

И одна из причин сопротивления — эти технологии не дают пользователям нарратива. Они не позволяют создать рассказ о человеке, его образ. Или этот рассказ недостаточно полный и понятный.

В общем, мысль непроста. Но

Предупреждаю, что текст непростой.

Юрий Шатров
Руководитель
практики Digital Assessment ЭКОПСИ

shatrov@ecopsy.ru
Сначала про человека и нарративы
Человеческое восприятие и мышление стремится к гештальту — целостному восприятию картинки. Мы объединяем, казалось бы, несвязанные события в истории. В том числе истории о других людях. При знакомстве с новым человеком мы оцениваем его внешность, узнаем его бекграунд — и у нас складывается какой-то образ. От слова «психолог» идут ассоциации, что человек понимает что-то про других людей, а от «военный» — что он строгий и патриотичный. И мы удивляемся, когда какая-то характеристика противоречит принятому или уже сложенному образу. Допустим, когда психолог проявляет жестокость, а военный — бесхарактерность.

Звучит, наверное, банально, но почему мы так делаем? Если кратко — наше восприятие не справилось бы, если бы мы попробовали схватить хоть часть реального (по Жаку Лакану) мира. А если бы справилось и мы чувственно поняли всю сложность мира — мы бы не смогли это все вербализовать. И здесь к нам приходит на помощь язык, с помощью которого мы сжимаем всю сложность мира до каких-то образов и смыслов.

Давайте на примере психологии. Среди психологов есть шутка, что мы не поняли и 1% того, как устроен человек. И действительно: в человеке есть какие-то физиологические процессы, которые влияют на его поведение, есть какой-то поток мыслей, образов и чувств в его голове. Есть бессознательные процессы. А еще есть средовое влияние: на человека постоянно влияет окружение. И все это находится в сложной взаимосвязи.

Окей, человек безумно сложен. Но нам же нужно прогнозировать его поведение. На обывательском уровне, допустим, поведение нашего партнера или детей. Или в работе поведение подчиненных. И единственный наш способ — это как-то назвать человека. Рассказать про него историю. Эта история должна быть понятной и законченной. Например, что человек ESFP. Или что его вербальные способности на 32 процентиле. Или что у него нарциссический радикал.
Это в том числе про фундаментальную ошибку атрибуции. Это явление в психологии говорит о том, что мы свои действия воспринимаем как функцию среды, а действия других людей — как результат их «внутренних» качеств. Если я выгорел(а) — это потому, что много работы. Если другой выгорел — это потому что он недостаточно вынослив / ему неинтересна работа.

Михаил Бахтин писал (если переводить с литературоведческого на психологический), что мы воспринимаем себя как поток переживаний, а других — как набор законченных характеристик. На примере восприятия. Представьте, что стоите на поляне. Вы смотрите на окружающее от первого лица — видите луга, дома, деревья. Вы чувствуете ветер, тепло солнца. А теперь представьте, что видите вдалеке другого человека. Вы видите его в более широком контексте — на фоне травы, видите все его тело. И из-за этого более «широкого» взгляда только вы можете описать его как высокого или низкого, выглядящего счастливым или несчастным. И этот образ обычно закончен (будто бы без возможности изменения), вам понятен.

Можно возразить, что «а как же рефлексия, которая позволяет мне думать о себе как о наборе характеристик?» Да, только в рефлексии мы тоже встаем на позицию другого. Мы не можем «из себя» оценить себя же; в этот момент мы раздваиваемся.
То же стремление к связности, непротиворечивости есть и в оценке. Рекрутер складывает впечатление о кандидате в первые 5–10 минут и далее скорее насаживает новые наблюдения на это впечатление. Оценщик интерпретирует результаты тестирования, а далее презентует их заказчику, объясняя противоречия и создавая тем самым понятный образ. Оценка персонала — это создание нарратива о другом человека с целью его «приручения» в чьей-то голове: на месте неизвестной переменной возникает понятный и предсказуемый образ, который помогает нам объяснять текущее поведение человека и спрогнозировать будущее.
Теперь про ИИ
В последние 15 лет появилась оценка, основанная на ML (машинном обучении) — машины оценивают человека по видеоинтервью, цифровому следу, поведению в игре. Но её популярность остается на низком уровне: только около 8% крупных компании используют эти технологии. И одна из причин — они не обеспечивает пользователей нарративом.

Допустим, большинство моделей, которые прогнозируют увольнение человека, на выходе дают одну цифру: этот человек собирается уволиться или нет. Так же с моделями прогноза результативности. Как вы понимаете, из этого нельзя сложить рассказ, нельзя объяснить руководителю, почему у его кандидата или сотрудника вот такой балл. Что позволительно при массовой оценке и что приводит к затруднениям при точечной.

На примере нашей технологии оценки видеоинтервью Echo. В её первый версиях в результате формировался один итоговый балл. Если огрублять, он отражал потенциал человека. Но это было недостаточно понятно для участников и для заказчиков. У них не формировался тот самый образ, что вызывало недоверие. Мы разбили итоговый балл на три составляющие, описывающие качества человека (Логичность изложения, Мотивация и вовлеченность, Уверенность презентации). Доверие пользователей у Echo сильно повысилось.
Читайте наш выпуск HRTimes про ИИ в HR. Я пока не встречал аналогичных (по полноте) обзоров этой темы на русском языке.
Или возьмем технологию разработки компетенций, которая лежит в основе DEEP. Действительно в результате получаются компетенции, которые гарантированно связаны с результативностью сотрудников, а не являются просто образом «идеального человека» в глазах топов. При этом результат машинной работы (сложной факторизации в данном случае) нуждается в обработке эксперта, буквально в «очеловечивании» — переименовании индикаторов, изменении определений компетенций. Потому что иначе стройной, объяснимой модели не получить.

Примерно то же с task-based оценкой, которую мы активно развиваем на российском рынке.
В task-based подходе мы оцениваем человека не по компетенциям или каким-то другим качествам, относящимся к нему как к человеку. Мы оцениваем его по эффективности решения задач. В качестве критериев выступают, например, «беседа с недовольным подчиненным», «ведение совещания», «продажа премиального автомобиля». Подробнее узнайте на нашем вебинаре или в статье.
Task-based подход (TBA) крайне эффективен — во многом потому, что в нем мы избавляемся от прослойки в виде компетенций и наблюдаем поведение напрямую. Он показывает более высокую надежность и сопоставимую валидность.

При этом task-based, как и ИИ, развивается медленно. Компетенции — это как раз те привычные конструкты, с помощью которых мы слагаем рассказ о человеке. С тасками (задачами, как в примере выше) это сделать тоже можно, но сложнее. Потому что, опять же, мы привыкли воспринимать человека как набор характеристик и в меньшей мере — как набор занятий, деятельностей.

Все это не приводит к выводу, что у ИИ-оценки и у Task-based нет будущего. Наоборот, будущее как раз за ними:
— Способ измерения должен быть соразмерен объекту измерения (тому, что мы измеряем). Измеряя вес, мы используем весы, а не просто определяем его на взгляд. А если говорить про поведение человека — человеческое восприятие (способ) намного проще устройства человека, нашего объекта. ИИ преодолевает этот недостаток, потому что способен учесть намного больше факторов. Точнее, намного больше нарративов, поскольку все равно работает с данными, которые люди собрали о других людях.
— Task-based оценка ближе к реальности, потому что оперирует поведением (тасками), а не конструктами, описывающими это поведение (компетенциями). Мы оцениваем человека по задачам, которые ему далее предстоит выполнять.

Вывод другой. Искусственному интеллекту и TBA есть чему поучиться у более холистических подходов в оценке, а именно — нам нужно добавить то, что называют очень общим словом face validity. ИИ должен давать результаты в связной и понятной модели, а TBA — в виде рассказа «про человека».
Автор статьи
Юрий Шатров
Руководитель практики
«Digital Assessment»


shatrov@ecopsy.ru