Как оценить точность теста «на коленке»

Например, мы решаем использовать в подборе тест оценки способностей Switch в отборе менеджеров по продажам. Мы хотим понять, насколько верными будут наши решения о найме либо отсеве, если мы будем опираться только на результаты теста, без учета других инструментов оценки (кстати, ни мы, ни Российский стандарт тестирования персонала не рекомендует так поступать).

Итак, нам нужно рассчитать, какую точность будет иметь новый тест в нашем случае. Для этого выбираем группу действующих сотрудников из, например, 20 человек. Оцениваем их результативность по целевому KPI. Пускай в нашем случае это будут продажи. ВАЖНО: в группе должны быть и лидеры, и отстающие, и середнячки по данному показателю. Затем мы проводим для них выбранный тест. По каждому сотруднику мы получаем две оценки: а) результативность, б) балл за тест. Пускай, каждая из них выставлена по 10-балльной шкале от 1 до 10. Теперь для каждой из оценок нам нужно установить приемлемый для компании «проходной балл». Это порог, начиная с которого оценка считается высокой, ниже — низкой. Например, мы ищем очень крутого специалиста и установим порог для результативности 7, а для теста 6 (здесь нужно сопоставить со шкалой теста и единицами измерения критерия) и разместим все 20 человек из оцененной группы в диаграмму в соответствии с их результатами. При этом отметим и те пороговые значения, которые мы установили. Например, мы получили такое распределение (цветные линии — пороговые значения):

Мы получили матрицу, состоящую из четырех квадратов, из них: 1 и 4 — Неожиданные значения, 2 и 3 — Ожидаемые.

Теперь, чтобы оценить точность теста, нам нужно посчитать количество сотрудников, чьи результаты по тесту совпали с Ожидаемыми, и поделить на общее количество участвовавших в эксперименте. Для этого достаточно разделить сумму точек в квадратах 2 и 3 (Ожидаемые) на общее количество точек во всех квадратах: (7 (кв. 2) + 7 (кв. 3))/20 = 0,7. Это означает, что точность решений при подборе по данному критерию (продажи), если мы будем использовать только тест (напоминаем, что не рекомендуем принимать решения на основании лишь одного инструмента), равна 70%. То есть, примерно в 70% случаев мы будем правильно нанимать кандидатов, которые принесут компании продажи на уровне лучших сотрудников и правильно отсеивать кандидатов, которые не покажут высоких результатов в работе.

Хорошие новости в том, что данный способ применим не только к тестам. С его помощью можно оценить точность любого инструмента оценки при подборе — от анализа резюме до ассессмент-центра.