+7 (495) 645–00–40
Эффективный центр оценки: 10 рекомендаций
Мы очень любим центр оценки (ЦО). И ещё больше нам хотелось бы, чтобы российские компании пользовались лучшими практиками ЦО. Поэтому мы решили написать, как сделать центр оценки эффективной процедурой отбора. Постараемся не быть банальными, но сделать акцент на непростых и не самых очевидных вещах, связанных с информационной перегрузкой наблюдателей, их подготовкой и отбором, сведением результатов, проверкой валидности. (Для основ рекомендуем обратиться к Стандарту центра оценки :)
Компетенции
1
Оценивайте до 6 компетенций в одном центре оценки.
Чем больше компетенций – тем сильнее они смешиваются друг с другом. Во-первых, на практике они начинают повторять друг друга. В теории, в виде прописанных индикаторов, они действительно различаются. Но в наблюдаемом поведении они становятся сложно различаемыми. Пример – индикаторы на (а) анализ плюсов и минусов решения (компетенция "системное мышление"); (б) анализ рисков и возможностей в ситуации (компетенция "стратегическое мышление"). В теории можно описать их различия, но на практике, в поведении человека, они смешиваются. Сложно точно сказать, "эта фраза" участника следует из его системного мышления, или из стратегического.
Во-вторых, наблюдатели тоже начинают смешивать компетенции, так как не всегда могут удержать во внимании сразу много элементов. Они упрощают компетенции до 2-3 элементов – чаще всего до (а) эффективной коммуникации и драйва; и (б) решения задач. В случае особенно сильной информационной "перегрузки" наблюдатели основывают свои оценки уже не на компетенциях, а на ошибках восприятия (первого впечатления и ореола).
Во-вторых, наблюдатели тоже начинают смешивать компетенции, так как не всегда могут удержать во внимании сразу много элементов. Они упрощают компетенции до 2-3 элементов – чаще всего до (а) эффективной коммуникации и драйва; и (б) решения задач. В случае особенно сильной информационной "перегрузки" наблюдатели основывают свои оценки уже не на компетенциях, а на ошибках восприятия (первого впечатления и ореола).
1. Jackson, D. J. R., & Kim, Y. (2013, November). How many are really enough? Determining an appropriate number of exercises and dimensions using decision studies. Paper presented at The UK Assessment Centre Conference; Leading Edge Science & Practice, Croydon, England.
2. Woehr, D. J., & Arthur, W. Jr (2003). The construct-related validity of assessment center ratings: A review and meta-analysis of the role of methodological factors. Journal of Management, 29, 231-258.
2. Woehr, D. J., & Arthur, W. Jr (2003). The construct-related validity of assessment center ratings: A review and meta-analysis of the role of methodological factors. Journal of Management, 29, 231-258.
Наблюдатели
2
Привлекайте в наблюдатели и психологов, и представителей бизнеса.
– Психологи привыкли ставить человека в центр своего внимания. Поэтому их оценки более согласованы (они одинаково понимают компетенции и наблюдаемое поведение), что в итоге повышает точность.
– Люди из бизнеса лучше понимают, какое поведение эффективно в рабочих ситуациях. Это также повышает точность оценки. В Европе распространена практика, когда в ЦО привлекаются наблюдатели из бизнеса – действующие менеджеры, прошедшие тренинг навыков наблюдения в ЦО. Также участие в ЦО позволяет менеджерам повысить их собственный уровень владениями компетенциями.
– Люди из бизнеса лучше понимают, какое поведение эффективно в рабочих ситуациях. Это также повышает точность оценки. В Европе распространена практика, когда в ЦО привлекаются наблюдатели из бизнеса – действующие менеджеры, прошедшие тренинг навыков наблюдения в ЦО. Также участие в ЦО позволяет менеджерам повысить их собственный уровень владениями компетенциями.
Если нет возможности привлечь менеджеров – делайте ставку на оценщиках с психологическим образованием. Они выставляют более точные оценки, чем люди без психологического бэкграунда.
1. Birri, R., & Melcher, A. (2011). Building a Talent for Talent. Assessment Centres and Global Talent Management, 175.
2. Lievens, F., Tett, R. P., & Schleicher, D. J. (2009). Assessment centers at the crossroads: Toward a reconceptualization of assessment center exercises. In Research in personnel and human resources management (pp. 99-152). Emerald Group Publishing Limited.
3. Wirz, A., Melchers, K. G., Lievens, F., De Corte, W., & Kleinmann, M. (2013). Trade-offs between assessor team size and assessor expertise in affecting rating accuracy in assessment centers. Journal of Work and Organizational Psychology, 29, 13-20.
2. Lievens, F., Tett, R. P., & Schleicher, D. J. (2009). Assessment centers at the crossroads: Toward a reconceptualization of assessment center exercises. In Research in personnel and human resources management (pp. 99-152). Emerald Group Publishing Limited.
3. Wirz, A., Melchers, K. G., Lievens, F., De Corte, W., & Kleinmann, M. (2013). Trade-offs between assessor team size and assessor expertise in affecting rating accuracy in assessment centers. Journal of Work and Organizational Psychology, 29, 13-20.
3
Обучайте наблюдателей не только НОКО, но и в формате frame-of-reference.
НОКО – последовательность действий наблюдателя-эксперта в ходе проведения моделирующих упражнений. Состоит из четырех этапов: наблюдение (Н), описание (О), классификация (К) и оценка (О) поведения.
Стандарт центра оценки
Стандарт центра оценки
В оценке распространены тренинги НОКО. Основная цель тренинга – научить наблюдателей фиксировать и оценивать именно поведение, а не свои субъективные суждения об участниках оценки. За рубежом также получили распространение т.н. frame-of-reference тренинги, или калибровочные тренинги. Их цель – создать у наблюдателей единое понимание (фрейм), какие компетенции оцениваются и как они проявляются в конкретных упражнениях. В ходе калибровочных тренингов оценщики подробно рассматривают все компетенции и индикаторы, обсуждают, как они проявляются в поведении. Крайне эффективно отрабатывать понимание компетенций на практике. Оценщики просматривают видеозапись с поведением участника в ходе упражнений (если происходит обучение центру оценки), или знакомятся с текстовым описанием его действий в рабочих ситуациях (180 / 360 градусов). Далее они самостоятельно оценивают "ролевых" участников – и сверяют свои оценки с "правильными" ответами. Дополнительно в ходе обучения необходимо описать основные искажения, которые возникают в ходе оценки: ореола, первого впечатления, личностного подобия.
В России калибровочные тренинги практически не проводятся. Тем не менее, они являются крайне эффективным дополнением к НОКО-тренингам.
4
Отбирайте оценщиков, выставляющих наиболее согласованные оценки
Работа с оценщиками должна происходить не только до ЦО, но и после самого мероприятия. Основная мера эффективности оценки наблюдателями – это согласованность их оценок. Согласованность отражает то, насколько оценки одного наблюдателя согласуются с оценками других наблюдателей. Высокий уровень согласованности означает, что наблюдатель пользуется единой для всех моделью оценки в упражнениях. Низкий уровень согласованности отражает субъективизм наблюдателя, использование им своих собственных критериев оценки.
Согласованность необходимо считать на данных по индикаторам, а не компетенциям - это повышает точность аналитики. Существует множество способов оценки согласованности, самый распространённый из них – коэффициент конкордации Кэндалла. Его оптимальное значение – от 0,6 для каждого наблюдателя. Более подробно ознакомиться с методами оценки согласованности вы сможете в соответствующих статьях.
Наблюдателей с низким уровнем согласованности необходимо обучать модели оценки (проявлению индикаторов в каждом упражнении). Наиболее эффективный формат обучения - описанные выше калибровочные тренинги. Наблюдателей с хронически низкой согласованностью необходимо заменять.
Согласованность необходимо считать на данных по индикаторам, а не компетенциям - это повышает точность аналитики. Существует множество способов оценки согласованности, самый распространённый из них – коэффициент конкордации Кэндалла. Его оптимальное значение – от 0,6 для каждого наблюдателя. Более подробно ознакомиться с методами оценки согласованности вы сможете в соответствующих статьях.
Наблюдателей с низким уровнем согласованности необходимо обучать модели оценки (проявлению индикаторов в каждом упражнении). Наиболее эффективный формат обучения - описанные выше калибровочные тренинги. Наблюдателей с хронически низкой согласованностью необходимо заменять.
1. Hallgren, K. A. (2012). Computing inter-rater reliability for observational data: an overview and tutorial. Tutorials in quantitative methods for psychology, 8(1), 23.
2. Wikipedia. URL: https://en.wikipedia.org/wiki/Inter-rater_reliability#Joint_probability_of_agreement
2. Wikipedia. URL: https://en.wikipedia.org/wiki/Inter-rater_reliability#Joint_probability_of_agreement
Процедура оценки
5
Проводите оценку в каждом упражнении на уровне адаптированных индикаторов
У компетенций в большинстве моделей есть конкретные поведенческие проявления - индикаторы. Мы рекомендуем проводить оценку в рамках именно на уровне индикаторов. Компетенции – слишком абстрактный (верхнеуровневый) конструкт для упражнений ЦО, чтобы оценка проводилась сразу на их уровне. Хотя в российском ЦО доминирует подход, когда оценка изначально происходит на уровне компетенций, индикаторный подход показывает большую точность. Индикаторы могут оцениваться с использованием нескольких шкал:
– Двухбалльная (0/1) - индикатор проявился или нет.
– С тремя и более баллами (1-2 ... N) - индикатор проявился на определённом уровне выраженности.
За исключением двухбалльной шкалы мы рекомендуем НЕ описывать каждый уровень индикатора в BARS-логике. Это только утяжеляет оценку для наблюдателей.
– Двухбалльная (0/1) - индикатор проявился или нет.
– С тремя и более баллами (1-2 ... N) - индикатор проявился на определённом уровне выраженности.
За исключением двухбалльной шкалы мы рекомендуем НЕ описывать каждый уровень индикатора в BARS-логике. Это только утяжеляет оценку для наблюдателей.
BARS (Behavioral Anchored Rating Scale) - шкала оценки, в которой у каждого уровня компетенции (или другого оценочного критерия) есть текстовое описание из нескольких пунктов. В BARS-логике составлена большая часть моделей компетенций российских компаний, по ней происходит оценка в рамках performance appraisel. Также BARS шкалы используются российскими компаниями в оценке компетенций в рамках упражнений ЦО.
В оценке индикаторов необходимо следовать двум рекомендациям:
Б. Адаптируйте индикаторы под каждое конкретное упражнение. Индикаторы как они прописаны в модели компетенций - могут быть слишком абстрактными по отношению к поведению в упражнении. Поэтому описание индикаторов необходимо адаптировать – создавать их в терминах того поведения, которое может проявится в конкретном упражнении. Оптимальное количество "адаптированных" индикаторов в каждой компетенции – от 3 до 5 на каждое упражнение.
В. Сводите результаты оценки индикаторов простым усреднением. Это позволит избежать субъективизма при выведении оценки по компетенции. К примеру, вы оценивали каждый индикатор по шкале от 1 (плохо проявил) до 3 (хорошо проявил). Усреднение оценок по нескольким индикаторам даёт дробное значение от 1 до 3. Чтобы перевести эту усреднённую оценку в оценку по компетенции – постройте "таблицу соответствия". Это такая таблица, где каждой усреднённой оценке по индикаторам соответствует определённая оценка по компетенции. К примеру, усреднённая оценка по индикаторам от 1 до 1,3 равна оценке по компетенции "1", от 1,4 до 1,7 равна "2" и так далее.
Б. Адаптируйте индикаторы под каждое конкретное упражнение. Индикаторы как они прописаны в модели компетенций - могут быть слишком абстрактными по отношению к поведению в упражнении. Поэтому описание индикаторов необходимо адаптировать – создавать их в терминах того поведения, которое может проявится в конкретном упражнении. Оптимальное количество "адаптированных" индикаторов в каждой компетенции – от 3 до 5 на каждое упражнение.
В. Сводите результаты оценки индикаторов простым усреднением. Это позволит избежать субъективизма при выведении оценки по компетенции. К примеру, вы оценивали каждый индикатор по шкале от 1 (плохо проявил) до 3 (хорошо проявил). Усреднение оценок по нескольким индикаторам даёт дробное значение от 1 до 3. Чтобы перевести эту усреднённую оценку в оценку по компетенции – постройте "таблицу соответствия". Это такая таблица, где каждой усреднённой оценке по индикаторам соответствует определённая оценка по компетенции. К примеру, усреднённая оценка по индикаторам от 1 до 1,3 равна оценке по компетенции "1", от 1,4 до 1,7 равна "2" и так далее.
1. Binning, J. F., Adorno, A. J., & Kroeck, K. G. (1997). Validity of behavior checklist and assessor judgmental ratings in an operational assessment center. Paper presented at the Annual Conference of the Society for Industrial and Organizational Psychology.
2. Boyle, S., Fullerton, J., & Wood, R. (1995). Do assessment/development centres use optimum evaluation procedures? A survey of practice in UK organizations. International Journal of Selection and Assessment, 3(2), 132-140.
3. Campbell, W. J. (1986). Construct Validation of Role Playing Exercises in an Assessment Center Using BARS and Behavioral Checklist Formats. Unpublished Thesis, Old Dominion University, Norfolk, VA.
4. Donahue, L. M., Truxillo, D. M., Cornwell, J. M., & Gerrity, M. J. ( 1997). Assessment center construct validity and behavioral checklists: Some additional findings. Journal of Social Behavior & Personality, 12(5), 85-108.
5. Hauenstein, P. C. (1994). A key behavior approach for improving the utility of developmental assess -ment centers . Paper presented at the Annual Conference of the Society for Industrial and Organizational Psychology.
6. Hennessy, J., Mabey, B., & Warr, P. (1998). Assessment centre observation procedures: An experimental comparison of traditional, checklist and coding methods. International journal of selection and assessment, 6(4), 222-231.
7. LeBreton, J.M., Gniatczyk, L.A., & Migetz, D.Z. (1999). The relationship between behavior checklist ratings and judgmental ratings in an operational assessment center: An application of structural equation modeling. Paper presented at the Annual Conference of the Society for Industrial and Organizational Psychology.
8. Reilly, R. R., Henry, S., & Smither, J. W. (1990). An examination of the effects of using behavior checklists on the construct validity of assessment center dimensions. Personnel Psychology, 43(1), 71-84.
9. Sanchez, D. R., Van Lysebetten, S., & Gibbons, A. M. (2017). Adapting simulation responses from judgment-based to analytic-based scores: A process model, case study, and empirical evaluation of managers' responses among a sample of managers. The Psychologist-Manager Journal, 20(1), 18.
10. Yun, G. J., Donahue, L. M., Dudley, N. M., & McFarland, L. A. (2005). Rater personality, rating format, and social context: Implications for performance appraisal ratings. International Journal of Selection and Assessment, 13(2), 97-107.
2. Boyle, S., Fullerton, J., & Wood, R. (1995). Do assessment/development centres use optimum evaluation procedures? A survey of practice in UK organizations. International Journal of Selection and Assessment, 3(2), 132-140.
3. Campbell, W. J. (1986). Construct Validation of Role Playing Exercises in an Assessment Center Using BARS and Behavioral Checklist Formats. Unpublished Thesis, Old Dominion University, Norfolk, VA.
4. Donahue, L. M., Truxillo, D. M., Cornwell, J. M., & Gerrity, M. J. ( 1997). Assessment center construct validity and behavioral checklists: Some additional findings. Journal of Social Behavior & Personality, 12(5), 85-108.
5. Hauenstein, P. C. (1994). A key behavior approach for improving the utility of developmental assess -ment centers . Paper presented at the Annual Conference of the Society for Industrial and Organizational Psychology.
6. Hennessy, J., Mabey, B., & Warr, P. (1998). Assessment centre observation procedures: An experimental comparison of traditional, checklist and coding methods. International journal of selection and assessment, 6(4), 222-231.
7. LeBreton, J.M., Gniatczyk, L.A., & Migetz, D.Z. (1999). The relationship between behavior checklist ratings and judgmental ratings in an operational assessment center: An application of structural equation modeling. Paper presented at the Annual Conference of the Society for Industrial and Organizational Psychology.
8. Reilly, R. R., Henry, S., & Smither, J. W. (1990). An examination of the effects of using behavior checklists on the construct validity of assessment center dimensions. Personnel Psychology, 43(1), 71-84.
9. Sanchez, D. R., Van Lysebetten, S., & Gibbons, A. M. (2017). Adapting simulation responses from judgment-based to analytic-based scores: A process model, case study, and empirical evaluation of managers' responses among a sample of managers. The Psychologist-Manager Journal, 20(1), 18.
10. Yun, G. J., Donahue, L. M., Dudley, N. M., & McFarland, L. A. (2005). Rater personality, rating format, and social context: Implications for performance appraisal ratings. International Journal of Selection and Assessment, 13(2), 97-107.
6
Используйте статистическую процедуру сведения интегральных результатов по ЦО, дополняя её экспертными наблюдениями.
В центре оценки всегда использовалась экспертная процедура сведения результатов. Наблюдатели обсуждали поведение участника в различных упражнениях и совместно выставляли итоговую оценку по ЦО.
Но последние исследования показали, что статистическое сведение – более эффективная процедура. Наблюдатели усредняют свои оценки по разным компетенциям – получившаяся цифра и есть итоговый балл по центру оценки. Главное преимущество данной процедуры – на неё не влияет групповая динамика, которая возникает в ходе обсуждения результатов, и субъективность отдельных наблюдателей. Всё это повышает критериальную валидность итогового балла (его связь с результативностью) на 8%.
Тем не менее, ограничиться только статистическим сведением нельзя. Сведение - пусть и в сокращённом формате - всё равно необходимо проводить. Две причины:
– Наблюдатели могут выставить противоположные оценки одному участнику. Это различие требует обсуждения и согласования оценок.
– Написание отчётов требует глубоких выводов по участнику, которые могут возникнуть только в результате обсуждения.
Но последние исследования показали, что статистическое сведение – более эффективная процедура. Наблюдатели усредняют свои оценки по разным компетенциям – получившаяся цифра и есть итоговый балл по центру оценки. Главное преимущество данной процедуры – на неё не влияет групповая динамика, которая возникает в ходе обсуждения результатов, и субъективность отдельных наблюдателей. Всё это повышает критериальную валидность итогового балла (его связь с результативностью) на 8%.
Тем не менее, ограничиться только статистическим сведением нельзя. Сведение - пусть и в сокращённом формате - всё равно необходимо проводить. Две причины:
– Наблюдатели могут выставить противоположные оценки одному участнику. Это различие требует обсуждения и согласования оценок.
– Написание отчётов требует глубоких выводов по участнику, которые могут возникнуть только в результате обсуждения.
Важно: Опираться только на экспертное сведение оценок можно в двух случаях:
1. Если вы не уверены в высоком уровне разработки и подготовки центра оценки. Экспертиза наблюдателей может скомпенсировать недостатки дизайна ЦО.
2. Если вы проводите центры развития. В них особенно важна глубина оценки каждого участника - особенностей его поведения, типичных совершаемых ошибок.
1. Если вы не уверены в высоком уровне разработки и подготовки центра оценки. Экспертиза наблюдателей может скомпенсировать недостатки дизайна ЦО.
2. Если вы проводите центры развития. В них особенно важна глубина оценки каждого участника - особенностей его поведения, типичных совершаемых ошибок.
1. Dewberry, C. (2016). Integrating Candidate Data: Consensus or Arithmetic?. Assessment Centres and Global Talent Management, 97.
2. Dilchert, S., & Ones, D. S. (2009). Assessment Center Dimensions: Individual differences correlates and meta‐analytic incremental validity. International Journal of Selection and Assessment, 17(3), 254-270.
3. Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: a meta-analysis. Psychological assessment, 12(1), 19.
4. Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology, 98(6), 1060-1072.
5. Putka, D. (2014). Aggregation of Assessment Center Scores: A Commentary on Recent Perspectives and Implications for the Dimensions-Exercise Debate. URL: http://www.assessmentcenters.org/Assessmentcenters/media/2014/2014-Final-Presentations/Aggregation-of-AC-Scores_Putka.pdf
2. Dilchert, S., & Ones, D. S. (2009). Assessment Center Dimensions: Individual differences correlates and meta‐analytic incremental validity. International Journal of Selection and Assessment, 17(3), 254-270.
3. Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: a meta-analysis. Psychological assessment, 12(1), 19.
4. Kuncel, N. R., Klieger, D. M., Connelly, B. S., & Ones, D. S. (2013). Mechanical versus clinical data combination in selection and admissions decisions: A meta-analysis. Journal of Applied Psychology, 98(6), 1060-1072.
5. Putka, D. (2014). Aggregation of Assessment Center Scores: A Commentary on Recent Perspectives and Implications for the Dimensions-Exercise Debate. URL: http://www.assessmentcenters.org/Assessmentcenters/media/2014/2014-Final-Presentations/Aggregation-of-AC-Scores_Putka.pdf
Моделирующие упражнения
7
Оценивайте до 3 компетенций в одном упражнении.
Если включить в одно упражнение больше компетенций – наблюдатели, с высокой вероятностью, всё равно "схлопнут" их до трёх. Это связано с пределами человеческого внимания: большинство людей способны удерживать в фокусе не больше трёх сложных элементов (которыми и являются компетенции, разбитые на индикаторы).
Gaugler, B. B., & Thornton, G. C. (1989). Number of assessment center dimensions as a determinant of assessor accuracy. Journal of Applied Psychology, 74(4), 611.
8
Дополняйте ЦО психометрическими инструментами – тестами оценки потенциала (PIF), тестами способностей, личностными опросниками.
A. Тесты оценки потенциала имеют схожую с ЦО цель – прогноз эффективности в работе. И дают схожие результаты: 89% участников, получивших высокие результаты по тесту Potential in Focus, также имеют высокие интегральные баллы по ЦО. Их различие в фокусах оценки. Если ЦО оценивает навыковые компетенции, то тесты оценки потенциала – их фундамент, личностные и интеллектуальные особенности.
Б. Тесты способностей могут использоваться как дополнение к аналитическим компетенциям. Согласно исследованиям, добавление тестов способностей в ЦО увеличивает точность ЦО на 35% (в относительном, а не абсолютном выражении).
В. Личностные опросники могут служить дополнительным замером компетенций, которые сложно измерить в рамках моделирующих упражнений, – адаптивности, мотивации к развитию, межкультурной толерантности.
Б. Тесты способностей могут использоваться как дополнение к аналитическим компетенциям. Согласно исследованиям, добавление тестов способностей в ЦО увеличивает точность ЦО на 35% (в относительном, а не абсолютном выражении).
В. Личностные опросники могут служить дополнительным замером компетенций, которые сложно измерить в рамках моделирующих упражнений, – адаптивности, мотивации к развитию, межкультурной толерантности.
1. Попов А. Ю., Лурье Е. В. (2012). Дистанционная оценка управленческого потенциала: исследование критериальной и инкрементной валидности. Организационная психология, №1, с. 28-41.
2. Симоненко С. И. (2012) Вклад интеллектуальных способностей в успешность менеджера: взаимосвязь результатов тестов способностей и Центров оценки. Социальная психология и общество, №1, с. 113-125.
3. Sackett, P. R., Shewach, O. R., & Keiser, H. N. (2017). Assessment centers versus cognitive ability tests: Challenging the conventional wisdom on criterion-related validity. Journal of Applied Psychology, 102(10), 1435.
4. Schmidt, F. L., Oh, I-S & Shaffer, J. (2013) The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 95 Years of Research Findings. Выступление на семинаре PTC/MW 6 ноября.
2. Симоненко С. И. (2012) Вклад интеллектуальных способностей в успешность менеджера: взаимосвязь результатов тестов способностей и Центров оценки. Социальная психология и общество, №1, с. 113-125.
3. Sackett, P. R., Shewach, O. R., & Keiser, H. N. (2017). Assessment centers versus cognitive ability tests: Challenging the conventional wisdom on criterion-related validity. Journal of Applied Psychology, 102(10), 1435.
4. Schmidt, F. L., Oh, I-S & Shaffer, J. (2013) The Validity and Utility of Selection Methods in Personnel Psychology: Practical and Theoretical Implications of 95 Years of Research Findings. Выступление на семинаре PTC/MW 6 ноября.
9
Разрабатывайте и используйте упражнения, которые содержат в себе сложный контент, помещают участника в ситуацию неопределённости, требуют взаимодействия в другими, отражают рабочие процессы.
А. Сложность – необходимость анализа большого количества информации, построения или учёта долгосрочной стратегии компании. Упражнения, требующие большей умственный нагрузки, обладают более высоким уровнем валидности.
Б. Неопределённость – низкая степень подробности инструкции или "прозрачности" поведения ролевого игрока; элементы неожиданности в сценарии упражнений.
В. Необходимость взаимодействия с другими участниками или наблюдателями. Практически любая работы подразумевает общение с другими, поэтому здесь также действует правило: чем ближе ЦО к реальности, тем выше его эффективность.
Г. Соответствие рабочему контексту – упражнения включают в себя отраслевую специфику компании; действия, которые участник должен совершать в ЦО, соответствуют его действиям в работе.
Б. Неопределённость – низкая степень подробности инструкции или "прозрачности" поведения ролевого игрока; элементы неожиданности в сценарии упражнений.
В. Необходимость взаимодействия с другими участниками или наблюдателями. Практически любая работы подразумевает общение с другими, поэтому здесь также действует правило: чем ближе ЦО к реальности, тем выше его эффективность.
Г. Соответствие рабочему контексту – упражнения включают в себя отраслевую специфику компании; действия, которые участник должен совершать в ЦО, соответствуют его действиям в работе.
Важно: Требование использовать упражнения, отражающие отраслевую специфику компании, справедливо при одном условии – высоком уровне отраслевой экспертизы наблюдателей. Только в этом случае они смогут понять ошибки и правильные действия участников.
1. Hoffman, B. J., Kennedy, C. L., LoPilato, A. C., Monahan, E. L., & Lance, C. E. (2015). A review of the content, criterion-related, and construct-related validity of assessment center exercises. Journal of Applied Psychology, 100 (4), 1143.
2. Ingold, P. V., Kleinmann, M., König, C. J., & Melchers, K. G. (2016). Transparency of assessment centers: lower criterion‐related validity but greater opportunity to perform?. Personnel Psychology, 69 (2), 467-497.
2. Ingold, P. V., Kleinmann, M., König, C. J., & Melchers, K. G. (2016). Transparency of assessment centers: lower criterion‐related validity but greater opportunity to perform?. Personnel Psychology, 69 (2), 467-497.
Валидность
10
Измеряйте критериальную валидность центров оценки.
Критериальная валидность – степень соответствия результатов конкретной программы ЦО и показателей успешности деятельности.
Стандарт центра оценки
Стандарт центра оценки
Согласно исследованию российских практик ЦО, самым используемым методом оценки эффективности центра оценки остаётся мнение руководителей, наблюдателей и участников. То есть разработчики ЦО ориентируются на удовлетворённость всех интересантов, а не на объективные – то есть статистические – показатели эффективности центра оценки. Этот подход является в корне неверным – с ним практика оценки остаётся реактивной, не влияющей как-либо на эффективность бизнеса.
Альтернативой является измерение критериальной валидности. Простыми словами, критериальная валидность – это связь конкретного ЦО с важными бизнес-показателями. К наиболее универсальным бизнес-показателям относятся объективные KPI (в т.ч. финансовая успешность) и оценка результативности руководителем.
Процедура проверки критериальной валидности (в самом общем формате):
1. Проводится конкретная программа центра оценки. Для проверки валидности необходимый объём выборки – от 100 человек, прошедших одну программу ЦО.
2. Собираются данные по KPI или результативности. Эти данные могут быть либо ретроспективными – относящимися к текущим должностям участников ЦО; либо они могут собираться через >6 месяцев после назначения на новую должность по результатам ЦО. Во втором случае измеряется способность ЦО предсказывать важные бизнес-показатели.
Данные по бизнес-показателям должны соответствовать двум критериям:
– Относительная устойчивость. Прокоррелируйте оценку по KPI / результативности за разные года. Если корреляция ниже 0,5 – эти данные использовать нельзя. Они слишком конъюктурны: зависят от рыночной ситуации, а не от усилий человека. Это требование действует только для ретроспективных данных.
– Наличие разброса оценок. Если практически все показатели KPI / результативности близки к высоким (100% / 5 / "А") – их использовать нельзя. Это означает, что они не отражают истинной эффективности людей.
Альтернативой является измерение критериальной валидности. Простыми словами, критериальная валидность – это связь конкретного ЦО с важными бизнес-показателями. К наиболее универсальным бизнес-показателям относятся объективные KPI (в т.ч. финансовая успешность) и оценка результативности руководителем.
Процедура проверки критериальной валидности (в самом общем формате):
1. Проводится конкретная программа центра оценки. Для проверки валидности необходимый объём выборки – от 100 человек, прошедших одну программу ЦО.
2. Собираются данные по KPI или результативности. Эти данные могут быть либо ретроспективными – относящимися к текущим должностям участников ЦО; либо они могут собираться через >6 месяцев после назначения на новую должность по результатам ЦО. Во втором случае измеряется способность ЦО предсказывать важные бизнес-показатели.
Данные по бизнес-показателям должны соответствовать двум критериям:
– Относительная устойчивость. Прокоррелируйте оценку по KPI / результативности за разные года. Если корреляция ниже 0,5 – эти данные использовать нельзя. Они слишком конъюктурны: зависят от рыночной ситуации, а не от усилий человека. Это требование действует только для ретроспективных данных.
– Наличие разброса оценок. Если практически все показатели KPI / результативности близки к высоким (100% / 5 / "А") – их использовать нельзя. Это означает, что они не отражают истинной эффективности людей.
Что делать, если имеющиеся данные о результативности низкого качества и им нельзя доверять?
В этом случае можно собрать данные непосредственно в рамках исследования валидности – с помощью руководителей участников ЦО. Руководители выбирают лучших и худших сотрудников – и оценивают их по индикаторам результативности. Важно, чтобы опрос руководителей был проведён именно в рамках HR-аналитического исследования и руководители понимали, что их оценки не повлияют на карьеру или мотивацию сотрудника. В этом случае результаты будут в меньшей степени подвержены искажениям.
В этом случае можно собрать данные непосредственно в рамках исследования валидности – с помощью руководителей участников ЦО. Руководители выбирают лучших и худших сотрудников – и оценивают их по индикаторам результативности. Важно, чтобы опрос руководителей был проведён именно в рамках HR-аналитического исследования и руководители понимали, что их оценки не повлияют на карьеру или мотивацию сотрудника. В этом случае результаты будут в меньшей степени подвержены искажениям.
3. Проводятся статистические процедуры – регрессионный, дискриминативный, дисперсионный анализ. В данном случае цель одна – понять, как конкретные элементы ЦО связаны с бизнес показателями. В результате могут быть получены ответы на следующие вопросы:
– Интегральный балл по ЦО вообще связан с бизнес-показателями?
– Как отдельные компетенции и индикаторы связаны с бизнес-показателями?
– Как оценки по отдельным упражнениям связаны с бизнес-показателями?
Все эти данные позволят убрать из ЦО контент, который не связан с эффективностью в работе.
Проверка иных видов валидности – содержательной и конструктной – описана в Стандарте центра оценки.
– Интегральный балл по ЦО вообще связан с бизнес-показателями?
– Как отдельные компетенции и индикаторы связаны с бизнес-показателями?
– Как оценки по отдельным упражнениям связаны с бизнес-показателями?
Все эти данные позволят убрать из ЦО контент, который не связан с эффективностью в работе.
Проверка иных видов валидности – содержательной и конструктной – описана в Стандарте центра оценки.
1. Куприянов Е. А. (2011). Стоит ли игра свеч: Валидность Центров оценки. Организационная психология, Т. 1, № 1. с. 50–58.
2. Becker, N., Höft, S., Holzenkamp, M., & Spinath, F. M. (2011). The Predictive Validity of Assessment Centers in German-Speaking Regions. Journal of Personnel Psychology.
2. Thornton G.C. III. (2012). Evidence That Assessment Center Judgments Measure Dimensions of Management Performance. Организационная психология, Т. 2, № 3. с. 32–38. URL: http://orgpsyjournal.hse.ru/2012--3/62021422.html
2. Thornton III, G. C., & Gibbons, A. M. (2009). Validity of assessment centers for personnel selection. Human Resource Management Review, 19(3), 169-187.
2. Becker, N., Höft, S., Holzenkamp, M., & Spinath, F. M. (2011). The Predictive Validity of Assessment Centers in German-Speaking Regions. Journal of Personnel Psychology.
2. Thornton G.C. III. (2012). Evidence That Assessment Center Judgments Measure Dimensions of Management Performance. Организационная психология, Т. 2, № 3. с. 32–38. URL: http://orgpsyjournal.hse.ru/2012--3/62021422.html
2. Thornton III, G. C., & Gibbons, A. M. (2009). Validity of assessment centers for personnel selection. Human Resource Management Review, 19(3), 169-187.
Авторы статьи
- Юрий Шатров
- Павел Дегтярёв