Валидность

Что такое валидность?

Уже два десятилетия в России существует практика оценки персонала и психологической диагностики в бизнесе. И все эти годы консультанты и разработчики тестовых методик говорят о валидности как об одном из основных показателей качества методики. Но что же такое валидность?

Даже сами консультанты зачастую не знают ответа на этот вопрос. Вместо простого определения они начинают сыпать описаниями разных видов валидности, что окончательно запутывает тех, кто является специалистом в этой области. Не помогает и обращение к первоисточникам: определения валидности в учебниках психодиагностики, как правило, весьма сложны и запутанны. Даже классическая англоязычная монография известного американского психолога Анны Анастази не дает четкого ответа: там мы найдем весьма неопределенное «The test is valid if it measures what it claims to measure» («Тест валиден, если он измеряет то, что должен измерить»).

Будем проще и честнее. Видов валидности много, но только один из них действительно важен для нас. Это так называемая прогностическая или предсказательная валидность.

Что такое предсказательная валидность?

Предсказательная валидность — это способность методики точно прогнозировать эффективность работы сотрудника.

Просто и ясно. Для чего мы оцениваем кандидатов на работу? Чтобы понять, кто будет успешен, а кто — нет.Для чего мы приглашаем менеджеров на центр оценки? Чтобы выяснить их потенциал: кому можно давать более сложные задачи, кто справится с работой на более высокой позиции.

Весь смысл оценки сводится к прогнозированию: будет человек эффективен или нет. Точность этого прогноза и называется валидностью. Методика может быть быстрой, дешевой и красивой, но если она не обладает валидностью, она бессмысленна.

Технически, валидность — это коэффициент корреляции (взаимозависимости) между результатами оценки и показателями эффективности сотрудника. Он принимает значения от «0» до «+1». Показатель валидности «0» говорит о том, что результаты оценки, по сути, являются случайными. Использовать результаты такого метода для прогноза эффективности работы человека — все равно что подбрасывать в воздух монетку.

Какой должна быть валидность?

Многие считают, что хороший показатель валидности должен составлять где-то «0,8» или «0,9». Это ошибочно. Дело в том, что таких показателей валидности на практике просто не существует. Если кому-то удастся создать метод с валидностью «0,9» и выше, этот человек будет кандидатом на Нобелевскую премию (и доля шутки здесь небольшая).

Экономически оправданными являются уже методы оценки с валидностью «0,2» и выше. Показатель валидности «0,3» хотя и кажется невысоким, на деле может обеспечить высокую финансовую отдачу и снизить ошибки отбора персонала вдвое или даже больше. А любое дальнейшее увеличение валидности в разы повышает эффективность оценки. Чем выше валидность используемого вами метода, тем выше шансы выбрать лучшего кандидата. Таким образом в долгосрочной перспективе ваша организация получит существенное конкурентное преимущество за счет более грамотного подбора персонала.

За последние 30 лет международные специалисты в области организационной психологии провели целый ряд обширных исследований, посвящённых сравнительному анализу валидности разных методов оценки. На текущий момент основным инструментом для такого сравнения является технология метаанализа, разработанная американскими исследователями Ф. Шмидтом и Дж. Хантером, которая позволяет обобщить результаты большого количества частных исследований в единую базу и определить так называемую типичную валидность — то есть ту точность прогноза, которую мы можем ожидать, используя тот или иной метод.

Чтобы соотносить цифры друг с другом, полезно ориентироваться на несколько ключевых фактов про валидность:

  • Экономически эффективными являются методы оценки с валидностью выше 0,25
  • Ни для одного класса методов не получена типичная валидность выше 0,6
  • На настоящий момент нет никаких обоснованных данных, связывающих результаты методик, прогнозирующих общепсихологические качества или психиатрические акцентуации человека (таких, как тесты Люшера, «пятна» Роршаха, «круги Торренса», рисунок несуществующего животного и пр.) и его рабочую эффективность.

Все исследования последнего времени (см., например, Hunter & Schmidt, 1998; Robertson & Smith, 2002) показывают, что достоверность прогноза рабочего поведения человека при помощи центров оценки и личностных опросников оценивается примерно одинаково и составляет около 0,4. Таким образом, и центры оценки, и личностные опросники можно считать достаточно достоверным и экономически оправданным способом прогнозирования поведения людей на рабочем месте.

Тесты способностей обладают валидностью около «+0,5» — это лучшее средство прогнозирования показателей работы сотрудников различных профессий и областей деятельности, в особенности — кандидатов на топ-позиции, где требования к решению проблем, аналитическому мышлению и работе с информацией выше среднего уровня.  Для сравнения: стандартное интервью имеет валидность примерно «+0,2», а сбор рекомендаций — лишь «+0,1».

Другие виды валидности

Как было сказано выше, в реальной практике оценки персонала самой важной является прогностическая валидность. Но вам могут встретиться и другие термины:

  • Содержательная валидность — соответствие содержания метода оценки специфике работы сотрудника.
    Пример: в центре оценки для менеджеров высокой содержательной валидностью будет обладать упражнение, в котором участникам необходимо распределить бюджет на проекты. У задания, где необходимо составить план выживания на необитаемом острове, будет низкая содеражательная валидность.
  • Конструктная валидность — соответствие результатов оценки тому теоретическому конструкту, который методика должна измерять.
    Пример: нельзя измерять способности к работе с вербальной информацией заданиями на эрудицию.
  • Очевидная валидность — валидность методики оценки в глазах кандидата.
    Пример: известно, что наибольшей очевидной валидностью обладают центры оценки, в то время как вера кандидатов в справедливость интервью невысока.
  • Валидность веры — валидность методики в глазах ее пользователей (рекрутеров и HR-менеджеров).
    Пример: несмотря на то, что согласно всем исследованиям, тесты способностей очень хорошо прогнозируют результаты работы, в глазах менеджеров они зачастую не выглядят убедительным методом отбора.