Критерии «невалидности» и псевдонаука в оценке

Давайте разбираться. Сформулируем принципы, которые помогут выявить антинаучные инструменты оценки. Что у них общего?

Отсутствие преемственности
Каждый инструмент нуждается в теоретическом обосновании измеряемых феноменов. Методика, как карета, не может быть впереди теории – лошади. Например, за пониманием интеллекта стоят феномены вербального и невербального IQ, а они раскрываются как способность видеть связи между понятиями и абстрактными объектами.
В то же время, преемственность может проявляться не только в опоре на теорию, но и в использовании принятых в научном сообществе процедур. При разработке методик, основанных только на данных, исследователи опираются на принятые методы анализа заданий.

Эмоциональность и сенсационность заявлений
Если авторы не опираются на уже имеющиеся данные, и используют ненаучные процедуры, то их теория может представляться как сенсационная. Феномен Хигира — яркий пример сенсационности теории. Напомню, что эта теория говорит о связи имени, судьбы и профессиональных склонностей человека.

Критика в адрес научного сообщества и отсутствие самокритики
Когда авторы не опираются на имеющиеся результаты, не делают ссылки, то все, что им остается – это критиковать другие работы, которые не смогли прийти к похожим выводам и разработке такого же инструментария. Критика чужих работ зачастую сопряжена с отсутствием самоанализа, некритичной оценкой полученных результатов (если они были). Нумерологи предпочитают не обращать внимание на результаты, опровергающие их теорию.

Отсутствие компетентных разработчиков
Если в команде нет специалистов, которые находятся в контексте оценки и обладают необходимыми компетенциями, то кто тогда будет разрабатывать инструмент?
Этот критерий относится ко всем «античным» практикам (физиогномике, астрологии и т.д), чьи принципы были сформулированы уже давно, до появления требований к инструментам и возможности анализировать данные.

Эти принципы могут быть применены практически к любым научным достижения. А к оценочным инструментам есть еще одно требование, более специфическое.

Отсутствие результатов психометрической проверки
Любая новая форма методики, внесение пунктов, изменение инструкции, адаптация на другой язык и, конечно же, разработка нового инструмента – всё это должно пройти этапы валидизации. Более подробно про значение необходимых показатели (валидность, точность, надежность) методики можно прочитать в посте.

Отсутствие этих показателей сразу же вызывает сомнения: На самом ли деле измеряемый конструкт совпадает с тем, что заявляют авторы? Связан ли он с внешними критериями (результативностью, вовлеченностью и прочими)? Без валидизации невозможно утверждать об эффективности инструмента.

Распространённая в России соционика хоть частично и опирается на теорию Юнга, но из-за малого количества исследований имеет неоднозначный научный статус (раз, два).

А что с нейрометрией? Увлекательная концепция рушится о реальность. Вместо необходимых инструментов для измерения ЭЭГ используется обычный ЭКГ чип, не предназначенный для считывания ритма мозга. 9 видов интеллекта по Гарднеру авторы произвольно заменяют лишь на 7 (принцип преемственности). И даже наличие публикации не спасают ситуацию. В исследовании изучается лишь точность считывания ритмов в состояниях, а не конкретных граней интеллекта, что и приводит к несовпадению результатов нейрометрической оценки со стандартизованными методиками (принцип психометрической проверки).