В комментах к одному из предыдущих постов нам задали вопрос о том, насколько вообще надёжны эти ваши проективные тесты (ТАТы, РАТы и всякие рисовалки). Честно признаюсь, я не ожидал, что там всё настолько печально, и то, что я сейчас напишу, будет новым и неожиданным для меня самого.
Собственно, я решил ограничить выбор источников конкретными количественными исследованиями (и мета-анализами, построенными на результатах таких исследований) и не включать разного рода учебники и книги по проективным методикам, сколь бы авторитетными в профессиональной среде они ни были.
Поэтому Венгер сегодня идёт лесом, сосредоточимся на тупом бездуховном количественном анализе: валидность проективных тестов лучше определять по независимым источникам.
Давайте сначала рассмотрим ТАТ (тематический апперцептивный тест). Суть его заключается в том, что нужно смотреть на картинки и рассказывать (придумывать) по ним истории.
Первое, что бросается в глаза — это то, что, несмотря на существование количественных интерпретаторов ТАТа, но у нас никто ими не пользуется. На практике специалисты предпочитают руководствоваться своими впечатлениями и клиническим опытом (что бы это ни значило).
Второй проблемой ТАТа является то, что практически все системы его интерпретации имеют низкую надёжность (в обоих смыслах: и как устойчивость к погрешностям измерений, и как внутреннюю согласованность).
Надёжность «свободной интерпретации» вообще невозможно измерить, поскольку это слишком субъективная штука, и показатели будут отличаться от специалиста к специалисту.
Третья (и главная) проблема ТАТа заключается в том, что его результаты не совпадают с результатами, полученными с помощью других методик. Т.е. либо он измеряет что-то другое (но что?), либо измеряет неправильно.
В одном из исследований мозгоправов просили с помощью ТАТа определять, «их клиент» ли испытуемый, или он является здоровым человеком. Результат — 57% «угадываний», примерно как если бы они случайным образом выбирали, кого куда отнести. Для сравнения в случае MMPI этот показатель достигал 88%.
Но, может быть, с другими тестами дела обстоят лучше? Давайте посмотрим на популярную проективку «Рисунок человека». На Западе его используют для оценки интеллектуального развития ребёнка. Но в исследовании, в котором его сравнили с простым и понятным Векслером, было показано, что корреляция — всего 0.27 (это очень мало, можно сказать, ничтожно мало). Т.е., опять же, либо эти тесты измеряют что-то разное, либо один из них врёт, и, скорее всего, это делает проективный тест.
Данных о надёжности использования «Рисунка человека» для диагностики психических заболеваний или исследования личностных особенностей мне найти не удалось.
В исследовании валидности популярного теста «Несуществующее животное» «многие интерпретации, принятые в литературе, не подтвердились» — в частности не была найдена связь между параметрами рисунка и уровнем тревоги, не подтвердилось, что присутствие на рисунке зубов, рогов и когтей связано с агрессией (Венгер, привет!).
Вообще, что интересно, в русскоязычных публикациях вопрос валидности проективных методик практически не поднимается. А результаты тех исследований, которые есть, отличаются от тех, которые представлены в западных мета-анализах.
Лично у меня есть множество вопросов к дизайну таких отечественных исследований. Так, например, ВАЛЯВКО С. М. С соавторами для оценки валидности теста Вартегга используют другие проективные методики (в т.ч. «Несуществующее животное», о котором речь шла выше). Да и к статистической обработке у меня есть некоторые вопросы (в частности, к гипотезе о нормальном характере распределения исходных данных).
Тут вообще нужно сказать о том, что данных по оценке валидности проективных тестов достаточно мало. И это понятно, т.к. многие из них допускают очень широкий спектр интерпретаций, и не совсем понятно, что они, в конце концов, должны измерять.
Вот, например, Шкала депрессии Бека (которая не является проективным тестом) проста и понятна: есть итоговый балл, который считается по заранее заданному алгоритму (не допускающему различий в интерпретации и подсчёте), на выходе у нас циферка, чем она больше, тем сильнее депрессия. Всё просто и понятно, легко сравнить как с другими шкалами, так и с клиническими наблюдениями.
А что измеряет «Несуществующее животное»? У того же Венгера — куча совершенно разных предположений на основе примеров, приведённых в качестве учебного материала, — там и диагностика психических заболеваний, и выявление личностных особенностей, и определение уровня агрессии и много всякого другого.
Даже Хиббард, который критикует Лилиенфелда (это автор одного из самых цитируемых мета-анализов по валидности проективных тестов, №1 в нашем сегодняшнем списке литературы), признаёт, что у него нет данных, которые могли бы доказать валидность ТАТа, «Рисунка человека» и Роршаха. Нужно больше исследований.
В общем, резюмируя, вынужден признать, что на сегодня нет каких-то весомых подтверждений того, что проективные тесты обладают приемлемым уровнем валидности (хотя отдельные исследования показывают, что это так, но там, как правило, с дизайном не всё хорошо — то выборка маленькая, то критерии оценки мутные, то ещё что).
Я благодарен читателю, задавшему вопрос о валидности и надёжности проективных методик за то, что он сподвиг меня выйти из уютненького мирка отечественных учебников и посмотреть на то, как обстоят дела на самом деле. В который раз убеждаюсь, что верить учебникам можно далеко не всегда, и лучше самому всё перепроверять.
P.s.: Буду рад, если кто-то из читателей предоставит опровергающую информацию, т.к. я не исключаю того, что она есть, просто я её не нашёл.
Что почитать:
1. Lilienfeld, S. O., Wood, J. M., & Garb, H. N. (2000). The scientific status of projective techniques. Psychological Science in the Public Interest, 1(2), 27-66.
2. Wildman, R.W., & Wildman, R.W. II. (1975). An investigation into the comparative validity of several diagnostic tests and test batteries. Journal of Clinical Psychology, 31, 455-458
3. Jenkins, S. R. (2008). Introduction: Why «score» TATs, anyway?. In S. R. Jenkins & (Eds.), A handbook of clinical scoring systems for the Thematic Apperception Test. New York, NY: Taylor and Francis Group.
4. Imuta, Kana; et al. (2013). «Drawing a Close to the Use of Human Figure Drawings as a Projective Measure of Intelligence». PLOS ONE. 8 (3): e58991. doi:10.1371/journal.pone.0058991
5. https://www.ncbi.nlm.nih.gov/pubmed/1556206
6. https://www.ncbi.nlm.nih.gov/pubmed/23516590
8. Щербатых Ю.В. ПРОВЕРКА ВАЛИДНОСТИ ПРОЕКТИВНОГО ТЕСТА НА АГРЕССИЮ (НА ПРИМЕРЕ ТЕСТА «РИСУНОК НЕСУЩЕСТВУЮЩЕГО ЖИВОТНОГО»). Социосфера. Номер: 1 Год: 2017 Страницы: 111-116.
9. http://psyjournals.ru/files/72911/exp_2014_n4_Valyavko.pdf
10. A Critique of Lilienfeld et al.’s (2000) «The Scientific Status of Projective Techniques». Stephen Hibbard. Journal of Personality Assessment Vol. 80, Iss. 3, 2003
11. Mihura, J. L., Meyer, G. J., Dumitrascu, N., & Bombel, G. (2013). The validity of individual Rorschach variables: Systematic reviews and meta-analyses of the comprehensive system. Psychological Bulletin, 139(3), 548-605. http://dx.doi.org/10.1037/a0029406
Виталий Лобанов
Достаточно скептически относится к психологии и смежным дисциплинам, искренне считая, что имеет на это все основания.
Не имеет определённой профессиональной принадлежности, одинаково не доверяя гештальтистам, КПТ-шникам, психоаналитикам и даже бихевиористам. Однако в работе считает возможным использование наработок из любых (ну, может быть, кроме совсем уж эзотерических) направлений.
Имеет опыт пребывания в психиатрическом стационаре, с последующим самостоятельным преодолением последствий этого самого опыта. Работает онлайн, иногда пишет довольно упоротые тексты на этом сайте.
Запись на консультацию к Виталию доступна по ссылке: bootandpencil.com/schedule-appointment/