В комментах к одному из предыдущих постов нам задали вопрос о том, насколько вообще надёжны эти ваши проективные тесты (ТАТы, РАТы и всякие рисовалки). Честно признаюсь, я не ожидал, что там всё настолько печально, и то, что я сейчас напишу, будет новым и неожиданным для меня самого.
Собственно, я решил ограничить выбор источников конкретными количественными исследованиями (и мета-анализами, построенными на результатах таких исследований) и не включать разного рода учебники и книги по проективным методикам, сколь бы авторитетными в профессиональной среде они ни были.
Поэтому Венгер сегодня идёт лесом, сосредоточимся на тупом бездуховном количественном анализе: валидность проективных тестов лучше определять по независимым источникам.
Давайте сначала рассмотрим ТАТ (тематический апперцептивный тест). Суть его заключается в том, что нужно смотреть на картинки и рассказывать (придумывать) по ним истории.
Первое, что бросается в глаза — это то, что, несмотря на существование количественных интерпретаторов ТАТа, но у нас никто ими не пользуется. На практике специалисты предпочитают руководствоваться своими впечатлениями и клиническим опытом (что бы это ни значило).
Второй проблемой ТАТа является то, что практически все системы его интерпретации имеют низкую надёжность (в обоих смыслах: и как устойчивость к погрешностям измерений, и как внутреннюю согласованность).
Надёжность «свободной интерпретации» вообще невозможно измерить, поскольку это слишком субъективная штука, и показатели будут отличаться от специалиста к специалисту.
Третья (и главная) проблема ТАТа заключается в том, что его результаты не совпадают с результатами, полученными с помощью других методик. Т.е. либо он измеряет что-то другое (но что?), либо измеряет неправильно.
В одном из исследований мозгоправов просили с помощью ТАТа определять, «их клиент» ли испытуемый, или он является здоровым человеком. Результат — 57% «угадываний», примерно как если бы они случайным образом выбирали, кого куда отнести. Для сравнения в случае MMPI этот показатель достигал 88%.
Но, может быть, с другими тестами дела обстоят лучше? Давайте посмотрим на популярную проективку «Рисунок человека». На Западе его используют для оценки интеллектуального развития ребёнка. Но в исследовании, в котором его сравнили с простым и понятным Векслером, было показано, что корреляция — всего 0.27 (это очень мало, можно сказать, ничтожно мало). Т.е., опять же, либо эти тесты измеряют что-то разное, либо один из них врёт, и, скорее всего, это делает проективный тест.
Данных о надёжности использования «Рисунка человека» для диагностики психических заболеваний или исследования личностных особенностей мне найти не удалось.
В исследовании валидности популярного теста «Несуществующее животное» «многие интерпретации, принятые в литературе, не подтвердились» — в частности не была найдена связь между параметрами рисунка и уровнем тревоги, не подтвердилось, что присутствие на рисунке зубов, рогов и когтей связано с агрессией (Венгер, привет!).
Вообще, что интересно, в русскоязычных публикациях вопрос валидности проективных методик практически не поднимается. А результаты тех исследований, которые есть, отличаются от тех, которые представлены в западных мета-анализах.
Лично у меня есть множество вопросов к дизайну таких отечественных исследований. Так, например, ВАЛЯВКО С. М. С соавторами для оценки валидности теста Вартегга используют другие проективные методики (в т.ч. «Несуществующее животное», о котором речь шла выше). Да и к статистической обработке у меня есть некоторые вопросы (в частности, к гипотезе о нормальном характере распределения исходных данных).
Тут вообще нужно сказать о том, что данных по оценке валидности проективных тестов достаточно мало. И это понятно, т.к. многие из них допускают очень широкий спектр интерпретаций, и не совсем понятно, что они, в конце концов, должны измерять.
Вот, например, Шкала депрессии Бека (которая не является проективным тестом) проста и понятна: есть итоговый балл, который считается по заранее заданному алгоритму (не допускающему различий в интерпретации и подсчёте), на выходе у нас циферка, чем она больше, тем сильнее депрессия. Всё просто и понятно, легко сравнить как с другими шкалами, так и с клиническими наблюдениями.
А что измеряет «Несуществующее животное»? У того же Венгера — куча совершенно разных предположений на основе примеров, приведённых в качестве учебного материала, — там и диагностика психических заболеваний, и выявление личностных особенностей, и определение уровня агрессии и много всякого другого.
Даже Хиббард, который критикует Лилиенфелда (это автор одного из самых цитируемых мета-анализов по валидности проективных тестов, №1 в нашем сегодняшнем списке литературы), признаёт, что у него нет данных, которые могли бы доказать валидность ТАТа, «Рисунка человека» и Роршаха. Нужно больше исследований.
В общем, резюмируя, вынужден признать, что на сегодня нет каких-то весомых подтверждений того, что проективные тесты обладают приемлемым уровнем валидности (хотя отдельные исследования показывают, что это так, но там, как правило, с дизайном не всё хорошо — то выборка маленькая, то критерии оценки мутные, то ещё что).
Я благодарен читателю, задавшему вопрос о валидности и надёжности проективных методик за то, что он сподвиг меня выйти из уютненького мирка отечественных учебников и посмотреть на то, как обстоят дела на самом деле. В который раз убеждаюсь, что верить учебникам можно далеко не всегда, и лучше самому всё перепроверять.
P.s.: Буду рад, если кто-то из читателей предоставит опровергающую информацию, т.к. я не исключаю того, что она есть, просто я её не нашёл.
Что почитать:
1. Lilienfeld, S. O., Wood, J. M., & Garb, H. N. (2000). The scientific status of projective techniques. Psychological Science in the Public Interest, 1(2), 27-66.
2. Wildman, R.W., & Wildman, R.W. II. (1975). An investigation into the comparative validity of several diagnostic tests and test batteries. Journal of Clinical Psychology, 31, 455-458
3. Jenkins, S. R. (2008). Introduction: Why «score» TATs, anyway?. In S. R. Jenkins & (Eds.), A handbook of clinical scoring systems for the Thematic Apperception Test. New York, NY: Taylor and Francis Group.
4. Imuta, Kana; et al. (2013). «Drawing a Close to the Use of Human Figure Drawings as a Projective Measure of Intelligence». PLOS ONE. 8 (3): e58991. doi:10.1371/journal.pone.0058991
5. https://www.ncbi.nlm.nih.gov/pubmed/1556206
6. https://www.ncbi.nlm.nih.gov/pubmed/23516590
8. Щербатых Ю.В. ПРОВЕРКА ВАЛИДНОСТИ ПРОЕКТИВНОГО ТЕСТА НА АГРЕССИЮ (НА ПРИМЕРЕ ТЕСТА «РИСУНОК НЕСУЩЕСТВУЮЩЕГО ЖИВОТНОГО»). Социосфера. Номер: 1 Год: 2017 Страницы: 111-116.
9. http://psyjournals.ru/files/72911/exp_2014_n4_Valyavko.pdf
10. A Critique of Lilienfeld et al.’s (2000) «The Scientific Status of Projective Techniques». Stephen Hibbard. Journal of Personality Assessment Vol. 80 , Iss. 3,2003
11. Mihura, J. L., Meyer, G. J., Dumitrascu, N., & Bombel, G. (2013). The validity of individual Rorschach variables: Systematic reviews and meta-analyses of the comprehensive system. Psychological Bulletin, 139(3), 548-605. http://dx.doi.org/10.1037/a0029406
Виталий Лобанов
Достаточно скептически относится к психологии и смежным дисциплинам, искренне считая, что имеет на это все основания.
Не имеет определённой профессиональной принадлежности, одинаково не доверяя гештальтистам, КПТ-шникам, психоаналитикам и даже бихевиористам. Однако в работе считает возможным использование наработок из любых (ну, может быть, кроме совсем уж эзотерических) направлений.
Имеет опыт пребывания в психиатрическом стационаре, с последующим самостоятельным преодолением последствий этого самого опыта. Работает онлайн, иногда пишет довольно упоротые тексты на этом сайте.
Запись на консультацию к Виталию доступна по ссылке: https://calendly.com/vitaliy_lobanov/