Мне кажется, нужен ещё один пост про доказательную медицину. На этот раз я хочу поговорить о пруфах, которые приводят в качестве доказательства эффективности всяких фуфломицинов (и не только).
Лирическое отступление: заголовок поста намеренно сделан достаточно кликбейтным: сам вопрос «Почему не надо читать пабмед» не совсем корректен, правильно было бы сформулировать его как «Почему не надо читать пабмед невнимательно / некритично» или «Почему не надо читать пабмед, не имея достаточно обширных специальных знаний».
Про источники
Чаще всего мне приходится сталкиваться с ссылками на Pubmed. Это хороший, годный ресурс, но к использованию статей с него в качестве доказательства эффективности того или иного препарата / психотерапевтического метода нужно относиться очень осторожно.
Тому есть две причины: не все статьи, опубликованные там, имеют достаточно высокое качество, чтобы считаться годными пруфами с точки зрения ДМ, и не все статьи, опубликованные там, исследуют вопрос клинической эффективности.
Рассмотрим пример. Для иллюстрации возьмём один из самых любимых общественностью ноотропов — пирацетам. Все ссылки, которые мы тут будем анализировать, приводились где-то на бескрайних просторах Интернетов в качестве «доказательства» эффективности препарата.
Почему не надо читать пабмед [не разбираясь в теме] — на примерах
Пример 1: плохой дизайн исследования
Ссылка: https://www.ncbi.nlm.nih.gov/pubmed/11346373
Якобы, пирацетам эффективен при миоклонии (это такие кратковременны судороги, крайне неприятная штука).
Что плохого в этом исследовании?
Выборка в 11 человек, отсутствие рандомизации, отсутствие плацебо-контроля, параллельное использование антиконвульсантов (которые тоже могли влиять на миоклонию и, собственно, вызвать эффект, который там «обнаружили»).
Пример 2: исследование не того эффекта, который заявлен в доказываемом тезисе.
Ссылка: https://www.ncbi.nlm.nih.gov/pubmed/9527146
Эта статья приводится в качестве пруфа «ноотропного» действия препарата. В чём проблема с ним?
Во-первых, в том, что исследовалось влияние пирацетама на миоклоническую эпилепсию.
А тезис, который «доказывается» эти исследованием заключается в том, что «пирацетам сделает вас умнее». Даже если бы результатом исследования было бы 100% подтверждение эффективности препарата против миоклонической эпилепсии, то это бы вообще никак не доказывало его эффективность в качестве ноотропа.
Ну, и качество исследования — довольно сомнительное, несмотря на громкое название: «a multicentre, randomised, double blind, crossover study comparing the efficacy and safety of three dosages of oral piracetam with placebo».
Во-вторых, исследования с кроссовер-дизайном — это крайне мутная тема (не всегда это плохо, но в них очень любят прятать всякую фигню, лично я отношусь к ним с осторожностью), во-вторых, опять же, 20 человек испытуемых — это ни о чём.
Пример 3: указание в качестве пруфа исследования на животных.
Ссылка: https://www.ncbi.nlm.nih.gov/pubmed/28176051
Что-то там наисследовали на крысках, из чего делают вывод о том, что препарат будет эффективен в лечении воспалительных процессов в ЦНС.
Это типичное когнитивное искажение (jump to conclusion). Из того, что препарат вызывает какие-то изменения в крысах, совершенно не следует, что он обязательно вызовет такие же изменение в людях.
А даже если и вызовет, то не факт, что эти изменения вызовут желаемый клинический эффект. Поэтому исследования на животных не могут являться доказательством клинической эффективности.
Пример 4: вместо исследования клинического эффекта приводится статья, описывающая [предполагаемый] механизм действия.
Ссылка: https://www.ncbi.nlm.nih.gov/pubmed/20163115
Слабость аргумента в том, что любое, даже очень подробное, подкреплённое инструментальными измерениями и внутренне непротиворечивое описание механизма действия не может являться доказательством того, что препарат / методика работает.
У проективных психологических тестов, о которых мы говорили несколько постов назад, тоже есть хорошая непротиворечивая теория работы, однако они — фигня.
Доказательством эффективности может быть только исследование, оценивающее эффективность (да ещё и корректно выполненное).
Пример 5: использование некорректных методов статистической обработки.
Навскидку не нашёл примера про пирацетам, но по другим вопросам они есть. Классика жанра — использование параметрических методов статистики (в частности, критерия Стьюдента) для оценки данных, параметры вероятностного распределения величин которых неизвестны.
Пример 6: приводится некий довод (как правило, исследование на животных, описание механизма работы или статья с клиническим исследованием низкого качества), после чего выдвигается требование: «А теперь докажите, что это не так».
Это неправильно, доказывать, что препарат / метод работает, должны те, кто это утверждает.
Пока они этого не сделают, по умолчанию, он считается неэффективным. Т.е. неправильно требовать доказательств неэффективности, она уже по умолчанию считается доказанной. А вот эффективность — она, да, требует доказательства.
Cochrane.org — Можно ли слепо верить?
Ок, с пабмедом немного разобрались, перейдём к Cochrane.org. Есть мнение, что пруфы на кокрейн — железные. Оно, конечно, так (там действительно очень хорошее качество обзоров и мета-анализов), но и тут нужно быть внимательным.
Чаще всего мне встречалась такая ошибка: в качестве пруфа приводится ссылка на обзор с Cochrane.org, который… ВНЕЗАПНО не доказывает, а то и опровергает тезис, в качестве пруфа к которому он был приведён.
Если пройти по ссылке, то будет видно: обзор доказывает только то, что имеет смысл ещё поисследовать эффективность пирацетама при деменции и когнитивных нарушениях, а не то, что он эффективен для их лечения.
По поводу эффективности там написано совершенно чётко: нет данных, подтверждающих, что использование пирацетама оправдано.
Если вы потратите время, чтобы изучить некоторое количество публикаций Cochrane.org, то обнаружите, что формулировка «недостаточно данных, нужно ещё исследовать» — довольно частое заключение.
Поэтому, если вам привели ссылку на Cochrane в качестве доказательства чего-либо, не поленитесь и посмотрите, что там пишут, хотя бы в разделе Plain Language Summary.
Иногда бывает так, что сторонники некоего препарата / метода приводят ссылку прямо на статью в журнале (а не PMID). В этом случае действуют те же правила, что и для пабмеда.
Про доказательность
Доказанная эффективность некоего препарата / метода для решения определённой задачи — ещё не означает, что вам этот препарат обязательно поможет.
У галоперидола, например, шикарная доказательная база в контексте лечения шизофрении и психозов, но я буду последним человеком, который кому-либо посоветует принимать галоперидол.
Для того, чтобы оценить, насколько конкретный препарат / метод с доказанной эффективностью подходит вам, существуют врачи.
Доказанная эффективность — это хорошо, но есть ещё такая штука, как доказанная безопасность. Ампутация головы — офигенное средство от головной боли, но, опять же, побочки такие, что его сложно рекомендовать для широкого применения.
Бывает так, что по одному и тому же вопросу есть разные мнения: часть исследований показала, что препарат A эффективен при болезни B, часть — что нет.
Это нормально, так бывает — из-за ошибок в исследовании, разных методов обработки, ещё чего-то. Поэтому самая крутая штука — это мета-анализы множества РКИ, выполненные компетентными экспертами. За них мы и любим Cochrane.
Бывает и так, что исследования с противоречивыми результатами есть, а хорошего мета-анализа, расставляющего все точки над и, нет. Во тут открывается широчайшее поле для срачиков в интернетах, где каждый приводит свои пруфы, доказывая, что его аргументы — аргументестее, чем у оппонентов.
Для того, чтобы препарат / метод признать имеющим доказанную эффективность, нужно, чтобы она подтверждалась несколькими независимыми РКИ с ослеплением, рандомизацией и корректной контрольной группой.
Вообще, помимо «есть доказанная эффективность» / «нет доказанной эффективности» существуют градации, но я не вижу смысла пересказывать прекрасную статью c Энциклопатии, лучше дать ссылку: http://encyclopatia.ru/wiki/Доказательная_медицина
Пара слов в защиту тех, кто использует методы без доказанной эффективности
Во-первых, не для всех возможных случаев есть качественные исследования.
Если у вас какая-то хитрая пиздецома, то, вполне вероятно, что методов её лечения, имеющих доказанную эффективность, просто нет.
И тогда врач должен собрать все свои знания, добавить немного профессиональной интуиции и назначить обоснованное лечение (предупредив вас о том, что он использует методы без доказанной эффективности).
Во-вторых, иногда бывает так, что метод / препарат, имеющий доказанную эффективность, нельзя применять. Аллергия у вас на него, например. Или ещё что-то.
В-третьих, вы можете попасть в качестве испытуемого в исследование, в котором эта самая эффективность таки проверяется (организаторы обязаны вас об этом проинформировать).
Получается достаточно сложная ситуация: с одной стороны, да, в идеальном мире следует использовать методы, имеющие эмпирические доказательства эффективности, а с другой, — далеко не всегда они есть (применительно к данному конкретному случаю).
Наверное, имеет смысл смотреть на это всё как на идеал, к которому следует стремиться: достичь его, вероятнее всего, невозможно, но сами идеи, лежащие в основе — не назначать лекарства совсем уж наобум, не пытаться пропихнуть под видом психотерапии абсолютно неадекватные действия — выглядят разумными и логичными.
Виталий Лобанов
Достаточно скептически относится к психологии и смежным дисциплинам, искренне считая, что имеет на это все основания.
Не имеет определённой профессиональной принадлежности, одинаково не доверяя гештальтистам, КПТ-шникам, психоаналитикам и даже бихевиористам. Однако в работе считает возможным использование наработок из любых (ну, может быть, кроме совсем уж эзотерических) направлений.
Имеет опыт пребывания в психиатрическом стационаре, с последующим самостоятельным преодолением последствий этого самого опыта. Работает онлайн, иногда пишет довольно упоротые тексты на этом сайте.
Запись на консультацию к Виталию доступна по ссылке: bootandpencil.com/schedule-appointment/