О бесполезности полезного знания

Артемий Охотин

22 марта 2021 г.

Математические методы и доказательные подходы в последние годы успешно внедряются в социальные науки[^[1]], психологию[^[2]] и педагогику[^[3]]. Движение это, получившее сейчас второе дыхание, начиналось еще в позднем СССР[^[4]]. Сейчас стремление к эффективности в медицинском образовании настигло даже студенческие научные общества (СНО), традиционно избегавшие методологического надзора. Участие в них стало частью “портфолио” для поступления в ординатуру, а вместе с этим руководство университета начинает обращать внимание и на их содержание — больше времени рекомендуется уделять не традиционным клиническим разборам, а наукометрии и доказательной медицине[^[5]]. Оценка качества, внешняя валидация и доказательства эффективности становятся атрибутом и частных образовательных инициатив, появляющихся последние годы в России.[^[6]] Тем не менее, современное российское медицинское образование пока еще критикуют за отсутствие доказательности, компетентностного подхода и недостаточное использование новых образовательных технологий, таких как перевернутый класс (flipped classroom).[^[7]]

В связи с такой методологической отсталостью российского медицинского образования автор решил познакомить читателей, а заодно и ознакомиться сам, с тем, на чем базируются современные доказательные подходы в образовании. Поводом послужила доказательная публикация[^[8]] об эффективности одной образовательной инициативы, которая по праву считается одной из лучших и наиболее заметных в ландшафте российского постдипломного образования. Зацепившись за гладкую фразу “исследования показали улучшение критического мышления и эпидемиологических навыков при регулярном участии в журнальных клубах [a,b,c]”, автор прошел по ссылкам a, b, c и решил ознакомиться с этими исследованиями. Из трех ссылок только первая оказалась собственно исследованием, а две другие — мета-анализами таких исследований. Интересно, что количество мета-анализов и систематических обзоров эффективности журнальных клубов сопоставимо по количеству с числом первичных публикаций, посвященных этой теме. Итак, именно о первой приведенной ссылке — рандомизированном испытании эффективности журнальных клубов в образовании резидентов — и пойдет речь дальше.

Исследование

Исследование опубликовано в 1988 г. в одном из ведущих медицинских журналов — Journal of American Medical Association (JAMA).

На статью ссылаются 109 раз[^[9]], в том числе называют ее seminal paper[^[10]], то есть публикацией, задающей целое направление исследований. В большинстве ссылок, за редкими исключениями, статью приводят как доказательство эффективности журнальных клубов.

Итак, вот эта статья:

Linzer, M. (1988). Impact of a Medical Journal Club on House-Staff Reading Habits, Knowledge, and Critical Appraisal Skills. JAMA, 260(17), 2537. https://doi.org/10.1001/jama.1988.03410170085039

Разберем ее по схеме PICO в соответствии с правилами доказательной медицины.

Исследование было рандомизированным, проводилось частичное ослепление — резиденты не знали, в чем именно будет состоять интервенция. Исходные характеристики резидентов были сопоставимы.

Исходы

Изменение читательских привычек

Читать стали меньше в обеих группах (примерно на 2 статьи в месяц), подписок на журналы стало чуть больше в обеих группах (в среднем на полподписки), дочитывание статей до конца не изменилось в обеих группах. А вот самооценка отличалась очень сильно: 86% опрошенных в группе журнальных клубов сказали, что они стали по-другому читать статьи, а в группе обычных лекций никто так не сказал (p < 0,01). В группе журнальных клубов 80% сказали, что они по-другому стали внедрять результаты прочитанного в клиническую практику, против всего 44% в контрольной группе (p = 0,02).[^[11]]

Изменение знания и критического мышления.

Знание статистики и эпидемиологии оценивалось тестом из 15 вопросов, по 1 баллу за каждый вопрос. Оно улучшилось в группе журнальных клубов сильнее, чем в контрольной группе: на 1,5 балла (с 9,3 до 10,8) против 0,3 баллов в контрольной группе (с 10,0 до 10,3), p = 0,04. Заметной была разница в “проценте улучшения” (к сожалению, в статье не пояснено, как считался этот показатель) — 25% против 0% (p = 0,02).

Критическая оценка статьи (максимум 18 баллов) в группе журнального клуба выросла на 0,5 балла, а в группе контроля на 1,7 балла. “Процент улучшения” составил 3% в группе журнальных клубов и 11% в группе контроля, но эти отличия к счастью не достигли статистической значимости из-за высокой вариабельности оценок разными оценивающими (p = 0,09 и p = 0,15).

Кроме того, в группе журнальных клубов отмечалась дозозависимость: чем больше резидент посетил клубов, тем лучше были его знания, но это не точно (p = 0,07). В группе обычных лекций такой зависимости не было (см. Рис. 1).

На этом в целом весьма убедительном графике дозозависимости смущает только одна точка — резидент, который пришел только на три журнальных клуба, но снизил свои знания сразу на 4 балла. Впрочем, странный резидент есть и в контрольной группе — тот, который сходил на одну чисто клиническую лекцию, и сразу улучшил свои знания по доказательной медицине на целых 4 балла. Если первого исключить из резидентуры, а второму сразу дать диплом по доказательной медицине, то графики окажутся одинаковыми (см. Рис. 2).

Придирчивому читателю это может показаться манипуляцией данными. Так и есть, но эта манипуляция широко используется для оценки надежности выводов, сделанных из данных, и носит название “индекса хрупкости исследования” (fragility index)[^[13]]. Индекс хрупкости равен числу исходов, которые достаточно устранить, чтобы потерять статистическую значимость. Индекс хрупкости, по очевидным причинам, обратно коррелирует с величиной p и, честно говоря, не имеет больших преимуществ перед p[^[14]]. Если индекс хрупкости равен 1, как в нашем случае, то данные ненадежны, о чем говорит и p = 0,07 (хотя тут он, строго говоря, равен 0, поскольку p исходно больше 0,05). Заметим также, что на втором графике у авторов статьи только 18 точек, а резидентов в контрольной группе — 19, возможно воспользовавшись небольшим индексом хрупкости одного резидента убрали авторы статьи[^[15]].

Выводы

Таким образом, полученные данные говорят нам, что если резидентов учить критическому анализу статей, то они будут говорить, что стали лучше критически анализировать статьи. Можно ли считать это исследование “положительным”? Добавило ли оно нам новых знаний? Да, теперь мы знаем, что это были хорошо воспитанные резиденты, благодарные своим учителям. Научились ли они чему-то на самом деле, из статьи мы не знаем, хотя наверняка научились, просто потому что так устроены резиденты — они учатся.

Является ли этот результат неожиданным и достойным опубликования? Конечно, 109 ссылок и внутреннее рецензирование JAMA не могут ошибаться. Но представим себе, что исследование было бы методически безупречным и смогло бы продемонстрировать пользу журнальных клубов. Поменяли бы мы свою практику? Нет, мы и так проводим журнальные клубы (или сожалеем, что не проводим). Если бы результат оказался убедительно отрицательным, отменили бы мы журнальные клубы? Нет, потому что их проводил сэр Уильям Ослер[^[16]], к тому же это просто интересно и хороший способ поговорить о медицине.

Тем не менее, статья эта представляется очень полезной. Во-первых, теперь мы знаем, что обучение резидентов критическому мышлению совсем не обязательно транслируется в критический анализ собственной научной деятельности. Во-вторых, эта статья — отличный образец для обучения резидентов и врачей критическому восприятию информации. Я бы именно с нее начинал все журнальные клубы во всех резидентурах и ординатурах — это поможет врачам относиться к своим занятиям без звериной серьезности.

Обсуждение

Образование, в том числе медицинское, дело сложное. Мы знаем успешные случаи и примеры для подражания, но почти все они неотделимы от личности учителей и организаторов образования. Попытка разложить медицинское образование на отдельные навыки и компетенции с оценкой их эффективности сродни литературной или художественной критике: это может быть интересно, но не создает новых художников и поэтов. Сама идея расчленения образования и науки на полезные элементы и бесполезные не только сомнительна, но и опасна. Она превращает врача в техника, владеющего набором манипуляций, к тому же выбранных теми, кто плохо понимает собственно в медицине. В применении к науке об опасности оценки эффективности пишет один из главных реформаторов и создателей современной американской резидентуры Абрахам Флекснер в эссе “О пользе бесполезного знания”[^[17]]: “...если посмотреть в перспективе ста или двухсот лет, то вклад профессиональных школ в соответствующие профессии вероятно будет обусловлен не столько тренировкой  завтрашних юристов, экономистов или врачей, сколько той внешне бесполезной деятельностью, которая сопровождает обучение. Эта бесполезная деятельность порождает открытия, которые окажутся для человечества куда полезней, чем те практические задачи, ради которых эти школы затевались.”

К сожалению, справедливость этого суждения подтверждается новейшей историей российского медицинского образования: поставив себе практические цели и отделив науку от образования в стремлении обеспечить страну врачами-практиками, мы сначала потеряли медицинскую науку, а за ней медицинское образование и саму медицину.[^[18]]

Предстоящая работа по восстановлению медицинского образования видится не в бесконечном измерении и ежедневном пересаживании из горшка в горшок сухих ростков будущего, а в предоставлении свободы заниматься образованием тем, кто разбирается в предмете, не только в медицинских ВУЗах, но и за их пределами. А измерять можно будет потом, когда и если хоть что-то начнет цвести.