Как читать этот справочник

Одна страница на все обозначения: что означают шесть вердиктов, откуда берутся метки в паспорте вещества, как устроена шкала качества доказательств и почему собственный удачный опыт приёма добавки не является доказательством её эффективности.

Шесть вердиктов

У каждого вещества в справочнике стоит ровно один вердикт. Значок, цвет и подпись всегда дублируют друг друга, поэтому вердикт нельзя прочитать неправильно и он остаётся понятным при чёрно-белой печати.

Работает
Эффект подтверждён качественными исследованиями и достаточно велик, чтобы человек его заметил. Ставится редко: во всём справочнике таких позиций около полутора десятков, и почти все они — не добавки.
Своя ниша
Работает, но только при определённом состоянии, в определённое время суток или у определённой группы людей. За пределами ниши пользы нет. Классический пример — мелатонин: средство перевода внутренних часов, а не снотворное.
Слабо
Одно из двух: либо эффект статистически существует, но слишком мал, чтобы его заметить, либо он получен в исследованиях, которым нельзя вполне доверять. Ощутимой пользы ждать не стоит, но и вреда обычно нет.
Не работает
Проверено в нормальных условиях, эффекта нет. Важное отличие от следующего пункта: это не «пока не доказано», это отрицательный результат — исследование было, и оно провалилось.
Не изучено
Исследований на людях с измерением сна нет вообще или почти нет. Продаётся и обсуждается, но проверено не было. Отсутствие доказательств вреда здесь тоже не значит ничего: его просто никто не искал.
Риск выше пользы
Вред доказан или вероятен и перевешивает то немногое, что вещество даёт. Отдельно помечено, если опасность связана не с самим веществом, а с тем, что продаётся рядом с ним под похожим названием.

Вердикт всегда относится к сну. Вещество может иметь другой, куда более убедительный профиль по другому показанию: у теанина база по тревоге сильнее, чем по сну, а у витамина D основное показание вообще не связано со сном.

Метки-атрибуты

Вердикт отвечает на вопрос «работает ли», метки — на вопрос «откуда мы это знаем». Они стоят в паспорте вещества и иногда в тексте. Подпись у метки всегда текстовая, цвет лишь дублирует смысл.

Чем измеряли

Есть данные полисомнографии
Эффект проверялся приборной регистрацией сна — полисомнографией или ЭЭГ. Такие данные не зависят от ожиданий участника, и это самая ценная метка в справочнике.
Только опросники
Все результаты получены из анкет и дневников. Это не делает их бесполезными, но такие результаты чувствительны к ожиданиям. Ключевое наблюдение всего справочника: там, где появляется приборное измерение, эффект добавок обычно исчезает.

Кто платил

Независимое финансирование
Исследование оплачено государственным фондом, университетом или независимой организацией.
Финансирование производителя
Оплачено тем, кто продаёт вещество, либо авторы являются сотрудниками производителя. В теме добавок для сна это не фоновый шум, а устройство всей области, поэтому метка проставляется всегда, когда это известно.

Что говорят клинические руководства

Рекомендовано
Вещество упомянуто в клиническом руководстве с рекомендацией «за». Рядом всегда указано, кем и по какому показанию: рекомендация «за» при сбитом режиме не переносится на бессонницу.
Рекомендовано против
Руководство прямо предлагает не использовать вещество по этому показанию. Важная тонкость: чаще всего такая формулировка означает «доказательств пользы недостаточно», а не «доказан вред».

Статус и предупреждения

Рецептурный
Отпускается по рецепту хотя бы в части стран. Доступность препаратов сильно различается: часть упомянутого существует лишь на отдельных рынках.
Короткое предупреждение
Сжатая формулировка конкретного риска — например «опасен при доступности детям». Развёрнутое объяснение всегда есть в тексте страницы.
Нейтральная метка
Уточнение без оценочного знака: форма выпуска, особенность дозирования, оговорка о применимости.

Шкала качества доказательств

Иногда рядом с описанием измерений стоит полоска из четырёх сегментов. Это GRADE — международная система оценки того, насколько можно доверять полученной оценке эффекта. Она оценивает не размер эффекта, а надёжность самой цифры.

Очень низкое
Истинный эффект, вероятно, существенно отличается от полученной оценки. Практически это значит, что цифру нельзя использовать как основание решения.
Низкое
Уверенность в оценке ограничена: истинный эффект может заметно отличаться. Типичная ситуация для добавок — мало исследований, все небольшие, часть с конфликтом интересов.
Умеренное
Оценке можно доверять, хотя дальнейшие исследования способны её изменить. В этом справочнике такого уровня достигает, например, обзор по железу при синдроме беспокойных ног.
Высокое
Дальнейшие исследования вряд ли изменят оценку. В теме сна встречается редко.

Понижение качества — обычное дело, и авторы руководств это признают

В клиническом руководстве по фармакотерапии бессонницы 2017 года все без исключения рекомендации имеют статус слабых, а качество доказательств — от низкого до очень низкого. Собственная формулировка авторов: понижение качества предсказуемо в этой системе из-за источника финансирования большинства клинических испытаний лекарств. Это относится не только к добавкам, но и к рецептурным препаратам.

Как устроен паспорт вещества

На каждой странице вещества сразу после вводного абзаца стоит блок-паспорт: вердикт, одна фраза о сути и семь полей. Устроены они так.

ПолеЧто в нём написано и как это читать
Что делает на самом деле Механизм и реальный результат, без маркетинговых формулировок. Здесь же обычно стоит главная цифра — например «сокращает засыпание в среднем на 7 минут»
Чем измеряли Метки приборного или опросникового измерения, иногда со шкалой качества доказательств. Первое, на что стоит смотреть: положительный результат «только по опросникам» и положительный результат «по полисомнографии» — утверждения разного веса
Кто платил Источник финансирования ключевых исследований и аффилиация авторов, с пояснением. Если база целиком принадлежит производителю, это сказано прямо
Клинические руководства Что говорят профильные организации, с указанием показания. Если вещество в руководствах не упоминается — так и написано: «Не упоминается»
Доза и время Дозы и схема из исследований, а не с этикетки. Для веществ, которые принимать не стоит, поле честно заполнено как «Не применимо»
Чем платим Побочные эффекты, взаимодействия с лекарствами, риски при отдельных состояниях. Раздел заполняется даже там, где платить почти нечем
Статус Без рецепта, по рецепту или различается по странам

Кроме паспорта на страницах встречаются сворачивающиеся врезки «Технические детали». Туда убрана методология: разбор дизайна исследований, статистика, объяснение того, как считался размер эффекта. Основной текст читается без них, но всё существенное для проверки выводов лежит именно там.

Как мы оценивали данные

Каждое вещество проверялось по шести признакам:

  1. Случайное распределение по группам. В рандомизированном исследовании участников делят на группы жребием — только это уравнивает группы и позволяет приписать разницу самому веществу.
  2. Характер сравнения. С плацебо, с активным препаратом или вообще без контроля. Исследование «до и после» без контрольной группы доказательством эффективности не является.
  3. Заранее объявленные показатели. Если главный результат получен не по тому показателю, который объявляли до начала, а по одному из побочных, вероятность случайной находки резко возрастает.
  4. Доля выбывших участников. Люди, бросившие исследование, обычно уходят не случайно, и при большом отсеве оставшаяся картина систематически приукрашена.
  5. Финансирование и конфликт интересов. Кто оплатил работу и кем работают авторы.
  6. Воспроизводимость независимыми группами. Один положительный результат — гипотеза. Повторённый другими людьми в другой стране — факт.

К ним добавлены два признака, которые в теме сна решают всё.

Приборное измерение против опросника

Приборная регистрация и опросники расходятся систематически. Валериана — хрестоматийный случай: субъективно люди довольны, объективно не меняется ничего. Поэтому в справочнике эти два типа результата всегда разделены, и сравнивать между собой можно только однотипные.

Клиническая значимость против статистической

Результат может быть статистически достоверным и при этом слишком маленьким, чтобы человек его почувствовал. Именно в этот зазор попадает большинство добавок: эффект есть, он реален, и он не заметен.

Почему «мне помогло» не доказательство

Это не придирка к личному опыту, а объяснение того, почему исследования вообще устроены так сложно. Когда человек начинает что-то принимать и ему становится лучше, у улучшения есть минимум четыре причины помимо самого вещества.

Эффект плацебо
В исследованиях сна он особенно велик: в группе плацебо шкала тяжести бессонницы улучшается на 2–3 балла сама по себе.
Регрессия к среднему
За средство берутся в худшую свою неделю. После худшей недели в среднем становится лучше — независимо от того, принимали вы что-нибудь или нет.
Естественное течение
Бессонница волнообразна. Плохие периоды заканчиваются сами, и окончание совпадает с началом приёма ровно так же часто, как с чем угодно другим.
Ожидание
Человек, купивший добавку и настроившийся на улучшение, оценивает свои ночи иначе. Именно поэтому опросниковые результаты систематически оптимистичнее приборных.

Что это значит на конкретных числах: пример с магнием

В лучшем исследовании магния разница между группами составила около 1,6 балла по шкале ISI. Но сама группа магния улучшилась на 3,9 балла, а группа плацебо — на 2,3 балла.

Отсюда практический вывод: если вы увидите у себя минус четыре балла, это почти целиком плацебо, регрессия к среднему и естественное течение, а не действие магния. Ваши личные «минус четыре» и есть тот результат, который получали люди на пустышке. Именно поэтому «у меня сработало» и «вещество работает» — разные утверждения.

Что значат цифры

Пять величин, которые встречаются в справочнике чаще всего. Подробные определения — в словаре, здесь коротко о том, как их читать.

ОбозначениеКак читать
Минуты
−22,8 мин
Самая честная величина: насколько в среднем изменился показатель по сравнению с плацебо. Ориентиры: поведенческая терапия сокращает засыпание примерно на 19 минут по дневнику, мелатонин — на 7, рецептурные снотворные дают 13–25
SMD
SMD 0,22
Размер эффекта в безразмерных единицах — нужен, чтобы сравнивать разные шкалы между собой. Ориентиры: 0,2 — малый эффект, 0,5 — средний, 0,8 — большой. Ниже 0,2 человек не замечает практически ничего
Доверительный интервал
95 % ДИ −6,25…−1,31
Диапазон, в котором с вероятностью 95 % лежит истинная величина эффекта. Практическое правило одно: если интервал включает ноль, эффект не доказан. Чем шире интервал, тем менее надёжна оценка
p-значение
p = 0,049
Вероятность получить такой результат случайно; условный порог — 0,05. Значения вроде 0,049 лежат на самой границе и требуют осторожности, особенно если в исследовании измеряли много показателей сразу
GRADE Насколько можно доверять самой оценке. Отвечает не на вопрос «велик ли эффект», а на вопрос «не изменится ли эта цифра, когда появятся новые данные»

Пороги ощутимости

Чтобы понять, много это или мало, нужна точка отсчёта. Для двух главных шкал она такая:

≈ 6
баллов по шкале ISI — примерно столько нужно, чтобы человек назвал изменение улучшением. Шкала от 0 до 28
≈ 3
балла по шкале PSQI — тот же смысл. Шкала от 0 до 21, чем выше балл, тем хуже сон

Для сравнения: типичная добавка даёт разницу с плацебо в 1–2 балла по ISI и 0,7–2,3 балла по PSQI. То есть статистически эффект обнаруживается, а до порога, на котором человек что-то замечает, не дотягивает.

Важная тонкость, из-за которой этими порогами нельзя пользоваться механически

Пороги ощутимости выведены для изменения у одного человека: насколько должен измениться ваш собственный балл, чтобы вы это заметили. А в исследованиях сравнивают разницу между группами, которая по своей природе меньше — часть улучшения есть и в группе плацебо. Поэтому в справочнике порог используется только как ориентир порядка величины, и ни один вывод не строится на нём целиком.

Принцип, которому подчинён весь справочник: непроверенная цифра не может быть основанием вывода. Где данные слабые, это сказано прямо, и статус вещества понижается соответственно.

Термины, ссылки и первоисточники

Слова, подчёркнутые пунктиром, — термины. Наведите на них курсор или коснитесь на телефоне: всплывёт короткое определение со ссылкой на подробное. Полный перечень — в словаре терминов, там же работает поиск по определениям.

Ярлычки со стрелкой — ссылки на первоисточники. Они ведут на PubMed или PubMed Central и открываются в новой вкладке. Полный перечень исследований, на которые опирается справочник, собран на странице «Источники».

Источники