Центральный статистический мониторинг
Данные каждого центра против остальных: методы, порог при многих тестах, что значит каждая находка и её ограничения.
Центральный статистический мониторинг сравнивает данные каждого центра с данными остальных центров, чтобы монитор видел, где данные центра выглядят иначе, и мог спросить почему. ICH E6(R3) (3.11.4) просит центральный мониторинг смотреть на диапазон, согласованность и изменчивость данных внутри центров и между ними; методы здесь — классические методы литературы (Venet и соавт., 2012; Kirkwood и соавт., 2013; позиционный документ TransCelerate, 2013). Ничего не обучается и не угадывается: одни и те же данные всегда дают одни и те же находки, и каждая находка говорит, как она получена.
Откройте Центральный мониторинг в меню исследования или кнопкой с тем же названием на странице Риск центров. Тесты каждый раз заново считаются по живым данным (в большом исследовании результат хранится 10 минут).
Методы
Каждый центр сравнивается со всеми остальными центрами вместе. Смотрятся числовые поля всех форм, кроме вычисляемых (они повторяют поля, из которых считаются) и форм для расслеплённой команды.
| Метод | Что сравнивается | Тест | Для находки ещё нужно |
|---|---|---|---|
| Значения далеко от других центров | медиана первого значения каждого пациента в центре и в остальных центрах | робастный z: разница, делённая на её стандартную ошибку из медианного абсолютного отклонения (MAD) всех пациентов | разница не меньше половины робастного стандартного отклонения; не меньше 3 центров с достаточными данными |
| Слишком гладко: малый разброс | дисперсия всех значений центра и остальных центров (значения с модифицированным z выше 3,5 не учитываются с обеих сторон) | F-тест, степени свободы = пациенты − 1 (меньше, чем значений: консервативно) | дисперсия центра не больше половины дисперсии остальных |
| Слишком гладко: одно значение у многих пациентов | значение, которое встречается у большего числа пациентов центра | биномиальный, против большей из долей: пациентов остальных центров с этим значением и с их собственным самым частым значением; умножается на число разных значений в центре | не меньше 3 пациентов и 30% пациентов центра |
| Предпочтение цифр | последняя цифра измеренных значений (давление, вес, пульс…), каждое разное значение пациента один раз | хи-квадрат против десяти равных долей, 9 степеней свободы, от 50 значений | самая частая цифра не меньше чем в 15% значений; если остальные центры предпочитают те же цифры, центр должен ещё и отличаться от них |
| Тренд во времени | первое значение каждого пациента по дню включения: наклон в центре и в остальных центрах | разница наклонов, делённая на её стандартную ошибку, t Стьюдента с n − 2 степенями свободы | изменение за время набора в центре не меньше половины стандартного отклонения, набор не короче 60 дней; не меньше 3 центров с достаточными данными |
| Частоты | нежелательные явления на пациента, выбывания, запросы на страницу, пропущенные значения | Пуассона (НЯ, запросы) или биномиальный (выбывания, пропуски) против частоты остальных центров | в 1,5 раза выше частоты остальных (для НЯ — вдвое ниже или меньше: меньше значит хуже) |
Цифры проверяются только в полях, значения которых охватывают не меньше 30 шагов последней цифры в центре (от 5-го до 95-го процентиля): шкала 0–10 — это не измерение, а в таком узком диапазоне последние цифры не распределяются равномерно, поэтому такой центр попадает в «не оценено». Тренд считается для ключевых полей исследования (отмеченных в eCRF как критичные) или для всех числовых полей, если ни одно не отмечено. Частоты используют те же счётчики, что показатели оценки риска (выбывания, запросы на 10 страниц, сообщения о НЯ), и правило полноты отчёта о качестве данных: здесь их проверяют тестом против остальных центров, там сравнивают с порогами.
Много тестов и порог
Исследование с 60 числовыми полями и 5 центрами даёт больше тысячи тестов. При обычном 0,05 около пятидесяти из них выглядели бы «значимыми» просто случайно. Поэтому результат считается находкой, только если p меньше 0,05, делённого на число тестов (поправка Бонферрони): при 1000 тестов порог 0,00005. Страница показывает число тестов и порог, каждая находка — своё p. Порог учитывает все тесты исследования, какие бы центры ни видел читатель, поэтому два человека никогда не видят разных вердиктов.
Поправка консервативна: находка редко бывает случайной, но небольшую настоящую разницу можно не увидеть. Поэтому находке нужна ещё и достаточно большая разница (правый столбец выше): в большом исследовании крошечный сдвиг может быть «значимым» и ничего не значить.
Мало данных
Центр с малым числом пациентов нельзя оценить: два пациента с одинаковым давлением ничего не значат. Меньше 5 пациентов (настройка), меньше 50 значений для теста цифр, меньше 5 пациентов или 60 дней набора для тренда — и центр получает мало данных вместо вердикта. Список «Не оценено из-за нехватки данных» внизу страницы говорит, чего не хватило каждому центру. Оба числа задаются в Риск центров → Пороги (раздел «Центральный статистический мониторинг»), их изменения попадают в аудит.
Как читать находку
Каждая находка — карточка: центр, метод, поле и его форма, затем простыми словами — что сравнивалось, числа, n и p против порога. График показывает центр синим против остальных центров вместе серым; наведите на метку, чтобы увидеть точные числа.
- Диапазон (значения далеко от других, малый разброс): точка — медиана, полоса — квартили, линия — от 10-го до 90-го перцентиля.
- Цифры: доля каждой последней цифры в центре и в остальных центрах; пунктир — 10% при равномерных цифрах.
- Тренд: среднее первое значение пациентов, включённых в каждый месяц, с прямыми центра (сплошная) и остальных центров (пунктир).
- Полосы (одно значение, частоты): доля или частота центра рядом с остальными центрами.
Отметка находки
Монитор, дата-менеджер или администратор проекта открывает под находкой Отметить просмотр или превратить в действие и пишет, что посмотрел и к какому выводу пришёл. Отметить просмотренной закрывает её: комментарий, автор, время и числа того момента сохраняются, и находка уходит из списка «Ещё не просмотрено» (выберите «Все находки», чтобы её увидеть). Превратить в действие ещё и записывает разбор риска центра с решением (наблюдать, связаться с центром, визит мониторинга, передать спонсору): он появляется среди разборов центра на странице «Риск центров». Обе записи попадают в аудит («Отмечена находка центрального мониторинга») и никогда не меняются; позже можно добавить новую отметку, а карточка скажет, если числа с тех пор изменились.
В оценке риска центра
В оценке риска есть показатель Находки центрального мониторинга: ещё не проверенные находки центра. Его вес 0, поэтому по умолчанию он не учитывается. Если план мониторинга использует статистическую проверку, дайте ему вес в Риск центров → Пороги: внимание от 1 находки, сигнал от 3. Страница центра в оценке риска перечисляет его находки со ссылкой на графики.
Заслепление и кто что видит
- Группа рандомизации никогда не читается. Формы для расслеплённой команды не учитываются всегда, кто бы ни смотрел, поэтому проверка не может раскрыть группы.
- Пациенты, отозвавшие согласие на использование данных, не учитываются.
- Страница показывает только числа по центрам, без пациентов. Её может читать наблюдатель спонсора; исследователь её не видит.
- Монитор, ограниченный своими центрами, видит только их находки; графики показывают остальные центры только вместе и никогда по названию.
- Отмечать может тот, у кого есть право записывать разбор риска центра (администратор, дата-менеджер, монитор); после закрытия базы отмечать нельзя.
Ограничения
- Тесты предполагают примерно колоколообразные значения. Сильно скошенные значения (некоторые анализы) могут дать находку, которую график сразу объясняет.
- Значения одного пациента не независимы. Там, где это важно, тесты считают пациентов, а не значения (первое значение, степени свободы, разные значения для цифр), поэтому они на безопасной стороне.
- Центр, который отличается, — не обязательно центр, который обманывает. Другая популяция (специализированный центр), другой прибор (весы с шагом 0,5 кг предпочитают 0 и 5), другой сезон: посмотрите источник, прежде чем решать.
- При двух центрах двустороннее сравнение отметило бы оба одинаково: каждый — «остальные» для другого. Поэтому значения далеко от остальных и тренды требуют не меньше 3 центров с достаточными данными; иначе они попадают в «Не оценено из-за нехватки данных» с причиной. Односторонние тесты (малый разброс, одно значение, цифры, частоты в худшую сторону) оценивают и два центра.
- До запуска исследования учитываются и тестовые пациенты.