Процедуры множественных проверок гипотез: поправка Бонферрони и метод Холма

Предыдущее сообщение представляло собой небольшое введение в проблему множественных проверок статистических гипотез. Вкратце, проблема заключается в том, что при одновременной проверке большого числа гипотез на том же наборе данных вероятность сделать неверное заключение в отношении хотя бы одной из этих гипотез значительно превышает изначально принятый уровень значимости (обычно \(\alpha = 0.05\)). Для устранения этого эффекта существует большой арсенал методов, различающихся по своей мощности и применимости в разных ситуациях. В этом сообщении будет рассмотрен один из наиболее известных таких методов - поправка Бонферрони. Кроме того, будет описан метод Холма, который представляет собой модификацию подхода, предложенного Бонферрони.

Групповая вероятность ошибки (первого рода)

Прежде чем начать рассмотрение процедур множественной проверки статистических гипотез, стоит разобраться с тем, для чего именно эти процедуры служат с математической точки зрения. Предположим, что мы проверяем истинность \(m\) нулевых гипотез, которые можно обозначить как \(H_1, H_2, H_3, \dots, H_m\). В отношении каждой из этих гипотез мы применяем определенный статистический критерий (например, t-критерий Стьюдента) и делаем заключение о том, верна ли она (т.е. выполняем \(m\) одинаковых тестов на одних и тех же данных и либо принимаем, либо отвергаем каждую гипотезу). Результаты такого анализа можно свести в таблицу следующего вида:

	Число принятых гипотез	Число отвергнутых гипотез	Всего
Число верных гипотез	\(U\)	\(V\)	\(m_0\)
Число неверных гипотез	\(T\)	\(S\)	\(m - m_0\)
Всего	\(W\)	\(R\)	\(m\)

В этой таблице

• \(m_0\) - число верных нулевых гипотез (англ. true null hypotheses); 
• \(m - m_0\) - число истинных альтернативных гипотез (true alternative hypotheses); 
• \(U\) - число безошибочно принятых гипотез (true negatives); 
• \(V\) - число ошибочно отвергнутых гипотез (false positives) (ошибка первого рода); 
• \(T\) - число ошибочно принятых гипотез (false negatives) (ошибка второго рода); 
• \(S\) - число безошибочно отвергнутых гипотез; 
• \(W\) - общее число принятых гипотез; 
• \(R\) - общее число отвергнутых гипотез.

Представленную таблицу следует читать следующим образом. В первой строке мы видим, что всего имеется \(m_0\) верных нулевых гипотез. В ходе выполнения анализа определенная их часть ошибочно отвергается (\(V\)), тогда как остальные \(U\) гипотез классифицируются правильно. Аналогично, во второй строке мы видим, что всего имеется \(m - m_0\) альтернативных гипотез, из которых в ходе анализа \(S\) гипотез безошибочно отвергаются, а \(T\) гипотез - ошибочно принимаются. Обратите внимание на то, что общие количества отвергнутых (\(R\)) и принятых (\(W\)) гипотез нам известны, тогда как \(m_0\), \(U\), \(V\), \(T\) и \(S\) - ненаблюдаемые случайные величины.

Таким образом, при одновременной проверке группы (или "семейства", англ. family) статистических гипотез задача заключается в том, чтобы минимизировать число ложных отклонений \(V\) и ложных принятий \(T\). Традиционно исследователи пытаются минимизировать величину \(V\). Если \(V \geq 1 \), мы совершаем как минимум одну ошибку первого рода. Вероятность допущения такой ошибки при множественной проверке гипотез называют "групповой вероятностью ошибки" (англ. "familywise error rate", FWER; реже используется термин "experiment-wise error rate"). По определению, \(FWER = P(V \geq 1)\). Соответственно, когда мы говорим, что хотим контролировать групповую вероятность ошибки на определенном уровне значимости \( \alpha \), мы подразумеваем, что должно выполняться неравенство \(FWER \leq \alpha\). Методы множественной проверки гипотез как раз и позволяют обеспечивать этот контроль.

Поправка Бонферрони

Метод Бонферрони (назван так в честь предложившего его итальянского математика Карло Эмилио Бонферрони; Carlo Emilio Boferroni) является одним из наиболее простых и известных способов контроля над групповой вероятностью ошибки.

Предположим, что мы применили определенный статистический критерий 3 раза (например, сравнили при помощи критерия Стьюдента средние значения групп А и В, А и С, и В и С) и получили следующие три Р-значения: 0.01, 0.02 и 0.005. Если мы хотим, чтобы групповая вероятность ошибки при этом не превышала определенный уровень значимости \(\alpha\) (например, 0.05), то, согласно методу Бонферрони, мы должны сравнить каждое из полученных Р-значений не с \(\alpha\), а с \(\alpha/m\), где \(m\) - число проверяемых гипотез. Деление исходного уровня значимости \(\alpha\) на \(m\) - это и есть поправка Бонферрони. В рассматриваемом примере каждое из полученных Р-значений необходимо было бы сравнить с 0.05/3 = 0.017. В результате мы выяснили бы, что Р-значение для второй гипотезы (0.02) превышает 0.017 и, соответственно, у нас не было бы оснований отвергнуть эту гипотезу.

Вместо деления изначально принятого уровня значимости на число проверяемых гипотез, мы могли бы умножить каждое из исходных Р-значений на это число. Сравнив такие скорректированные Р-значения (англ. adjusted P-values; обычно обозначаются буквой q) с \(\alpha\), мы пришли бы к точно тем же выводам, что и при использовании поправки Бонферрони:

• 0.01 * 3 = 0.03 < 0.05: гипотеза отклоняется;
• 0.02 * 3 = 0.06 > 0.05: гипотеза принимается;
• 0.005 * 3 = 0.015 < 0.05: гипотеза отклоняется.

В ряде случаев при умножении исходных Р-значений на уровень значимости результат может превысить 1. По определению, вероятность не может быть больше 1, и если это происходит, то получаемое значение просто приравнивают к 1.

В базовой версии R имеется функция p.adjust(), которая позволяет легко применять как метод Бонферрони, так и ряд других методов, обеспечивающих контроль групповой вероятности ошибки на определенном уровне (задаются при помощи аргумента method). При реализации метода Бонферрони с помощью этой функции применяется второй из описанных выше подходов, т.е. исходные Р-значения умножаются на число проверяемых гипотез. Функция p.adjust() принимает вектор с исходными Р-значениями и возвращает скорректированные значения:

# Скорректированные Р-значения:
p.adjust(c(0.01, 0.02, 0.005), method = "bonferroni")
[1] 0.030 0.060 0.015
 
# Какие из проверяемых гипотез следует отвергнуть?
alpha <- 0.05
p.adjust(c(0.01, 0.02, 0.005), method = "bonferroni") < alpha
[1]  TRUE FALSE  TRUE

Хотя метод Бонферрони очень прост в реализации, он обладает одним существенным недостатком: при возрастании числа проверяемых гипотез мощность этого метода резко снижается. Другими словами, при возрастании числа гипотез нам будет все сложнее и сложнее отвернуть многие из них, даже если они неверны и должны быть отвергнуты. Например, при проверке 10 гипотез, применение поправки Бонферрони привело бы к снижению исходного уровня значимости до 0.05/10 = 0.005. Соответственно, для отклонения той или иной гипотезы, соответствующие Р-значения должны были бы оказаться меньше 0.005, что случалось бы нечасто. В связи с этим метод Бонферрони не рекомендуется использовать, если число проверяемых гипотез превышает 7-8.

Метод Холма

Для преодоления проблем, связанных с низкой мощностью метода Бонферрони, в 1978 г. Стур Холм (Holm 1978) предложил гораздо более мощную его модификацию (часто этот метод называют еще методом Холма-Бонферрони). Этот модифицированный метод основан на алгоритме, который включает следующие шаги:

• Исходные Р-значения упорядочиваются по возрастанию: \(p_{(1)} \leq p_{(2)} \leq \dots \leq p_{(m)} \). Эти Р-значения соответствуют проверяемым гипотезам \(H_{(1)}, H_{(2)}, \dots H_{(m)} \).
• Если \(p_{(1)} \geq \alpha/m\), все нулевые гипотезы \(H_{(1)}, H_{(2)}, \dots H_{(m)}\) принимаются и процедура останавливается. Иначе следует отвергнуть гипотезу \(H_{(1)}\) и продолжить.
• Если \(p_{(2)} \geq \alpha/(m - 1)\), нулевые гипотезы \(H_{(2)}, H_{(3)}, \dots H_{(m)}\) принимаются и процедура останавливается. Иначе гипотеза \(H_{(2)}\) отвергается и процедура продолжается.
• ...
• Если \(p_{(m)} \geq \alpha\), нулевая гипотеза \(H_{(m)}\) принимается и процедура останавливается.

Описанную процедуру называют нисходящей (англ. step-down): она начинается с наименьшего P-значения в упорядоченном ряду и последовательно "спускается" вниз к более высоким значениям. На каждом шаге соответствующее значение \(p_{(i)}\) сравнивается со скорректированным уровнем значимости \( \alpha/(m + i -1) \). Как и в случае с поправкой Бонферрони, вместо корректировки уровня значимости мы можем скорректировать непосредственно Р-значения - конечный результат (в смысле принятия или отклонения той или иной гипотезы) окажется идентичным. Соответствующая поправка выполняется в виде \( q_i = p_{(i)} (m + i -1) \). Так, для рассмотренного выше примера с тремя Р-значениями получаем:

• \(q_1 = p_{(1)}(m - 1 + 1) = 0.005*3 =  0.015\)
• \(q_2 = p_{(2)}(m - 2 + 1) = 0.01*2 =  0.02\)
• \(q_3 = p_{(3)}(m - 3 + 1) = 0.02*1 =  0.02\)

Именно последний подход реализован в R-функции p.adjust():

# Скорректированные Р-значения:
p.adjust(c(0.01, 0.02, 0.005), method = "holm")
[1] 0.020 0.020 0.015
# (обратите внимание: функция автоматически упорядочивает
# итоговые Р-значения по убыванию)
 
# Какие из проверяемых гипотез следует отвергнуть?
alpha <- 0.05
p.adjust(c(0.01, 0.02, 0.005), method = "holm") < alpha
[1] TRUE TRUE TRUE

Сравните результаты, полученные при помощи методов Бонферрони и Холма: в последнем случае мы отвергаем все три гипотезы, тогда как при использовании поправки Бонферрони отклонены были бы только две из трех проверяемых гипотез. Этот простой пример подтверждает, что метод Холма обладает большей мощностью, чем метод Бонферрони.

В следующем сообщении я опишу методы, используемые для сравнения групповых средних в ходе выполнении дисперсионного анализа (в частности, критерий Тьюки).