Pod patronatem:
W analizie statystycznej często testuje się więcej niż jedną hipotezę. Może to dotyczyć porównań wielu grup, wielu punktów końcowych, wielu zmiennych, wielu modeli lub wielu analiz dodatkowych wykonywanych w ramach jednego badania. Problem pojawia się wtedy, gdy każdą hipotezę testujemy osobno przy tym samym poziomie istotności, na przykład α = 0,05.
Dla pojedynczego testu poziom istotności 0,05 oznacza, że akceptujemy 5% ryzyka popełnienia błędu I rodzaju, czyli błędnego odrzucenia hipotezy zerowej. Jeżeli jednak wykonamy wiele testów, prawdopodobieństwo uzyskania co najmniej jednego wyniku istotnego statystycznie tylko przez przypadek rośnie.
Z tego powodu w analizach obejmujących wiele porównań stosuje się odpowiednie korekty wartości p lub poziomu istotności. Do najczęściej wykorzystywanych należą korekta Bonferroniego, metoda Holma oraz metoda Benjamini-Hochberg, związana z kontrolą FDR. Wybór odpowiedniej metody powinien zależeć od celu analizy, liczby porównań oraz konsekwencji ewentualnych wyników fałszywie dodatnich.
Załóżmy, że badacz porównuje trzy grupy pacjentów: grupę kontrolną, grupę otrzymującą leczenie A oraz grupę otrzymującą leczenie B. Jeżeli analizowana jest jedna zmienna, można wykonać trzy porównania parami:
Jeżeli jednak analizowanych jest dziesięć zmiennych, liczba testów rośnie do trzydziestu. W takiej sytuacji nawet przy braku rzeczywistych różnic część wyników może okazać się istotna statystycznie wyłącznie z powodu losowej zmienności danych.
Im więcej wykonujemy testów, tym większe jest ryzyko wyników fałszywie dodatnich. Dlatego nie powinno się interpretować wielu niezależnie obliczonych wartości p tak, jakby każda z nich pochodziła z pojedynczego, odrębnego badania.
Błąd I rodzaju oznacza odrzucenie hipotezy zerowej, mimo że w rzeczywistości jest ona prawdziwa. W praktyce jest to sytuacja, w której analiza wskazuje na istotny statystycznie efekt, chociaż w populacji taki efekt nie występuje.
W kontekście wielu testów często mówi się o FWER, czyli family-wise error rate. Jest to prawdopodobieństwo popełnienia co najmniej jednego błędu I rodzaju w całej rodzinie testów.
Jeżeli celem analizy jest silna ochrona przed jakimkolwiek wynikiem fałszywie dodatnim, stosuje się metody kontrolujące FWER. Do tej grupy należą między innymi korekta Bonferroniego oraz metoda Holma.
Korekta Bonferroniego jest jedną z najprostszych metod stosowanych przy wielokrotnym testowaniu. Polega na podzieleniu przyjętego poziomu istotności przez liczbę wykonywanych testów.
Jeżeli wykonujemy m testów i chcemy kontrolować łączny poziom błędu na poziomie α = 0,05, to pojedynczy wynik uznajemy za istotny, gdy:
Przykładowo, przy 10 testach próg istotności wynosi:
Oznacza to, że wynik o wartości p = 0,03, który przy pojedynczym teście zostałby uznany za istotny statystycznie, po korekcie Bonferroniego nie spełniałby już kryterium istotności.
Korekta Bonferroniego jest prosta, intuicyjna i łatwa do opisania w publikacji. Dobrze sprawdza się wtedy, gdy liczba testów jest niewielka, a badacz chce zachować bardzo ostrożne podejście do wyników.
Główną wadą tej metody jest jej konserwatywność. Przy dużej liczbie porównań próg istotności może stać się bardzo niski, przez co trudniej wykryć rzeczywiste różnice. W efekcie rośnie ryzyko błędu II rodzaju, czyli sytuacji, w której nie wykrywamy efektu, mimo że on istnieje.
Metoda Holma, nazywana także metodą Holm-Bonferroni, również kontroluje FWER, ale jest mniej konserwatywna niż klasyczna korekta Bonferroniego.
Procedura Holma opiera się na uporządkowaniu wartości p od najmniejszej do największej. Najmniejszą wartość p porównuje się z najbardziej restrykcyjnym progiem, a kolejne wartości p z progami coraz mniej restrykcyjnymi.
Dla m testów najmniejszą wartość p porównuje się z progiem:
Drugą najmniejszą wartość p porównuje się z progiem:
Kolejne wartości p porównuje się analogicznie z coraz mniej restrykcyjnymi progami.
Dzięki temu metoda Holma zachowuje kontrolę nad ryzykiem błędu I rodzaju w całej rodzinie testów, ale daje większą szansę wykrycia rzeczywistych efektów niż klasyczna korekta Bonferroniego.
W praktyce metoda Holma jest często preferowana względem prostej korekty Bonferroniego, zwłaszcza gdy zależy nam na kontroli FWER, ale nie chcemy stosować nadmiernie konserwatywnego podejścia.
W niektórych analizach celem nie jest uniknięcie każdego pojedynczego wyniku fałszywie dodatniego, ale kontrolowanie odsetka fałszywych odkryć wśród wyników uznanych za istotne. Takie podejście określa się jako FDR, czyli false discovery rate.
Metoda Benjamini-Hochberg kontroluje oczekiwany udział wyników fałszywie dodatnich wśród wyników uznanych za istotne statystycznie. Jest to podejście mniej restrykcyjne niż kontrola FWER, dlatego zwykle pozwala wykryć więcej potencjalnych efektów.
FDR jest szczególnie użyteczne wtedy, gdy wykonuje się bardzo wiele testów, na przykład w analizach omicznych, eksploracyjnych analizach wielu zmiennych, badaniach ankietowych z wieloma pytaniami lub analizach wielu punktów końcowych.
Należy jednak pamiętać, że metoda FDR dopuszcza możliwość wystąpienia pewnej liczby wyników fałszywie dodatnich. Jej celem jest kontrolowanie ich odsetka, a nie całkowite wyeliminowanie ryzyka pojedynczego błędnego odkrycia.
Wybór metody zależy od celu analizy, liczby testów oraz konsekwencji wyniku fałszywie dodatniego.
W praktyce metoda Holma jest często lepszym wyborem niż klasyczna korekta Bonferroniego, ponieważ kontroluje ten sam typ błędu, ale zwykle nie jest aż tak restrykcyjna. FDR warto rozważyć szczególnie wtedy, gdy liczba testów jest duża, a celem analizy jest wskazanie obszarów wymagających dalszej weryfikacji.
W badaniach potwierdzających, w których hipotezy są wcześniej jasno określone, częściej wybiera się metody kontrolujące FWER. W analizach eksploracyjnych, gdzie celem jest poszukiwanie potencjalnych zależności, bardziej uzasadnione może być zastosowanie FDR.
Załóżmy, że w badaniu porównano kilka parametrów laboratoryjnych pomiędzy grupą kontrolną i grupą leczoną. Dla pięciu analizowanych parametrów uzyskano następujące nieskorygowane wartości p:
| Parametr | p bez korekty | p po korekcie Bonferroniego | p po korekcie Holma | p po korekcie FDR |
| CRP | 0,003 | 0,015 | 0,015 | 0,015 |
| Leukocyty | 0,018 | 0,090 | 0,072 | 0,045 |
| Hemoglobina | 0,041 | 0,205 | 0,123 | 0,068 |
| Płytki krwi | 0,064 | 0,320 | 0,128 | 0,080 |
| Kreatynina | 0,120 | 0,600 | 0,128 | 0,120 |
Gdyby interpretować wyłącznie nieskorygowane wartości p, za istotne statystycznie można byłoby uznać trzy pierwsze parametry: CRP, leukocyty i hemoglobinę. Po zastosowaniu korekty Bonferroniego lub metody Holma istotny statystycznie pozostaje jedynie wynik dla CRP. Po korekcie FDR istotne pozostają wyniki dla CRP oraz leukocytów.
Przykład ten pokazuje, że wybór metody korekty może wpływać na końcową interpretację wyników. Nie oznacza to jednak, że badacz powinien wybierać metodę dopiero po obejrzeniu wyników. Sposób korekty powinien wynikać z planu analizy, rodzaju badania oraz tego, czy analiza ma charakter potwierdzający, czy eksploracyjny.
W raporcie lub publikacji należy jasno wskazać, czy w analizie zastosowano korektę na wielokrotne porównania oraz jaką metodę wybrano. Ważne jest również określenie, które testy zostały objęte wspólną korektą, ponieważ nie zawsze wszystkie wartości p w pracy należą do tej samej rodziny porównań.
Przykładowy opis może brzmieć:
Ze względu na wielokrotne porównania wartości p skorygowano metodą Holma. Za istotne statystycznie uznawano wyniki, dla których skorygowana wartość p była mniejsza niż 0,05.
W przypadku analiz eksploracyjnych można zastosować opis:
W celu ograniczenia odsetka wyników fałszywie dodatnich zastosowano korektę Benjamini-Hochberg, kontrolując FDR na poziomie 5%.
W praktyce szczególnie ważne jest odróżnienie analiz głównych, wynikających z wcześniej określonych hipotez, od analiz dodatkowych lub eksploracyjnych. Inaczej można traktować kilka kluczowych porównań zaplanowanych przed rozpoczęciem badania, a inaczej kilkadziesiąt testów wykonanych w celu poszukiwania potencjalnych zależności.
Korekta na wielokrotne porównania jest ważnym elementem analizy statystycznej wtedy, gdy badacz wykonuje wiele testów hipotez. Bez korekty rośnie ryzyko uzyskania wyników istotnych statystycznie wyłącznie przez przypadek.
Metoda Bonferroniego jest prosta i bardzo ostrożna, ale często zbyt konserwatywna. Metoda Holma również kontroluje ryzyko błędu rodzinnego, a przy tym zwykle pozwala zachować większą moc analizy. Metoda Benjamini-Hochberg kontroluje FDR i jest szczególnie przydatna w analizach obejmujących dużą liczbę testów.
Wybór metody powinien zależeć od celu badania, liczby porównań oraz konsekwencji ewentualnego wyniku fałszywie dodatniego. Właściwie zaplanowana korekta pomaga uniknąć zarówno nadinterpretacji przypadkowych wyników, jak i nadmiernego zaostrzenia kryteriów istotności.
Literatura
21.07.2026 
(+48) 666069834
statystyka@biostat.com.pl