v1 · padrão canônico

Lição 107 — ANOVA one-way

Analiza wariancji (ANOVA one-way): rozkład SST = SSB + SSW, statystyka F, tabela ANOVA, weryfikacja założeń, test post-hoc Tukeya, wielkość efektu eta².

Used in: 3.º ano EM — Estatística Inferencial · Stochastik LK alemão · H2 Math singapurense (estatística) · Math B japonês

F = \frac{MS_{\text{entre}}}{MS_{\text{dentro}}} = \frac{SSB/(k-1)}{SSW/(N-k)}

Choose your door

Rigorous notation, full derivation, hypotheses

Definicja rygorystyczna

Problem: porównanie k średnich przy użyciu jednego testu

Załóż, że masz $k \geq 2$ niezależnych grup i chcesz sprawdzić, czy średnie populacyjne $\mu_1, \ldots, \mu_k$ są równe. Przeprowadzenie $\binom{k}{2}$ oddzielnych testów $t$ inflacjonuje błąd typu I. ANOVA rozwiązuje to problemem za pomocą jednego globalnego testu.

Definition· Model ANOVA one-way (efekty stałe)

Każda obserwacja $Y_{ij}$ (jednostka $j$ w grupie $i$ ) spełnia:

$Y_{ij} = \mu + \alpha_i + \varepsilon_{ij}, \quad i = 1, \ldots, k;\; j = 1, \ldots, n_i$

gdzie:

$\mu$ jest średnią ogólną (wielką średnią)
$\alpha_i$ jest efektem grupy $i$ , z warunkiem $\sum_{i=1}^k n_i \alpha_i = 0$
$\varepsilon_{ij} \sim \mathcal{N}(0, \sigma^2)$ niezal. — błędy normalne ze wspólną wariancją

Hipotezy to:

$H_0: \alpha_1 = \alpha_2 = \cdots = \alpha_k = 0 \quad \Leftrightarrow \quad \mu_1 = \mu_2 = \cdots = \mu_k$ $H_1: \text{istnieje co najmniej jeden } i \text{ taki że } \alpha_i \neq 0$

"In a one-way analysis of variance problem, we are interested in comparing the means of $k$ populations. If the means are all equal, we say the treatments, or factor levels, are not different from one another. If at least one mean differs, we say the treatments are different." — OpenStax Statistics §13.1

Rozkład całkowitej wariancji

Definition· Suma kwadratów: SST = SSB + SSW

Niech $\bar{Y} = \frac{1}{N}\sum_{i,j} Y_{ij}$ będzie wielką średnią i $\bar{Y}_i = \frac{1}{n_i}\sum_j Y_{ij}$ będzie średnią grupy $i$ . Definiujemy:

$SST = \sum_{i=1}^k \sum_{j=1}^{n_i} (Y_{ij} - \bar{Y})^2 \quad \text{(suma kwadratów całkowita)}$

$SSB = \sum_{i=1}^k n_i (\bar{Y}_i - \bar{Y})^2 \quad \text{(między grupami — Between)}$

$SSW = \sum_{i=1}^k \sum_{j=1}^{n_i} (Y_{ij} - \bar{Y}_i)^2 \quad \text{(wewnątrz grup — Within)}$

Twierdzenie (rozkład): $SST = SSB + SSW$ . Dowód wynika z tożsamości algebraicznej

$Y_{ij} - \bar{Y} = \underbrace{(\bar{Y}_i - \bar{Y})}_{\text{efekt grupy}} + \underbrace{(Y_{ij} - \bar{Y}_i)}_{\text{błąd wewnątrz-grupowy}}$

poprzez podniesienie do kwadratu i sumowanie — człony krzyżowe anulują się, ponieważ $\sum_j (Y_{ij} - \bar{Y}_i) = 0$ .

Trzy grupy z różnymi średnimi. Linia kolorowa kreska = średnia grupy (). Linia szara przerywana = wielka średnia (). SSB mierzy, jak daleko kolorowe średnie odbiegają od szarej; SSW mierzy rozrzut punktów wokół własnych średnich.

Statystyka F i tabela ANOVA

Definition· Średnie kwadratowe i statystyka F

Dzieląc każdą sumę kwadratów przez odpowiedni stopień swobody, uzyskujemy średnie kwadratowe (mean squares):

$MS_B = \frac{SSB}{k-1}, \qquad MS_W = \frac{SSW}{N-k}$

gdzie $N = \sum_{i=1}^k n_i$ a $k - 1$ i $N - k$ są stopniami swobody między i wewnątrz.

Statystyka testu to:

$F = \frac{MS_B}{MS_W}$

Dla $H_0$ , $F \sim F_{k-1,\, N-k}$ (rozkład F Snedecora). Odrzucamy $H_0$ jeśli $F > F_{\alpha;\, k-1,\, N-k}$ .

Źródło	SS	df	MS	F
Między grupami	$SSB$	$k-1$	$MS_B = SSB/(k-1)$	$MS_B / MS_W$
Wewnątrz grup	$SSW$	$N-k$	$MS_W = SSW/(N-k)$	—
Razem	$SST$	$N-1$	—	—

"The one-way ANOVA test statistic $F$ is the ratio of two independent chi-square variables divided by their respective degrees of freedom... Under the null hypothesis, $F$ follows an $F$ distribution with $k-1$ and $N-k$ degrees of freedom." — OpenStax Statistics §13.2

Założenia modelu

Wielkość efektu

Przykłady rozwiązane

Example— 1· Stopnie swobody i tabela ANOVA (aplikacja)

Problem: Badacz porównuje 4 diety. Każda grupa ma 15 uczestników. Wypełnij stopnie swobody w tabeli ANOVA.

Strategia: Stopnie swobody wynikają bezpośrednio ze wzorów: $df_B = k - 1$ , $df_W = N - k$ , $df_T = N - 1$ .

Rozwiązanie:

$k = 4$ grupy, $n_i = 15$ każda, $N = 4 \times 15 = 60$ .

Źródło	SS	df	MS	F
Między	$SSB$	$4 - 1 = 3$	$SSB/3$	$MS_B/MS_W$
Wewnątrz	$SSW$	$60 - 4 = 56$	$SSW/56$	—
Razem	$SST$	$60 - 1 = 59$	—	—

Sprawdzenie: $3 + 56 = 59$ ✓

Weryfikacja: $df_T = df_B + df_W$ . Zawsze się sprawdza $3 + 56 = 59$ . Jeśli się nie zgadza, błąd w obliczeniach.

Źródło. OpenStax — Statistics §13.2 — CC-BY 4.0.

Example— 2· Oblicz F i zdecyduj (aplicacao)

Problem: Trzy grupy z $n_1 = n_2 = n_3 = 10$ . $SSB = 60$ i $SSW = 135$ . Oblicz $F$ i zdecyduj przy $\alpha = 0{,}05$ (krytyczne $F_{2,\, 27} \approx 3{,}35$ ).

Strategia: Oblicz $MS_B = SSB/df_B$ i $MS_W = SSW/df_W$ , potem $F = MS_B/MS_W$ .

Rozwiązanie:

$k = 3$ , $N = 30$ . $df_B = 2$ , $df_W = 27$ .
$MS_B = 60/2 = 30$ .
$MS_W = 135/27 = 5$ .
$F = 30/5 = 6{,}0$ .
$6{,}0 > 3{,}35$ — odrzuć $H_0$ . Dowód, że co najmniej jedna średnia się różni.

Weryfikacja: $SST = 60 + 135 = 195$ . $\eta^2 = 60/195 \approx 0{,}31$ — efekt duży. Ma sens wraz z wysokim $F$ .

Źródło. OpenStax — Statistics §13.3 — CC-BY 4.0.

Example— 3· Oblicz SSB ze średnich grup (intermediario)

Problem: Cztery grupy z $n = 20$ każda. Średnie: $\bar{Y}_1 = 8$ , $\bar{Y}_2 = 10$ , $\bar{Y}_3 = 12$ , $\bar{Y}_4 = 10$ . Oblicz $SSB$ .

Strategia: Oblicz wielką średnią $\bar{Y}$ i użyj $SSB = \sum_i n_i(\bar{Y}_i - \bar{Y})^2$ .

Rozwiązanie:

Wielka średnia: $\bar{Y} = (8 + 10 + 12 + 10)/4 = 40/4 = 10$ (grupy zbalansowane: średnia średnich).
Odchylenia do kwadratu ważone:
- Grupa 1: $20 \cdot (8 - 10)^2 = 20 \cdot 4 = 80$
- Grupa 2: $20 \cdot (10 - 10)^2 = 0$
- Grupa 3: $20 \cdot (12 - 10)^2 = 20 \cdot 4 = 80$
- Grupa 4: $20 \cdot (10 - 10)^2 = 0$
$SSB = 80 + 0 + 80 + 0 = 160$ .

Weryfikacja: Grupy 2 i 4 mają średnie równe wielkiej średniej, przyczyniając zero do SSB. Grupy 1 i 3, symetryczne, przyczyniają równo. Ma to sens strukturalnie.

Źródło. OpenIntro Statistics §7.5 — CC-BY-SA 3.0.

Example— 4· Weryfikuj założenia i zdecyduj o alternatywnym teście (intermediario)

Problem: Badacz ma 3 grupy z $n = 8$ każda. Odchylenia standardowe to $s_1 = 3$ , $s_2 = 3{,}2$ , $s_3 = 9{,}5$ . Shapiro-Wilk w jednej grupie daje $p = 0{,}012$ . Który test użyć?

Strategia: Sprawdzić dwie krytyczne założenia: normalność i homogeniczność. Jeśli oba lub jedno zawiedzie poważnie z małym $n$ , wybrać alternatywę.

Rozwiązanie:

Normalność: Shapiro-Wilk $p = 0{,}012 < 0{,}05$ — dowód nienormalności. Z $n = 8$ , CTL nie pomaga.
Homogeniczność: stosunek wariancji $s_3^2/s_1^2 = 9{,}5^2/3^2 = 90{,}25/9 \approx 10$ — znacznie powyżej tolerancji 4:1.
Decyzja: Dwa założenia naruszone z małym $n$ . Parametryczna ANOVA nie jest odpowiednia.
Alternatywa: Kruskal-Wallis — test nieparametryczny analogiczny do ANOVA one-way, oparty na rankach. Nie zakłada normalności ani homogeniczności.

Weryfikacja: Gdyby tylko homogeniczność zawiadła (normalność ok), ANOVA Welcha byłaby wystarczająca. Z dodatkową nienormalnością i małym $n$ , nieparametryczny to właściwy wybór.

Źródło. OpenIntro Statistics §7.5 — CC-BY-SA 3.0.

Example— 5· Pełna analiza: trzy marki baterii (modelagem rzeczywista)

Problem: Inżynier jakości testuje czas trwania (w godzinach) trzech marek baterii AA. Każda marka testowana jest w 12 identycznych urządzeniach. Średnie: marka P = 18,5 h, marka Q = 22,0 h, marka R = 19,8 h. $SSB = 183{,}6$ i $SSW = 396{,}0$ . Przeprowadź pełną ANOVA przy $\alpha = 0{,}05$ i zinterpretuj.

Strategia: Oblicz df, MS, F; porównaj z krytycznym; jeśli odrzuć, identyfikuj która marka się różni używając średnich.

Rozwiązanie:

$k = 3$ , $n_i = 12$ , $N = 36$ . $df_B = 2$ , $df_W = 33$ .
$MS_B = 183{,}6 / 2 = 91{,}8$ .
$MS_W = 396{,}0 / 33 = 12{,}0$ .
$F = 91{,}8 / 12{,}0 = 7{,}65$ .
$F_{0{,}05;\, 2,\, 33} \approx 3{,}28$ (interpolacja tabeli). $7{,}65 > 3{,}28$ — odrzuć $H_0$ .
$\eta^2 = 183{,}6 / (183{,}6 + 396{,}0) = 183{,}6 / 579{,}6 \approx 0{,}317$ — efekt duży.
Post-hoc (inspekcja średnich): Marka Q ma średnią 22,0 h, wyraźnie powyżej pozostałych. Formalna analiza Tukey HSD potwierdzi które różnice są znaczące.

Weryfikacja: Raport formalny: $F(2, 33) = 7{,}65$ , $p < 0{,}01$ , $\eta^2 = 0{,}32$ . Marka Q wykazuje czas trwania istotnie dłuższy niż P; różnica między Q a R wymaga formalnego post-hoc.

Źródło. Navarro — Learning Statistics with R r. 14 — CC-BY-SA 4.0.

Exercise list

42 exercises · 10 with worked solution (25%)

Application 17Understanding 10Modeling 5Challenge 6Proof 4

Ex. 107.1Application
Eksperyment porównuje 3 grupy z 10 obserwacjami każda. Określ $df_B$ i $df_W$ .
Solve online
Ex. 107.2ApplicationAnswer key
Badacz używa 5 grup z 10 uczestnikami każda. Określ $df_B$ i $df_W$ .
Solve online
Ex. 107.3Application
W eksperymencie z 3 grupami $SSB = 40$ ( $df_B = 2$ ) i $SSW = 150$ ( $df_W = 30$ ). Oblicz $MS_B$ i $MS_W$ .
Solve online
Ex. 107.4ApplicationAnswer key
Na podstawie wartości z ćwiczenia 107.3 oblicz statystykę $F$ .
Solve online
Ex. 107.5Application
Wartość $F = 4{,}0$ z $df = (2, 30)$ i $\alpha = 0{,}05$ (krytyczne $\approx 3{,}32$ ). Jaki jest prawidłowy wniosek?
Solve online
Ex. 107.6Application
$SST = 200$ i $SSB = 80$ . Oblicz $\eta^2$ i sklasyfikuj wielkość efektu.
Solve online
Ex. 107.7Application
Używając danych z ćwiczenia 107.6 ( $SST = 200$ , $SSB = 80$ ), określ $SSW$ .
Solve online
Ex. 107.8ApplicationAnswer key
Dlaczego przy $H_0$ oczekuje się że $F \approx 1$ ? Wyjaśnij w kategoriach tego co estymują $MS_B$ i $MS_W$ .
Solve online
Ex. 107.9Application
Trzy grupy z $n = 15$ każda. Średnie grup: 9, 11 i 13. Oblicz wielką średnią $\bar{Y}$ .
Solve online
Ex. 107.10Application
Używając danych z ćwiczenia 107.9 oblicz $SSB$ .
Solve online
Ex. 107.11Understanding
Dlaczego nie robić wielu testów $t$ aby porównać 4 grupy? Oblicz prawdopodobieństwo co najmniej jednego fałszywego pozytywu z $\alpha = 0{,}05$ .
Solve online
Ex. 107.12Understanding
Wymień trzy założenia ANOVA one-way. Z $n = 8$ na grupę i odchyleniami standardowymi $s_1 = 3$ , $s_2 = 3$ , $s_3 = 9$ , które założenie jest podejrzane?
Solve online
Ex. 107.13Understanding
Badanie ma $k = 3$ grupy z $n = 8$ . Shapiro-Wilk odrzuca normalność w grupie ( $p = 0{,}008$ ). Stosunek wariancji: 9:1. Jaki test użyć?
Solve online
Ex. 107.14UnderstandingAnswer key
Do czego służy test Levene'a przed ANOVA? Jaki wniosek wyciągnąć z $p = 0{,}38$ ?
Solve online
Ex. 107.15Understanding
ANOVA odrzuca $H_0$ w eksperymencie z 5 grupami. Co to znaczy? Co robić dalej?
Solve online
Ex. 107.16UnderstandingAnswer key
Porównaj Tukey HSD i Bonferroni: który jest bardziej konserwatywny? Kiedy użyć każdego?
Solve online
Ex. 107.17Understanding
Dla $k = 2$ grup jak się mają $F$ ANOVA i $t$ testu dwóch próbek? Czy wartości p się pokrywają?
Solve online
Ex. 107.18UnderstandingAnswer key
Opisz kształt rozkładu $F$ z małymi stopniami swobody. Dlaczego $F$ nigdy nie jest ujemny?
Solve online
Ex. 107.19Understanding
Konwertuj $\eta^2 = 0{,}09$ na Cohen's $f$ i sklasyfikuj wielkość efektu.
Solve online
Ex. 107.20Understanding
Dlaczego $E[MS_W] = \sigma^2$ nawet dla $H_1$ , ale $E[MS_B] > \sigma^2$ dla $H_1$ ?
Solve online
Ex. 107.21Application
Trzy grupy z $n = 8$ każda. Średnie: 12, 15 i 18. Oblicz $SSB$ i $MS_B$ .
Solve online
Ex. 107.22ApplicationAnswer key
Kontynuacja ćwiczenia 107.21: $SSW = 336$ i $df_W = 21$ . Oblicz $F$ i zdecyduj przy $\alpha = 0{,}05$ (krytyczne $\approx 3{,}47$ ).
Solve online
Ex. 107.23Application
Używając danych z ćwiczeń 107.21–107.22 ( $SSB = 144$ , $SSW = 336$ ) oblicz $\eta^2$ .
Solve online
Ex. 107.24Application
4 grupy z $n = 12$ każda. $SSB = 120$ i $SSW = 440$ . Przeprowadź pełną ANOVA przy $\alpha = 0{,}05$ (krytyczne $F_{3,44} \approx 2{,}82$ ) i oblicz $\eta^2$ .
Solve online
Ex. 107.25Application
Uzupełnij tabelę ANOVA: $MS_B = 12$ , $MS_W = 2$ . Oblicz $F$ .
Solve online
Ex. 107.26ModelingAnswer key
Nauczyciel chce porównać trzy metody nauczania (A, B, C) z 20 uczniami każda, oceniane testem. Sformalizuj model ANOVA, hipotezy i niezbędne założenia.
Solve online
Ex. 107.27Modeling
Badanie kliniczne porównuje 4 diety dla utraty wagi z 40 uczestnikami każda. Opisz jak weryfikować założenia ANOVA przed przeprowadzeniem testu.
Solve online
Ex. 107.28Modeling
Badacz porównuje 3 algorytmy ML testowane na tych samych 30 zbiorach danych. Czy ANOVA one-way jest odpowiednia? Uzasadnij.
Solve online
Ex. 107.29Modeling
Pięć sklepów monitoruje sprzedaż tygodniową przez 30 tygodni. Chcesz użyć ANOVA. Naszkicuj: $df_B$ , $df_W$ i czy $n = 30$ wystarczy do wykrycia efektu średniego (Cohen's $f = 0{,}25$ , moc 80%).
Solve online
Ex. 107.30Modeling
Laboratorium chemiczne porównuje cztery stężenia katalizatora (0, 5, 10, 20 g/L) na wydajności reakcji z 10 replikacjami każda. Uzasadnij użycie ANOVA one-way i wymień założenia do weryfikacji.
Solve online
Ex. 107.31Application
4 diety, 25 osób każda. Straty wagi (kg) — średnie na diecie: 3, 4, 5 i 4,5. Oblicz $SSB$ .
Solve online
Ex. 107.32ApplicationAnswer key
$SST = 300$ i $\eta^2 = 0{,}5$ . Określ $SSB$ i $SSW$ .
Solve online
Ex. 107.33ChallengeAnswer key
Wyprowadź algebraicznie rozkład $SST = SSB + SSW$ . Wykaż jawnie dlaczego człony krzyżowe się anulują.
Solve online
Ex. 107.34Challenge
Wykaż że dla $k = 2$ grup zbalansowanych, statystyka $F$ ANOVA równa się kwadratowi statystyki $t$ testu dwóch próbek ze wspólną wariancją.
Solve online
Ex. 107.35Challenge
Argumentuj (bez pełnego dowodu) dlaczego dla $H_0$ , $SSB/\sigma^2 \sim \chi^2_{k-1}$ i $SSW/\sigma^2 \sim \chi^2_{N-k}$ są niezależne. Jak to implikuje że $F \sim F_{k-1, N-k}$ ?
Solve online
Ex. 107.36Challenge
Co się dzieje z ANOVA gdy grupy mają znacznie różne rozmiary (skrajny brak równości)? Test jest wciąż ważny?
Solve online
Ex. 107.37Challenge
Aby wykryć efekt średni ( $f = 0{,}25$ ) między 4 grupami przy $\alpha = 0{,}05$ z mocą 80%, ile osób na grupę potrzeba (w przybliżeniu)? Z $n = 25$ na grupę, badanie jest odpowiednio zaplanowane?
Solve online
Ex. 107.38Challenge
Co to jest faktor Bayesa $BF_{10}$ w ANOVA bayesowskiej? Jak zinterpretować $BF_{10} = 15$ kontra $BF_{10} = 0{,}08$ ?
Solve online
Ex. 107.39Proof
Udowodnij że $SST = SSB + SSW$ pokazując że człony krzyżowe się anulują przy sumowaniu po $j$ dla każdego ustalonego $i$ .
Solve online
Ex. 107.40Proof
Wykaż że $E[MS_B] = \sigma^2$ dla $H_0$ (dla grup zbalansowanych, $n_i = n$ ).
Solve online
Ex. 107.41Proof
Wyprowadź statystykę testu Kruskal-Wallis i wyjaśnij dlaczego jest to nieparametryczny analog ANOVA one-way.
Solve online
Ex. 107.42Proof
Wyprowadź statystykę $F^*$ ANOVA Welcha dla nierównych wariancji. Wyjaśnij jak są korygowane stopnie swobody mianownika.
Solve online

Fonty

OpenStax — Statistics — Illowsky, Dean · CC-BY 4.0 · §13.1–13.4. Główne źródło tej lekcji. Definicja modelu, statystyka F, tabela ANOVA, ćwiczenia aplikacyjne.
OpenIntro Statistics (4.ª ed.) — Diez, Çetinkaya-Rundel, Barr · CC-BY-SA 3.0 · §7.5. Założenia modelu, homogeniczność, post-hoc Tukey'a i Bonferroniego.
Learning Statistics with R — Navarro · CC-BY-SA 4.0 · r. 14. Intuicja geometryczna dla F, wielkość efektu $\eta^2$ , ANOVA Welcha, ANOVA bayesowska.