v1 · padrão canônico

Lição 78 — Correlação e regressão linear simples

Coeficiente de Pearson r, covariância, reta de mínimos quadrados, coeficiente de determinação r². Correlação não é causalidade — o teorema de Anscombe, o quarteto que todo cientista deve conhecer.

Used in: 2.º ano do EM (16-17 anos) · Stochastik LK alemão §12 · H2 Math singapurense §19 · AP Statistics USA §3

r = \frac{\displaystyle\sum_{i=1}^n (x_i - \bar x)(y_i - \bar y)}{\sqrt{\displaystyle\sum_{i=1}^n (x_i-\bar x)^2 \cdot \sum_{i=1}^n (y_i-\bar y)^2}}

Choose your door

Rigorous notation, full derivation, hypotheses

Definicje i właściwości rygorystyczne

Kowariancja

"The covariance is a measure of the joint variability of two random variables. If the greater values of one variable mainly correspond with the greater values of the other variable, and the same holds for the lesser values, the covariance is positive." — OpenStax Statistics, §12.1

Współczynnik korelacji Pearsona

Cztery wykresy rozrzutu z różnymi wartościami r. Chmura punktów skupia się bardziej wokół linii prostej, gdy |r| jest bliskie 1.

Linia najmniejszych kwadratów (OLS)

Współczynnik determinacji

r^2 = 1 - \frac{\text{SQR}}{\text{SQT}}, \quad \text{SQT} = \sum(y_i - \bar y)^2

what this means · r² mierzy frakcję wariancji Y wyjaśnioną przez model liniowy w X.

Przykłady rozwiązane

Example— 1· Ręczne obliczenie r z 5 punktami

Problem. Dane: $x = (2, 4, 5, 7, 8)$ i $y = (3, 6, 5, 9, 11)$ . Oblicz współczynnik Pearsona $r$ .

Strategia. Oblicz średnie, odchylenia i zastosuj formułę bezpośrednio.

Rozwiązanie.

$\bar x = (2+4+5+7+8)/5 = 26/5 = 5{,}2$ ; $\bar y = (3+6+5+9+11)/5 = 34/5 = 6{,}8$ .

$x_i$	$y_i$	$x_i - \bar x$	$y_i - \bar y$	iloczyn	$(x_i-\bar x)^2$	$(y_i-\bar y)^2$
2	3	-3,2	-3,8	12,16	10,24	14,44
4	6	-1,2	-0,8	0,96	1,44	0,64
5	5	-0,2	-1,8	0,36	0,04	3,24
7	9	1,8	2,2	3,96	3,24	4,84
8	11	2,8	4,2	11,76	7,84	17,64
Σ				29,20	22,80	40,80

$r = 29{,}20 / \sqrt{22{,}80 \times 40{,}80} = 29{,}20 / \sqrt{930{,}24} = 29{,}20 / 30{,}50 \approx 0{,}957$ .

Weryfikacja. $r$ bliske 1 jest zgodne z rosnącą chmurą danych.

Źródło. OpenStax Statistics, §12.1, Example 12.2 — CC-BY

Example— 2· Linia najmniejszych kwadratów i prognoza

Problem. Używając danych z Przykładu 1, określ linię regresji $Y$ na $X$ i przewidź $Y$ dla $x = 6$ .

Strategia. Oblicz $\hat\beta_1$ i $\hat\beta_0$ za pomocą formuł OLS.

Rozwiązanie.

$s_{xy} = 29{,}20/(5-1) = 7{,}30$ ; $s_x^2 = 22{,}80/(5-1) = 5{,}70$ .

$\hat\beta_1 = s_{xy}/s_x^2 = 7{,}30/5{,}70 \approx 1{,}281$ .

$\hat\beta_0 = \bar y - \hat\beta_1 \bar x = 6{,}8 - 1{,}281 \times 5{,}2 \approx 6{,}8 - 6{,}66 = 0{,}14$ .

Linia: $\hat y = 0{,}14 + 1{,}28x$ .

Dla $x = 6$ : $\hat y = 0{,}14 + 1{,}28 \times 6 = 7{,}82$ .

Weryfikacja. $r = 0{,}957$ ; $\hat\beta_1 = r \cdot s_y/s_x = 0{,}957 \times \sqrt{40{,}80/4}/\sqrt{22{,}80/4} = 0{,}957 \times 3{,}19/2{,}39 \approx 1{,}28$ . Konsystentne.

Źródło. OpenStax Statistics, §12.3, Example 12.4 — CC-BY

Example— 3· Współczynnik determinacji i interpretacja

Problem. W badaniu z 20 uczniami korelacja między godzinami nauki ( $X$ ) a wynikiem egzaminu wstępnego ( $Y$ ) wynosiła $r = 0{,}72$ . Zinterpretuj $r^2$ i oszacuj równanie linii wiedząc, że $\bar x = 8$ h/tydzień, $\bar y = 620$ punktów, $s_x = 3$ h, $s_y = 80$ punktów.

Strategia. Oblicz $r^2$ i użyj formuł na $\hat\beta_1$ i $\hat\beta_0$ .

Rozwiązanie.

$r^2 = 0{,}72^2 = 0{,}518$ — godziny nauki wyjaśniają 51,8% wariancji w wyniku. Inne 48,2% pochodzi z innych czynników (jakość nauczania, motywacja, sen, itd.).

$\hat\beta_1 = r \cdot s_y/s_x = 0{,}72 \times 80/3 = 19{,}2$ punktów/godzinę.

$\hat\beta_0 = 620 - 19{,}2 \times 8 = 620 - 153{,}6 = 466{,}4$ .

Linia: $\hat y = 466{,}4 + 19{,}2x$ . Każda dodatkowa godzina nauki tygodniowo wiąże się średnio z +19 punktami na egzaminie.

Weryfikacja. Ekstrapolacja dla $x = 0$ : $\hat y = 466$ punktów — wiarygodny jako wynik bazowy bez nauki.

Źródło. OpenIntro Statistics, §7.1, Exercise 7.3, p. 343 — CC-BY-SA

Example— 4· Korelacja nie jest przyczynowością — zmienna myląca

Problem. Badacz znalazł $r = 0{,}78$ między liczbą kościołów i liczbą przestępstw w zbiorze 50 miast w USA. Zinterpretuj poprawnie.

Strategia. Identyfikuj zmienną mylącą i wyjaśnij, dlaczego korelacja nie implikuje przyczynowości.

Rozwiązanie.

Oczywista zmienna myląca to rozmiar miasta (populacja). Większe miasta mają więcej kościołów I więcej przestępstw. Kontrolując rozmiar miasta, korelacja między kościołami i przestępstwami może spaść do zera lub nawet się odwrócić.

Formalnie: niech $P$ = populacja. $P \to C$ (kościoły) i $P \to K$ (przestępstwa). Bez kontrolowania $P$ , marginalna korelacja $r(C, K) > 0$ nawet bez bezpośredniego związku między $C$ i $K$ .

Weryfikacja. Gdybyśmy stratyfikować po wielkości (małe, średnie, duże miasta), spodziewalibyśmy się $r$ bliskiego zeru w każdej warstwie — to jest paradoks Simpsona w akcji.

Źródło. OpenIntro Statistics, §7.2, p. 356–358 — CC-BY-SA

Example— 5· Test hipotez dla korelacji — Fisher z

Problem. W próbie $n = 28$ par otrzymano $r = 0{,}45$ . Testuj $H_0: \rho = 0$ vs. $H_1: \rho \neq 0$ na poziomie $\alpha = 0{,}05$ .

Strategia. Użyj statystyki $t$ z $n-2$ stopniami swobody.

Rozwiązanie.

$t = r\sqrt{(n-2)/(1-r^2)} = 0{,}45 \times \sqrt{26/(1-0{,}2025)} = 0{,}45 \times \sqrt{26/0{,}7975} = 0{,}45 \times \sqrt{32{,}6} \approx 0{,}45 \times 5{,}71 \approx 2{,}57$ .

Wartość krytyczna $t_{26;\, 0{,}025} \approx 2{,}056$ . Ponieważ $|t| = 2{,}57 > 2{,}056$ , odrzucamy $H_0$ — istotne dowody na dodatnią korelację w populacji.

Weryfikacja. Z $n = 28$ i $r = 0{,}45$ , wartość $p$ $\approx 0{,}016 < 0{,}05$ . Konsystentne z odrzuceniem.

Źródło. OpenStax Statistics, §12.4, Example 12.7 — CC-BY

Exercise list

32 exercises · 8 with worked solution (25%)

Application 18Understanding 3Modeling 8Challenge 2Proof 1

Ex. 78.1ApplicationAnswer key
$X = (1, 2, 3, 4)$ , $Y = (2, 4, 6, 8)$ . Oblicz $r$ bez kalkulatora i uzasadnij wynik.
Solve online
Ex. 78.2Application
$X = (1, 2, 3, 4)$ , $Y = (8, 6, 4, 2)$ . Oblicz $r$ i zidentyfikuj oczekiwany znak przed obliczeniami.
Ex. 78.3Application
$X = (1, 2, 3)$ , $Y = (1, 4, 9)$ . Oblicz $r$ i omów czy związek jest liniowy.
Solve online
Ex. 78.4ApplicationAnswer key
Jeśli $U = X + 5$ i $V = 2Y$ , jaki jest związek między $r(U, V)$ i $r(X, Y)$ ? Uzasadnij definicją.
Solve online
Ex. 78.5ApplicationAnswer key
Dane z $n = 5$ parami: $x = (1, 2, 3, 4, 5)$ i $y = (10, 7, 5, 4, 3)$ . Oblicz $r$ .
Solve online
Ex. 78.6ApplicationAnswer key
$X = (1, 2, 3, 4, 5)$ , $Y = (1, 4, 5, 9, 10)$ . Oblicz $r$ i kowariancję $s_{xy}$ .
Solve online
Ex. 78.7Application
$r = 0,85$ , $\bar x = 10$ , $\bar y = 50$ , $s_x = 3$ , $s_y = 12$ . Znajdź linię najmniejszych kwadratów.
Solve online
Ex. 78.8Application
Używając linii z ćwiczenia 78.7 ( $\hat y = 16 + 3,4x$ ), przewidź $Y$ dla $x = 15$ i dla $x = 5$ .
Solve online
Ex. 78.9Application
Z $r = 0,85$ (ćwiczenie 78.7), oblicz $r^2$ i zinterpretuj w kategoriach wyjaśnionej wariancji.
Solve online
Ex. 78.10Application
Używając linii z 78.7, oblicz resztę punktu $(10, 55)$ .
Solve online
Ex. 78.11Understanding
Co oznacza $r = 0$ ?
Solve online
Ex. 78.12Understanding
Sprzedaż lodów koreluje dodatnio ze śmiercią przez utonięcie ( $r \approx 0,8$ ). Najlepsze wyjaśnienie to:
Solve online
Ex. 78.13Application
Z $r = 0,6$ , $s_x = 2$ , $s_y = 5$ , oblicz nachylenia dwóch linii regresji: $Y$ na $X$ i $X$ na $Y$ . Czy linie się pokrywają?
Solve online
Ex. 78.14Application
Model regresji wyjaśnia 64% wariancji wydatków jako funkcję dochodu. Jaka jest $|r|$ ?
Solve online
Ex. 78.15Application
Jeśli $V = -Y$ , jaki jest związek między $r(X, V)$ i $r(X, Y)$ ?
Solve online
Ex. 78.16Modeling
Związek wzrost ( $X$ ) vs. waga ( $Y$ ): $\bar x = 170$ cm, $\bar y = 70$ kg, $s_x = 8$ cm, $s_y = 12$ kg, $r = 0,75$ . Równanie linii i prognoza dla osoby o wzroście 175 cm.
Solve online
Ex. 78.17Modeling
Badacz znalazł $r = 0,82$ między Wskaźnikiem Postrzegania Korupcji a PKB per capita w 120 krajach. Zinterpretuj $r^2$ i omów ograniczenia przyczynowe.
Solve online
Ex. 78.18Modeling
Wykres reszt vs. wartości dopasowanych pokazuje wzór w kształcie U (reszty najpierw ujemne, potem dodatnie). Co to wskazuje o modelu liniowym?
Solve online
Ex. 78.19Application
$n = 25$ , $r = 0,45$ . Testuj $H_0: \rho = 0$ vs. $H_1: \rho \neq 0$ na poziomie 5%.
Solve online
Ex. 78.20Application
$n = 50$ , $r = 0,60$ . Skonstruuj PU 95% dla $\rho$ używając transformacji Fishera.
Solve online
Ex. 78.21Modeling
Dla każdej pary, zidentyfikuj czy to korelacja przyczynowa, pozorna, czy odwrotna przyczynowość: (a) deszcz i sprzedaż parasoli; (b) liczba policjantów i przestępczość na miasto.
Solve online
Ex. 78.22ApplicationAnswer key
Zinterpretuj $r^2 = 0,25$ w badaniu, które wiąże lata nauki z wynagrodzeniem.
Solve online
Ex. 78.23Application
Wyjaśnij ryzyko ekstrapolacji linii regresji dla wartości $x$ poza zakresem próbki.
Solve online
Ex. 78.24Modeling
W finansach "beta" akcji to współczynnik regresji zwrotu akcji na zwrot rynkowy. Wyraź beta w kategoriach $r$ , $s_{r_i}$ i $s_{r_m}$ .
Solve online
Ex. 78.25Modeling
Dystrybutor energii ma miesięczne dane temperatury średniej (°C) i zużycia (MWh) z ostatnich 5 lat. Opisz przepływ analizy korelacji i regresji do prognozy zużycia.
Solve online
Ex. 78.26Application
Cztery zestawy Anscomba mają $r \approx 0,82$ i tę samą linię regresji. Dlaczego model liniowy jest adekwatny dla zestawu I ale nie dla trzech pozostałych?
Solve online
Ex. 78.27ModelingAnswer key
Dlaczego korelacja Spearmana jest bardziej adekwatna niż Pearson dla danych porządkowych (np.: satysfakcja 1 do 5) lub z odstającymi?
Solve online
Ex. 78.28Modeling
Rozróżnij zmienną mylącą, mediatora i moderatora w badaniu obserwacyjnym.
Solve online
Ex. 78.29ChallengeAnswer key
$n = 22$ pary; $r^2 = 0,64$ ; SQT = 500. Oblicz Sumę Kwadratów Reszt (SQR) i RMSE.
Solve online
Ex. 78.30Challenge
Dlaczego $R^2$ nigdy nie maleje gdy dodajemy zmienną do modelu, i jak skorygowany $R^2$ rozwiązuje ten problem?
Solve online
Ex. 78.31Understanding
Jaka właściwość definiuje linię najmniejszych kwadratów (OLS)?
Solve online
Ex. 78.32ProofAnswer key
Udowodnij że $-1 \leq r \leq 1$ używając nierówności Cauchy'ego-Schwarza.
Solve online

Fonty

OpenStax Statistics — Illowsky, Dean · 2022 · CC-BY. Główne źródło ćwiczeń 78.1–2, 78.5–10, 78.14, 78.16, 78.19–20, 78.22–25, 78.29–31 i przykładów 1–3, 5.
OpenIntro Statistics (4. ed) — Diez, Çetinkaya-Rundel, Barr · 2019 · CC-BY-SA. Źródło ćwiczeń 78.3, 78.9, 78.11–12, 78.17–18, 78.21, 78.23, 78.26–28, 78.32 i przykład 4.
Introduction to Probability (Grinstead-Snell) — Grinstead, Snell · Dartmouth · GNU FDL. Źródło ćwiczeń 78.4, 78.13, 78.15 i dowód |r| ≤ 1.

Definicje i właściwości rygorystyczne

Kowariancja

Współczynnik korelacji Pearsona

Linia najmniejszych kwadratów (OLS)

Współczynnik determinacji

Założenia LINE

Przykłady rozwiązane

Fonty