v1 · padrão canônico

Lição 106 — Regressão múltipla

Modelo com p preditores, solução matricial OLS, R² ajustado, multicolinearidade, seleção de variáveis e diagnóstico de pressupostos.

Used in: Stochastik LK alemão (Klasse 12) · H2 Mathematics Singapura (§15) · econometria introdutória

\hat{\boldsymbol\beta} = (X^TX)^{-1}X^T\mathbf{y}

Choose your door

Rigorous notation, full derivation, hypotheses

Definicja rygorystyczna

Model regresji liniowej wielorakiej

Definition· Model i notacja macierzowa

Dla $n$ obserwacji i $p$ predyktorów:

$Y_i = \beta_0 + \beta_1 X_{i1} + \beta_2 X_{i2} + \cdots + \beta_p X_{ip} + \varepsilon_i, \quad \varepsilon_i \stackrel{i.i.d.}{\sim} \mathcal{N}(0,\sigma^2)$

W postaci macierzowej: $\mathbf{Y} = X\boldsymbol\beta + \boldsymbol\varepsilon$ , gdzie:

$\mathbf{Y} \in \mathbb{R}^n$ : wektor odpowiedzi.
$X \in \mathbb{R}^{n\times(p+1)}$ : macierz projektowania (pierwsza kolumna jedynek dla wyrazu wolnego).
$\boldsymbol\beta \in \mathbb{R}^{p+1}$ : wektor współczynników.
$\boldsymbol\varepsilon \in \mathbb{R}^n$ : wektor błędów.

"The multiple regression model is $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_k x_k + \varepsilon$ . The coefficient $\beta_i$ measures the expected change in $y$ per unit change in $x_i$ when all other predictors are held constant." — OpenIntro Statistics, §8.1, p. 362

Wnioskowanie

Reprezentacja macierzowa modelu: $\mathbf{Y} = X\boldsymbol\beta + \boldsymbol\varepsilon$ . Pierwsza kolumna jedynek w $X$ generuje wyraz wolny $\beta_0$ .

Przykłady rozwiązane

Example— 106.1· Dopasowanie i interpretacja z dwoma predyktorami

Problem. Regresja rocznego wynagrodzenia $Y$ (tys. R$) na doświadczenie $X_1$ (lata) i edukację $X_2$ (lata nauki) dała: $\hat Y = -12 + 2{,}8 X_1 + 5{,}2 X_2$ , z $n=50$ , $R^2=0{,}74$ , $\bar R^2=0{,}73$ .

Zinterpretuj każdy współczynnik i oblicz prognozę dla profesjonalisty z 10 latami doświadczenia i 16 latami edukacji.

Strategia. Zinterpretuj każde $\hat\beta_j$ jako efekt cząstkowy (ceteris paribus). Podstaw wartości do równania dopasowanego.

Rozwiązanie.

$\hat\beta_0 = -12$ : wyraz wolny (bez istotnej interpretacji merytorycznej sam w sobie — żaden profesjonalista nie ma zero lat doświadczenia i edukacji).
$\hat\beta_1 = 2{,}8$ : kontrolując edukację, każdy dodatkowy rok doświadczenia wiąże się średnio z 2,8 tys. R$/rok więcej.
$\hat\beta_2 = 5{,}2$ : kontrolując doświadczenie, każdy dodatkowy rok edukacji wiąże się średnio z 5,2 tys. R$/rok więcej.

Prognoza: $\hat Y = -12 + 2{,}8\times10 + 5{,}2\times16 = -12+28+83{,}2 = 99{,}2$ tys. R$/rok.

Weryfikacja. $\bar R^2 = 0{,}73$ blisko $R^2 = 0{,}74$ : tylko 2 predyktory, mała kara — model oszczędny.

Źródło. OpenIntro Statistics, §8.1, Przykład 8.1 — CC-BY-SA

Example— 106.2· R² skorygowany przy wyborze między modelami

Problem. Trzy modele do przewidywania domowego zużycia energii elektrycznej ( $n=80$ ):

Model	Predyktory	$R^2$	$\bar R^2$
M1	powierzchnia	0,61	0,61
M2	powierzchnia + liczba mieszkańców	0,71	0,70
M3	powierzchnia + liczba mieszkańców + dochód + temperatura + dzień tygodnia	0,74	0,70

Który model wybrać?

Strategia. Porównaj $\bar R^2$ — karze za liczbę predyktorów.

Rozwiązanie.

M2 i M3 mają ten sam $\bar R^2 = 0{,}70$ , ale M3 używa 5 predyktorów przeciw 2 z M2. Zgodnie z zasadą parsymonii (brzytwa Ockhama), M2 jest preferowany: dodanie 3 predyktorów nie ulepsza $\bar R^2$ — nie wносią informacji netto.

Zwróć uwagę że $R^2$ M3 (0,74) przewyższa M2 (0,71) — ale $R^2$ zawsze rośnie z dodatkowymi predyktorami, nawet nieistotnymi.

Weryfikacja. Mogłabyś potwierdzić z AIC/BIC: $AIC = n\ln(SSE/n) + 2(p+1)$ — niższy jest lepszy.

Źródło. OpenIntro Statistics, §8.3, Tabela 8.7 — CC-BY-SA

Example— 106.3· Test F globalny i tabela ANOVA

Problem. Regresja z $p=3$ predyktorami, $n=40$ : $SST=2400$ , $SSE=720$ . Złóż tabelę ANOVA i testuj $H_0: \beta_1=\beta_2=\beta_3=0$ na poziomie 5%.

Strategia. Oblicz SSR, df, MS, F; porównaj z wartością krytyczną $F_{3,36;\,0{,}05}$ .

Rozwiązanie.

$SSR = 2400-720 = 1680$ ; $R^2 = 1680/2400 = 0{,}70$ .

Źródło	SS	df	MS	F
Regresja	1680	3	560	28,0
Błąd	720	36	20	—
Całość	2400	39	—	—

$F_{3,36;\,0{,}05} \approx 2{,}87$ . Ponieważ $F = 28{,}0 \gg 2{,}87$ , odrzucamy $H_0$ : model jako całość jest wysoko znaczący.

Weryfikacja. $MSE = 20 \implies \hat\sigma = \sqrt{20} \approx 4{,}47$ — resztkowe odchylenie standardowe w jednostkach $Y$ .

Źródło. OpenStax Statistics, §13.4 — CC-BY

Example— 106.4· Detectar współliniowość przez VIF

Problem. Regresja ceny pojazdu ( $Y$ ) na moc ( $X_1$ ), pojemność ( $X_2$ ) i wagę ( $X_3$ ). Regresje pomocnicze: $R_1^2=0{,}89$ ( $X_1$ na $X_2, X_3$ ), $R_2^2=0{,}91$ , $R_3^2=0{,}85$ . Oblicz VIFy i oceń.

Strategia. $VIF_j = 1/(1-R_j^2)$ .

Rozwiązanie.

$VIF_1 = 1/(1-0{,}89) = 9{,}09$ ; $VIF_2 = 1/(1-0{,}91) = 11{,}1$ ; $VIF_3 = 1/(1-0{,}85) = 6{,}67$ .

$VIF_2 = 11{,}1 > 10$ : pojemność wykazuje silną współliniowość z innymi zmiennymi.

Działanie: usuń $X_2$ z modelu lub połącz $X_1$ i $X_2$ w złożony indeks (analiza głównych składowych).

Weryfikacja. Po usunięciu $X_2$ , przelicz VIFy dla pozostałych predyktorów.

Źródło. OpenIntro Statistics, §8.4 — CC-BY-SA

Example— 106.5· Zmienna dummy i interakcja

Problem. Przewidywanie wynagrodzenia $Y$ (tys. R$/rok) używając doświadczenia $X_1$ (lata) i płci $D$ (1=kobieta, 0=mężczyzna). Wynik: $\hat Y = 45 + 2{,}5X_1 - 8D$ .

Zinterpretuj współczynnik $D$ i oblicz prognozy wynagrodzeń dla: (a) mężczyzny z 10 latami doświadczenia; (b) kobiety z 10 latami doświadczenia.

Strategia. Zmienna dummy tworzy dwa różne wyrazy wolne (jeden dla każdej płci), utrzymując równe nachylenie.

Rozwiązanie.

$\hat\beta_D = -8$ : kontrolując doświadczenie, kobiety zarabiają średnio 8 tys. R$/rok mniej niż mężczyźni — różnica sumaryczna (nie przyczynowa, bo nie kontrolujemy sektor, stanowisko, czas pracy).

(a) Mężczyzna ( $D=0$ ), $X_1=10$ : $\hat Y = 45 + 25 - 0 = 70$ tys. R$/rok.

(b) Kobieta ( $D=1$ ), $X_1=10$ : $\hat Y = 45 + 25 - 8 = 62$ tys. R$/rok.

Weryfikacja. Różnica jest stała ( $-8$ ) dla każdego poziomu doświadczenia — model bez interakcji zakłada efekt addytywny. Aby pozwolić na różne nachylenia, dodaj $X_1 \times D$ .

Źródło. OpenIntro Statistics, §8.2, Przykład 8.4 — CC-BY-SA

Exercise list

20 exercises · 5 with worked solution (25%)

Application 10Understanding 3Modeling 3Challenge 3Proof 1

Ex. 106.1ApplicationAnswer key
Regresja: $\hat Y = 50 + 3{,}2X_1 + 28X_2 + 5{,}5X_3$ (cena w tys. R$, powierzchnia m², pokoje, piętro). Zinterpretuj każdy współczynnik.
Solve online
Ex. 106.2Application
Używając $\hat Y = 50 + 3{,}2X_1 + 28X_2 + 5{,}5X_3$ , oblicz prognozę i resztę dla mieszkania 80 m², 3 pokoje, piętro 5 z obserwowaną ceną 450 tys. R$.
Solve online
Ex. 106.3ApplicationAnswer key
$n=40$ , $p=3$ predyktory, $SST=2000$ , $SSE=800$ . Oblicz $R^2$ i $\bar R^2$ .
Solve online
Ex. 106.4ApplicationAnswer key
$n=50$ . Trzy modele z $p=1,3,6$ predyktorami i $SSE/SST = 0{,}40$ ; $0{,}35$ ; $0{,}32$ . Oblicz $\bar R^2$ każdego i wskaż preferowany.
Solve online
Ex. 106.5Application
$n=60$ , $p=4$ , $SST=3600$ , $R^2=0{,}72$ . Złóż tabelę ANOVA i testuj model na poziomie 5%.
Solve online
Ex. 106.6Application
Regresje pomocnicze dla 3 predyktorów: $R_1^2=0{,}30$ , $R_2^2=0{,}70$ , $R_3^2=0{,}92$ . Oblicz VIFy i zidentyfikuj silną współliniowość.
Solve online
Ex. 106.7Application
Regresja wyniku ENEM na dochody rodzinne ( $X_1$ ) i uczestnictwo w programie wsparcia ( $D$ : 1=tak, 0=nie): $\hat Y = 480 + 8{,}2X_1 + 12{,}4D$ , $n=200$ . Zinterpretuj $\hat\beta_D = 12{,}4$ .
Solve online
Ex. 106.8Application
$n=50$ , $p=3$ , $\hat\beta_1=2{,}8$ , $SE(\hat\beta_1)=0{,}7$ . Testuj $H_0:\beta_1=0$ na poziomie 5% (dwustronnie).
Solve online
Ex. 106.9Application
$n=50$ , $p=3$ , $\hat\beta_2=5{,}2$ , $SE(\hat\beta_2)=1{,}8$ . Zbuduj PU 95% dla $\beta_2$ . Użyj $t_{46;\,0{,}025}\approx 2{,}013$ .
Solve online
Ex. 106.10Application
Cztery z pięciu reszt regresji to: $3{,}2$ ; $-1{,}5$ ; $-0{,}8$ ; $2{,}1$ . Jaka jest piąta reszta?
Solve online
Ex. 106.11Understanding
Które stwierdzenie o $R^2$ i $R^2$ skorygowanym jest PRAWDZIWE?
Solve online
Ex. 106.12Understanding
Jaki jest główny praktyczny efekt współliniowości w regresji wielorakiej?
Solve online
Ex. 106.13Understanding
Które stwierdzenie o współczynnikach cząstkowych w regresji wielorakiej jest PRAWDZIWE?
Solve online
Ex. 106.14Modeling
Regresja miesięcznych wydatków rodziny (tys. R$) na 4 predyktorach społeczno-ekonomicznych: $n=80$ , $SST=18000$ , $SSE=5400$ . Oblicz $MSE$ , $\hat\sigma$ i $\bar R^2$ .
Solve online
Ex. 106.15Modeling
Model: $\hat Y = 45 + 2{,}5X_1 - 8D$ (wynagrodzenie w tys. R$, doświadczenie w latach, $D$ =1 jeśli kobieta). Oblicz wynagrodzenia dla (a) mężczyzny, 10 lat; (b) kobiety, 10 lat. Jak dodać interakcję aby sprawdzić czy różnica zmienia się z doświadczeniem?
Solve online
Ex. 106.16ModelingAnswer key
Badacz ma model regresji z 2 predyktorami ( $R^2=0{,}65$ , $\bar R^2=0{,}64$ ) i rozważa dodanie trzeciego predyktora. Opisz dwa kryteria aby zdecydować czy go uwzględnić.
Solve online
Ex. 106.17Challenge
Udowodnij że macierz hat $H = X(X^TX)^{-1}X^T$ jest idempotentna: $H^2 = H$ .
Solve online
Ex. 106.18Challenge
Dane: $n=6$ obserwacji z $Y=(10,14,18,12,16,20)$ , $X_1=(1,2,3,2,3,4)$ , $X_2=(5,4,3,6,5,4)$ . Napisz macierz projektowania $X$ i opisz procedurę do obliczenia $\hat{\boldsymbol\beta} = (X^TX)^{-1}X^T\mathbf{y}$ (nie trzeba wykonywać inwersji ręcznie — opisz kroki).
Solve online
Ex. 106.19ProofAnswer key
Udowodnij że w każdej regresji z wyrazem wolnym, $\sum_{i=1}^n e_i = 0$ , używając ortogonalności $X^T\mathbf{e} = \mathbf{0}$ .
Solve online
Ex. 106.20Challenge
Pokaż że dodanie predyktora do modelu zwiększa $\bar R^2$ wtedy i tylko wtedy gdy statystyka $|T|$ nowego predyktora jest większa niż 1.
Solve online

Źródła

OpenIntro Statistics (4. ed.) — Diez, Çetinkaya-Rundel, Barr · CC-BY-SA · Rozdział 8 (Multiple and logistic regression). Źródło pierwotne dla interpretacji współczynników, $\bar R^2$ , współliniowości i zmiennych dummy.
Statistics — OpenStax — Illowsky, Dean · CC-BY · Rozdział 13 (Linear Regression and Correlation — Multiple). Źródło dla tabel ANOVA regresji wielorakiej i globalnego testu F.
Probabilidade e Estatística — Wikilivros — kolaboratywne · CC-BY-SA · Sekcja regresji wielorakiej. Odniesienie w PT-BR z notacją macierzową.

Definicja rygorystyczna

Model regresji liniowej wielorakiej

Metryki dopasowania

Wnioskowanie

Przykłady rozwiązane

Źródła