v1 · padrão canônico

Lição 106 — Regressão múltipla

Modelo com p preditores, solução matricial OLS, R² ajustado, multicolinearidade, seleção de variáveis e diagnóstico de pressupostos.

Used in: Stochastik LK alemão (Klasse 12) · H2 Mathematics Singapura (§15) · econometria introdutória

\hat{\boldsymbol\beta} = (X^TX)^{-1}X^T\mathbf{y}

Choose your door

Rigorous notation, full derivation, hypotheses

Definição rigorosa

Modelo de regressão linear múltipla

Definition· Modelo e notacao matricial

Para $n$ observações e $p$ preditores:

$Y_i = \beta_0 + \beta_1 X_{i1} + \beta_2 X_{i2} + \cdots + \beta_p X_{ip} + \varepsilon_i, \quad \varepsilon_i \stackrel{i.i.d.}{\sim} \mathcal{N}(0,\sigma^2)$

Em forma matricial: $\mathbf{Y} = X\boldsymbol\beta + \boldsymbol\varepsilon$ , onde:

$\mathbf{Y} \in \mathbb{R}^n$ : vetor de respostas.
$X \in \mathbb{R}^{n\times(p+1)}$ : matriz de design (primeira coluna de 1s para o intercepto).
$\boldsymbol\beta \in \mathbb{R}^{p+1}$ : vetor de coeficientes.
$\boldsymbol\varepsilon \in \mathbb{R}^n$ : vetor de erros.

"The multiple regression model is $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_k x_k + \varepsilon$ . The coefficient $\beta_i$ measures the expected change in $y$ per unit change in $x_i$ when all other predictors are held constant." — OpenIntro Statistics, §8.1, p. 362

Inferência

Representação matricial do modelo: $\mathbf{Y} = X\boldsymbol\beta + \boldsymbol\varepsilon$ . A primeira coluna de 1s em $X$ gera o intercepto $\beta_0$ .

Exemplos resolvidos

Example— 106.1· Ajuste e interpretacao com dois preditores

Problema. Regressão do salário anual $Y$ (R$ mil) sobre experiência $X_1$ (anos) e escolaridade $X_2$ (anos de estudo) produziu: $\hat Y = -12 + 2{,}8 X_1 + 5{,}2 X_2$ , com $n=50$ , $R^2=0{,}74$ , $\bar R^2=0{,}73$ .

Interprete cada coeficiente e calcule a previsão para um profissional com 10 anos de experiência e 16 anos de estudo.

Estratégia. Interpretar cada $\hat\beta_j$ como efeito parcial (ceteris paribus). Substituir os valores na equação ajustada.

Resolução.

$\hat\beta_0 = -12$ : intercepto (sem interpretação substantiva isolada — nenhum profissional tem zero anos de experiência e estudo).
$\hat\beta_1 = 2{,}8$ : controlando escolaridade, cada ano adicional de experiência está associado a R$ 2.800/ano a mais, em média.
$\hat\beta_2 = 5{,}2$ : controlando experiência, cada ano adicional de estudo está associado a R$ 5.200/ano a mais.

Previsão: $\hat Y = -12 + 2{,}8\times10 + 5{,}2\times16 = -12+28+83{,}2 = 99{,}2$ mil R$/ano.

Verificação. $\bar R^2 = 0{,}73$ próximo de $R^2 = 0{,}74$ : apenas 2 preditores, pouca penalização — modelo parsimonioso.

Fonte. OpenIntro Statistics, §8.1, Exemplo 8.1 — CC-BY-SA

Example— 106.2· R² ajustado na selecao entre modelos

Problema. Três modelos para prever o consumo de energia elétrica domiciliar ( $n=80$ ):

Modelo	Preditores	$R^2$	$\bar R^2$
M1	área	0,61	0,61
M2	área + nº moradores	0,71	0,70
M3	área + nº moradores + renda + temperatura + dia semana	0,74	0,70

Qual modelo preferir?

Estratégia. Comparar $\bar R^2$ — penaliza por número de preditores.

Resolução.

M2 e M3 têm o mesmo $\bar R^2 = 0{,}70$ , mas M3 usa 5 preditores contra 2 de M2. Pelo princípio da parcimônia (navalha de Occam), M2 é preferido: adicionar 3 preditores não melhora o $\bar R^2$ — eles não contribuem informação líquida.

Note que $R^2$ de M3 (0,74) supera M2 (0,71) — mas $R^2$ sempre cresce com preditores adicionais, mesmo irrelevantes.

Verificação. Poderia confirmar com AIC/BIC: $AIC = n\ln(SSE/n) + 2(p+1)$ — menor é melhor.

Fonte. OpenIntro Statistics, §8.3, Tabela 8.7 — CC-BY-SA

Example— 106.3· Teste F global e tabela ANOVA

Problema. Regressão com $p=3$ preditores, $n=40$ : $SST=2400$ , $SSE=720$ . Monte a tabela ANOVA e teste $H_0: \beta_1=\beta_2=\beta_3=0$ ao nível 5%.

Estratégia. Calcular SSR, df, MS, F; comparar com valor crítico $F_{3,36;\,0{,}05}$ .

Resolução.

$SSR = 2400-720 = 1680$ ; $R^2 = 1680/2400 = 0{,}70$ .

Fonte	SS	df	MS	F
Regressão	1680	3	560	28,0
Erro	720	36	20	—
Total	2400	39	—	—

$F_{3,36;\,0{,}05} \approx 2{,}87$ . Como $F = 28{,}0 \gg 2{,}87$ , rejeitamos $H_0$ : o modelo como um todo é altamente significativo.

Verificação. $MSE = 20 \implies \hat\sigma = \sqrt{20} \approx 4{,}47$ — desvio padrão residual em unidades de $Y$ .

Fonte. OpenStax Statistics, §13.4 — CC-BY

Example— 106.4· Detectar multicolinearidade via VIF

Problema. Regressão do preço de um veículo ( $Y$ ) sobre potência ( $X_1$ ), cilindrada ( $X_2$ ) e peso ( $X_3$ ). Regressões auxiliares: $R_1^2=0{,}89$ ( $X_1$ sobre $X_2, X_3$ ), $R_2^2=0{,}91$ , $R_3^2=0{,}85$ . Calcule os VIFs e avalie.

Estratégia. $VIF_j = 1/(1-R_j^2)$ .

Resolução.

$VIF_1 = 1/(1-0{,}89) = 9{,}09$ ; $VIF_2 = 1/(1-0{,}91) = 11{,}1$ ; $VIF_3 = 1/(1-0{,}85) = 6{,}67$ .

$VIF_2 = 11{,}1 > 10$ : cilindrada apresenta multicolinearidade severa com as demais variáveis.

Ação: remover $X_2$ do modelo ou combinar $X_1$ e $X_2$ em um índice composto (análise de componentes principais).

Verificação. Após remover $X_2$ , recalcular VIFs para os preditores restantes.

Fonte. OpenIntro Statistics, §8.4 — CC-BY-SA

Example— 106.5· Variavel dummy e interacao

Problema. Prever salário $Y$ (R$ mil/ano) usando experiência $X_1$ (anos) e gênero $D$ (1=feminino, 0=masculino). Resultado: $\hat Y = 45 + 2{,}5X_1 - 8D$ .

Interprete o coeficiente de $D$ e calcule os salários previstos para: (a) homem com 10 anos de experiência; (b) mulher com 10 anos de experiência.

Estratégia. A variável dummy cria dois interceptos diferentes (um por gênero), mantendo inclinação igual.

Resolução.

$\hat\beta_D = -8$ : controlando experiência, mulheres ganham em média R$ 8.000/ano a menos do que homens — diferença bruta (não causal, pois não controlamos setor, cargo, jornada).

(a) Homem ( $D=0$ ), $X_1=10$ : $\hat Y = 45 + 25 - 0 = 70$ mil R$/ano.

(b) Mulher ( $D=1$ ), $X_1=10$ : $\hat Y = 45 + 25 - 8 = 62$ mil R$/ano.

Verificação. A diferença é constante ( $-8$ ) para qualquer nível de experiência — modelo sem interação assume efeito aditivo. Para permitir inclinações diferentes, adicionar $X_1 \times D$ .

Fonte. OpenIntro Statistics, §8.2, Exemplo 8.4 — CC-BY-SA

Exercise list

20 exercises · 5 with worked solution (25%)

Application 10Understanding 3Modeling 3Challenge 3Proof 1

Ex. 106.1ApplicationAnswer key
Regressão: $\hat Y = 50 + 3{,}2X_1 + 28X_2 + 5{,}5X_3$ (preço em R$ mil, área m², quartos, andar). Interprete cada coeficiente.
Solve online
Ex. 106.2Application
Usando $\hat Y = 50 + 3{,}2X_1 + 28X_2 + 5{,}5X_3$ , calcule a previsão e o resíduo para um apartamento de 80 m², 3 quartos, 5º andar com preço observado de R$ 450 mil.
Solve online
Ex. 106.3ApplicationAnswer key
$n=40$ , $p=3$ preditores, $SST=2000$ , $SSE=800$ . Calcule $R^2$ e $\bar R^2$ .
Solve online
Ex. 106.4ApplicationAnswer key
$n=50$ . Três modelos com $p=1,3,6$ preditores e $SSE/SST = 0{,}40$ ; $0{,}35$ ; $0{,}32$ . Calcule $\bar R^2$ de cada e aponte o preferível.
Solve online
Ex. 106.5Application
$n=60$ , $p=4$ , $SST=3600$ , $R^2=0{,}72$ . Monte a tabela ANOVA e teste o modelo ao nível 5%.
Solve online
Ex. 106.6Application
Regressões auxiliares para 3 preditores: $R_1^2=0{,}30$ , $R_2^2=0{,}70$ , $R_3^2=0{,}92$ . Calcule os VIFs e identifique multicolinearidade severa.
Solve online
Ex. 106.7Application
Regressão da nota do ENEM em renda familiar ( $X_1$ ) e participação em programa de reforço ( $D$ : 1=sim, 0=não): $\hat Y = 480 + 8{,}2X_1 + 12{,}4D$ , $n=200$ . Interprete $\hat\beta_D = 12{,}4$ .
Solve online
Ex. 106.8Application
$n=50$ , $p=3$ , $\hat\beta_1=2{,}8$ , $SE(\hat\beta_1)=0{,}7$ . Teste $H_0:\beta_1=0$ ao nível 5% (bicaudal).
Solve online
Ex. 106.9Application
$n=50$ , $p=3$ , $\hat\beta_2=5{,}2$ , $SE(\hat\beta_2)=1{,}8$ . Construa IC 95% para $\beta_2$ . Use $t_{46;\,0{,}025}\approx 2{,}013$ .
Solve online
Ex. 106.10Application
Quatro dos cinco resíduos de uma regressão são: $3{,}2$ ; $-1{,}5$ ; $-0{,}8$ ; $2{,}1$ . Qual é o quinto resíduo?
Solve online
Ex. 106.11Understanding
Qual afirmação sobre $R^2$ e $R^2$ ajustado é CORRETA?
Solve online
Ex. 106.12Understanding
Qual é o principal efeito prático da multicolinearidade em regressão múltipla?
Solve online
Ex. 106.13Understanding
Qual afirmação sobre coeficientes parciais em regressão múltipla é CORRETA?
Solve online
Ex. 106.14Modeling
Regressão do gasto mensal familiar (R$ mil) sobre 4 preditores socioeconômicos: $n=80$ , $SST=18000$ , $SSE=5400$ . Calcule $MSE$ , $\hat\sigma$ e $\bar R^2$ .
Solve online
Ex. 106.15Modeling
Modelo: $\hat Y = 45 + 2{,}5X_1 - 8D$ (salário em R$ mil, experiência em anos, $D$ =1 se mulher). Calcule salários para (a) homem, 10 anos; (b) mulher, 10 anos. Como incluir interação para verificar se o gap varia com experiência?
Solve online
Ex. 106.16ModelingAnswer key
Um pesquisador tem modelo de regressão com 2 preditores ( $R^2=0{,}65$ , $\bar R^2=0{,}64$ ) e considera adicionar um terceiro preditor. Descreva dois critérios para decidir se deve incluí-lo.
Solve online
Ex. 106.17Challenge
Prove que o hat matrix $H = X(X^TX)^{-1}X^T$ é idempotente: $H^2 = H$ .
Ex. 106.18Challenge
Dados: $n=6$ observações com $Y=(10,14,18,12,16,20)$ , $X_1=(1,2,3,2,3,4)$ , $X_2=(5,4,3,6,5,4)$ . Escreva a matriz de design $X$ e enuncie o procedimento para calcular $\hat{\boldsymbol\beta} = (X^TX)^{-1}X^T\mathbf{y}$ (não é necessário executar a inversão a mão — descreva os passos).
Solve online
Ex. 106.19ProofAnswer key
Prove que em qualquer regressão com intercepto, $\sum_{i=1}^n e_i = 0$ , usando a ortogonalidade $X^T\mathbf{e} = \mathbf{0}$ .
Ex. 106.20Challenge
Mostre que adicionar um preditor ao modelo aumenta $\bar R^2$ se e somente se a estatística $|T|$ do novo preditor é maior que 1.

Fontes

OpenIntro Statistics (4ª ed.) — Diez, Çetinkaya-Rundel, Barr · CC-BY-SA · Capítulo 8 (Multiple and logistic regression). Fonte primária para interpretação de coeficientes, $\bar R^2$ , multicolinearidade e variáveis dummy.
Statistics — OpenStax — Illowsky, Dean · CC-BY · Capítulo 13 (Linear Regression and Correlation — Multiple). Fonte para tabelas ANOVA de regressão múltipla e teste F global.
Probabilidade e Estatística — Wikilivros — colaborativo · CC-BY-SA · Seção de regressão múltipla. Referência em PT-BR com notação matricial.

Definição rigorosa

Modelo de regressão linear múltipla

Métricas de ajuste

Inferência

Exemplos resolvidos

Fontes