v1 · padrão canônico

Lección 106 — Regresión múltiple

Modelo con p predictores, solución matricial OLS, R² ajustado, multicolinealidad, selección de variables y diagnóstico de supuestos.

Used in: Stochastik LK alemão (Klasse 12) · H2 Mathematics Singapura (§15) · econometria introdutória

\hat{\boldsymbol\beta} = (X^TX)^{-1}X^T\mathbf{y}

Choose your door

Rigorous notation, full derivation, hypotheses

Definición rigurosa

Modelo de regresión lineal múltiple

Definition· Modelo y notacion matricial

Para $n$ observaciones y $p$ predictores:

$Y_i = \beta_0 + \beta_1 X_{i1} + \beta_2 X_{i2} + \cdots + \beta_p X_{ip} + \varepsilon_i, \quad \varepsilon_i \stackrel{i.i.d.}{\sim} \mathcal{N}(0,\sigma^2)$

En forma matricial: $\mathbf{Y} = X\boldsymbol\beta + \boldsymbol\varepsilon$ , donde:

$\mathbf{Y} \in \mathbb{R}^n$ : vector de respuestas.
$X \in \mathbb{R}^{n\times(p+1)}$ : matriz de diseño (primera columna de 1s para el intercepto).
$\boldsymbol\beta \in \mathbb{R}^{p+1}$ : vector de coeficientes.
$\boldsymbol\varepsilon \in \mathbb{R}^n$ : vector de errores.

"The multiple regression model is $y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_k x_k + \varepsilon$ . The coefficient $\beta_i$ measures the expected change in $y$ per unit change in $x_i$ when all other predictors are held constant." — OpenIntro Statistics, §8.1, p. 362

Inferencia

Representación matricial del modelo: $\mathbf{Y} = X\boldsymbol\beta + \boldsymbol\varepsilon$ . La primera columna de 1s en $X$ genera el intercepto $\beta_0$ .

Ejemplos resueltos

Example— 106.1· Ajuste e interpretacion con dos predictores

Problema. Regresión del salario anual $Y$ (BRL mil, en reales) sobre experiencia $X_1$ (años) y escolaridad $X_2$ (años de estudio) produjo: $\hat Y = -12 + 2{,}8 X_1 + 5{,}2 X_2$ , con $n=50$ , $R^2=0{,}74$ , $\bar R^2=0{,}73$ .

Interprete cada coeficiente y calcule la predicción para un profesional con 10 años de experiencia y 16 años de estudio.

Estrategia. Interpretar cada $\hat\beta_j$ como efecto parcial (ceteris paribus). Sustituir los valores en la ecuación ajustada.

Resolución.

$\hat\beta_0 = -12$ : intercepto (sin interpretación sustantiva aislada — ningún profesional tiene cero años de experiencia y estudio).
$\hat\beta_1 = 2{,}8$ : controlando la escolaridad, cada año adicional de experiencia está asociado a BRL 2.800/año más, en promedio.
$\hat\beta_2 = 5{,}2$ : controlando la experiencia, cada año adicional de estudio está asociado a BRL 5.200/año más.

Predicción: $\hat Y = -12 + 2{,}8\times10 + 5{,}2\times16 = -12+28+83{,}2 = 99{,}2$ mil BRL/año.

Verificación. $\bar R^2 = 0{,}73$ próximo a $R^2 = 0{,}74$ : solo 2 predictores, poca penalización — modelo parsimonioso.

Fuente. OpenIntro Statistics, §8.1, Ejemplo 8.1 — CC-BY-SA

Example— 106.2· R² ajustado en la seleccion entre modelos

Problema. Tres modelos para predecir el consumo de energía eléctrica domiciliaria ( $n=80$ ):

Modelo	Predictores	$R^2$	$\bar R^2$
M1	superficie	0,61	0,61
M2	superficie + nº residentes	0,71	0,70
M3	superficie + nº residentes + renta + temperatura + día semana	0,74	0,70

¿Qué modelo preferir?

Estrategia. Comparar $\bar R^2$ — penaliza por número de predictores.

Resolución.

M2 y M3 tienen el mismo $\bar R^2 = 0{,}70$ , pero M3 usa 5 predictores frente a 2 de M2. Por el principio de parsimonia (navaja de Occam), se prefiere M2: añadir 3 predictores no mejora el $\bar R^2$ — no aportan información neta.

Nótese que $R^2$ de M3 (0,74) supera a M2 (0,71) — pero $R^2$ siempre crece con predictores adicionales, aunque sean irrelevantes.

Verificación. Podría confirmarse con AIC/BIC: $AIC = n\ln(SSE/n) + 2(p+1)$ — menor es mejor.

Fuente. OpenIntro Statistics, §8.3, Tabla 8.7 — CC-BY-SA

Example— 106.3· Prueba F global y tabla ANOVA

Problema. Regresión con $p=3$ predictores, $n=40$ : $SST=2400$ , $SSE=720$ . Construya la tabla ANOVA y contraste $H_0: \beta_1=\beta_2=\beta_3=0$ al nivel del 5%.

Estrategia. Calcular SSR, df, MS, F; comparar con el valor crítico $F_{3,36;\,0{,}05}$ .

Resolución.

$SSR = 2400-720 = 1680$ ; $R^2 = 1680/2400 = 0{,}70$ .

Fuente	SS	df	MS	F
Regresión	1680	3	560	28,0
Error	720	36	20	—
Total	2400	39	—	—

$F_{3,36;\,0{,}05} \approx 2{,}87$ . Como $F = 28{,}0 \gg 2{,}87$ , rechazamos $H_0$ : el modelo en su conjunto es altamente significativo.

Verificación. $MSE = 20 \implies \hat\sigma = \sqrt{20} \approx 4{,}47$ — desviación típica residual en unidades de $Y$ .

Fuente. OpenStax Statistics, §13.4 — CC-BY

Example— 106.4· Detectar multicolinealidad mediante VIF

Problema. Regresión del precio de un vehículo ( $Y$ ) sobre potencia ( $X_1$ ), cilindrada ( $X_2$ ) y peso ( $X_3$ ). Regresiones auxiliares: $R_1^2=0{,}89$ ( $X_1$ sobre $X_2, X_3$ ), $R_2^2=0{,}91$ , $R_3^2=0{,}85$ . Calcule los VIF y evalúe.

Estrategia. $VIF_j = 1/(1-R_j^2)$ .

Resolución.

$VIF_1 = 1/(1-0{,}89) = 9{,}09$ ; $VIF_2 = 1/(1-0{,}91) = 11{,}1$ ; $VIF_3 = 1/(1-0{,}85) = 6{,}67$ .

$VIF_2 = 11{,}1 > 10$ : la cilindrada presenta multicolinealidad severa con las demás variables.

Acción: eliminar $X_2$ del modelo o combinar $X_1$ y $X_2$ en un índice compuesto (análisis de componentes principales).

Verificación. Tras eliminar $X_2$ , recalcular los VIF para los predictores restantes.

Fuente. OpenIntro Statistics, §8.4 — CC-BY-SA

Example— 106.5· Variable dummy e interaccion

Problema. Predecir el salario $Y$ (BRL mil/año, en reales) usando experiencia $X_1$ (años) y género $D$ (1=femenino, 0=masculino). Resultado: $\hat Y = 45 + 2{,}5X_1 - 8D$ .

Interprete el coeficiente de $D$ y calcule los salarios previstos para: (a) hombre con 10 años de experiencia; (b) mujer con 10 años de experiencia.

Estrategia. La variable dummy crea dos interceptos distintos (uno por género), manteniendo la pendiente igual.

Resolución.

$\hat\beta_D = -8$ : controlando la experiencia, las mujeres ganan en promedio BRL 8.000/año menos que los hombres — diferencia bruta (no causal, pues no controlamos sector, cargo ni jornada).

(a) Hombre ( $D=0$ ), $X_1=10$ : $\hat Y = 45 + 25 - 0 = 70$ mil BRL/año.

(b) Mujer ( $D=1$ ), $X_1=10$ : $\hat Y = 45 + 25 - 8 = 62$ mil BRL/año.

Verificación. La diferencia es constante ( $-8$ ) para cualquier nivel de experiencia — el modelo sin interacción asume efecto aditivo. Para permitir pendientes distintas, añadir $X_1 \times D$ .

Fuente. OpenIntro Statistics, §8.2, Ejemplo 8.4 — CC-BY-SA

Exercise list

20 exercises · 5 with worked solution (25%)

Application 10Understanding 3Modeling 3Challenge 3Proof 1

Ex. 106.1ApplicationAnswer key
Regresión: $\hat Y = 50 + 3{,}2X_1 + 28X_2 + 5{,}5X_3$ (precio en BRL mil, superficie m², habitaciones, planta). Interprete cada coeficiente.
Solve online
Ex. 106.2Application
Usando $\hat Y = 50 + 3{,}2X_1 + 28X_2 + 5{,}5X_3$ , calcule la predicción y el residuo para un piso de 80 m², 3 habitaciones, 5ª planta con precio observado de BRL 450 mil.
Solve online
Ex. 106.3ApplicationAnswer key
$n=40$ , $p=3$ predictores, $SST=2000$ , $SSE=800$ . Calcule $R^2$ y $\bar R^2$ .
Solve online
Ex. 106.4ApplicationAnswer key
$n=50$ . Tres modelos con $p=1,3,6$ predictores y $SSE/SST = 0{,}40$ ; $0{,}35$ ; $0{,}32$ . Calcule $\bar R^2$ de cada uno e indique el preferible.
Solve online
Ex. 106.5Application
$n=60$ , $p=4$ , $SST=3600$ , $R^2=0{,}72$ . Construya la tabla ANOVA y contraste el modelo al nivel del 5%.
Solve online
Ex. 106.6Application
Regresiones auxiliares para 3 predictores: $R_1^2=0{,}30$ , $R_2^2=0{,}70$ , $R_3^2=0{,}92$ . Calcule los VIF e identifique la multicolinealidad severa.
Solve online
Ex. 106.7Application
Regresión de la nota del ENEM en renta familiar ( $X_1$ ) y participación en programa de refuerzo ( $D$ : 1=sí, 0=no): $\hat Y = 480 + 8{,}2X_1 + 12{,}4D$ , $n=200$ . Interprete $\hat\beta_D = 12{,}4$ .
Solve online
Ex. 106.8Application
$n=50$ , $p=3$ , $\hat\beta_1=2{,}8$ , $SE(\hat\beta_1)=0{,}7$ . Contraste $H_0:\beta_1=0$ al nivel del 5% (bilateral).
Solve online
Ex. 106.9Application
$n=50$ , $p=3$ , $\hat\beta_2=5{,}2$ , $SE(\hat\beta_2)=1{,}8$ . Construya un IC del 95% para $\beta_2$ . Use $t_{46;\,0{,}025}\approx 2{,}013$ .
Solve online
Ex. 106.10Application
Cuatro de los cinco residuos de una regresión son: $3{,}2$ ; $-1{,}5$ ; $-0{,}8$ ; $2{,}1$ . ¿Cuál es el quinto residuo?
Solve online
Ex. 106.11Understanding
¿Qué afirmación sobre $R^2$ y $R^2$ ajustado es CORRECTA?
Solve online
Ex. 106.12Understanding
¿Cuál es el principal efecto práctico de la multicolinealidad en la regresión múltiple?
Solve online
Ex. 106.13Understanding
¿Qué afirmación sobre coeficientes parciales en regresión múltiple es CORRECTA?
Solve online
Ex. 106.14Modeling
Regresión del gasto mensual familiar (BRL mil, en reales) sobre 4 predictores socioeconómicos: $n=80$ , $SST=18000$ , $SSE=5400$ . Calcule $MSE$ , $\hat\sigma$ y $\bar R^2$ .
Solve online
Ex. 106.15Modeling
Modelo: $\hat Y = 45 + 2{,}5X_1 - 8D$ (salario en BRL mil, experiencia en años, $D$ =1 si mujer). Calcule salarios para (a) hombre, 10 años; (b) mujer, 10 años. ¿Cómo incluir la interacción para verificar si la brecha varía con la experiencia?
Solve online
Ex. 106.16ModelingAnswer key
Un investigador tiene un modelo de regresión con 2 predictores ( $R^2=0{,}65$ , $\bar R^2=0{,}64$ ) y considera añadir un tercer predictor. Describa dos criterios para decidir si debe incluirlo.
Solve online
Ex. 106.17Challenge
Demuestre que el hat matrix $H = X(X^TX)^{-1}X^T$ es idempotente: $H^2 = H$ .
Solve online
Ex. 106.18Challenge
Datos: $n=6$ observaciones con $Y=(10,14,18,12,16,20)$ , $X_1=(1,2,3,2,3,4)$ , $X_2=(5,4,3,6,5,4)$ . Escriba la matriz de diseño $X$ y enuncie el procedimiento para calcular $\hat{\boldsymbol\beta} = (X^TX)^{-1}X^T\mathbf{y}$ (no es necesario ejecutar la inversión a mano — describa los pasos).
Solve online
Ex. 106.19ProofAnswer key
Demuestre que en cualquier regresión con intercepto, $\sum_{i=1}^n e_i = 0$ , usando la ortogonalidad $X^T\mathbf{e} = \mathbf{0}$ .
Solve online
Ex. 106.20Challenge
Muestre que añadir un predictor al modelo aumenta $\bar R^2$ si y solo si el estadístico $|T|$ del nuevo predictor es mayor que 1.
Solve online

Fuentes

OpenIntro Statistics (4ª ed.) — Diez, Çetinkaya-Rundel, Barr · CC-BY-SA · Capítulo 8 (Multiple and logistic regression). Fuente primaria para la interpretación de coeficientes, $\bar R^2$ , multicolinealidad y variables dummy.
Statistics — OpenStax — Illowsky, Dean · CC-BY · Capítulo 13 (Linear Regression and Correlation — Multiple). Fuente para tablas ANOVA de regresión múltiple y prueba F global.
Probabilidade e Estatística — Wikilivros — colaborativo · CC-BY-SA · Sección de regresión múltiple. Referencia en PT-BR con notación matricial.

Definición rigurosa

Modelo de regresión lineal múltiple

Métricas de ajuste

Inferencia

Ejemplos resueltos

Fuentes