v1 · padrão canônico

Mínimos Quadrados e Regressão

Equações normais, fatoração QR, mínimos quadrados ponderados, regularização de Tikhonov (ridge), regressão polinomial e aplicações em ajuste de curvas.

Used in: engenharia

Choose your door

Real scenarios with market data and step-by-step calculations

Aplicações de Mínimos Quadrados em Engenharia

Ajuste de Curva e Calibração de Sensores

Problema: calibrar um termopar medindo pares $(T_i, V_i)$ (temperatura, tensão). Modelo quadrático: $V = a_0 + a_1 T + a_2 T^2$ .

Configuração:

A = \begin{pmatrix} 1 & T_1 & T_1^2 \\ \vdots & \vdots & \vdots \\ 1 & T_m & T_m^2 \end{pmatrix}, \quad b = \begin{pmatrix} V_1 \\ \vdots \\ V_m \end{pmatrix}

Código Python:

import numpy as np

# Dados de calibração
T = np.array([0, 25, 50, 75, 100, 125, 150])
V = np.array([0.0, 1.02, 2.05, 3.10, 4.13, 5.17, 6.18])

# Montar matriz de Vandermonde grau 2
A = np.column_stack([np.ones_like(T), T, T**2])

# Resolver via equações normais (ou np.linalg.lstsq)
c, residuals, rank, sv = np.linalg.lstsq(A, V, rcond=None)
print(f"Coeficientes: a0={c[0]:.4f}, a1={c[1]:.4f}, a2={c[2]:.6f}")

Ridge Regression — Controle de Multicolinearidade

from numpy.linalg import solve, norm

def ridge_regression(A, b, lam):
    n = A.shape[1]
    ATA = A.T @ A
    ATb = A.T @ b
    return solve(ATA + lam * np.eye(n), ATb)

# Comparar condicionamento
lambdas = [0, 0.01, 0.1, 1.0]
for lam in lambdas:
    M = A.T @ A + lam * np.eye(3)
    print(f"λ={lam:.2f}: cond(A^TA+λI) = {np.linalg.cond(M):.1f}")

Sistema de Controle — Identificação de Parâmetros

Identificar parâmetros $a, b, c$ do sistema $y[k] = a\, y[k-1] + b\, y[k-2] + c\, u[k-1]$ via mínimos quadrados: montar o regresor $\phi[k] = (y[k-1], y[k-2], u[k-1])^T$ e empilhar observações.

Referências: Strang (2016) §4.3; Kay (1993) Cap. 8 (estimação de parâmetros).

Example

Exemplo 1 — Regressão Linear Simples

Dados: 4 pontos $(1,1), (2,2), (3,2), (4,3)$ . Ajustar reta $y = c_0 + c_1 x$ .

Configuração:

A = \begin{pmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{pmatrix}, \quad b = \begin{pmatrix} 1 \\ 2 \\ 2 \\ 3 \end{pmatrix}

Equações normais $A^TA\hat{c} = A^Tb$ :

A^TA = \begin{pmatrix} 4 & 10 \\ 10 & 30 \end{pmatrix}, \quad A^Tb = \begin{pmatrix} 8 \\ 22 \end{pmatrix}

Solução: $\det(A^TA) = 120 - 100 = 20$ .

\hat{c} = \frac{1}{20}\begin{pmatrix} 30 & -10 \\ -10 & 4 \end{pmatrix}\begin{pmatrix} 8 \\ 22 \end{pmatrix} = \frac{1}{20}\begin{pmatrix} 20 \\ 8 \end{pmatrix} = \begin{pmatrix} 1.0 \\ 0.4 \end{pmatrix}

Reta ajustada: $y = 1{,}0 + 0{,}4x$ .

Resíduo: $\|b - A\hat{c}\|^2 = (1 - 1{,}4)^2 + (2 - 1{,}8)^2 + (2 - 2{,}2)^2 + (3 - 2{,}6)^2 = 0{,}4$ .

Referência: Strang, Introduction to Linear Algebra, 5ª ed., §4.3.

Example

Exemplo 2 — Mínimos Quadrados via QR

Dados do Exemplo 1. Fatorar $A = QR$ via Gram-Schmidt:

Passo 1: Ortogonalizar colunas de $A$ :

a_1 = (1,1,1,1)^T \Rightarrow e_1 = \frac{a_1}{\|a_1\|} = \frac{1}{2}(1,1,1,1)^T

a_2 = (1,2,3,4)^T, \quad a_2' = a_2 - \langle a_2, e_1\rangle e_1 = (1,2,3,4)^T - \frac{10}{4}(1,1,1,1)^T = (-\tfrac{3}{2},-\tfrac{1}{2},\tfrac{1}{2},\tfrac{3}{2})^T

\|a_2'\| = \sqrt{9/4 + 1/4 + 1/4 + 9/4} = \sqrt{5}, \quad e_2 = \frac{a_2'}{\sqrt{5}}

Passo 2: Montar $Q = [e_1 \; e_2]$ e $R = Q^TA$ (triangular superior).

Passo 3: Resolver $R\hat{c} = Q^Tb$ por substituição retroativa. O resultado coincide com o Exemplo 1.

Vantagem numérica: $\kappa_2(Q^TA) = \kappa_2(R) = \kappa_2(A)$ , enquanto $\kappa_2(A^TA) = \kappa_2(A)^2$ .

Referência: Strang, Linear Algebra and Its Applications, 4ª ed., §4.4; Golub & Van Loan, Matrix Computations, 4ª ed., §5.3.

Example

Exemplo 3 — Regularização Ridge

Problema: ajustar polinômio de grau 5 a 7 pontos igualmente espaçados em $[-1,1]$ com ruído. Sem regularização, $\kappa_2(A^TA) \approx 10^{10}$ ; com $\lambda = 0{,}01$ reduz para $\approx 10^4$ .

Filtros de Tikhonov via SVD:

$\sigma_i$	$1/\sigma_i$ (MQ)	$\sigma_i/(\sigma_i^2+0{,}01)$ (Ridge)
2.45	0.41	0.40
1.10	0.91	0.85
0.30	3.33	2.73
0.05	20.0	4.76
0.01	100.	5.00

A regularização atenua drasticamente os fatores de amplificação para valores singulares pequenos, estabilizando a solução.

Referência: Tikhonov & Arsenin, Solutions of Ill-Posed Problems (1977); Hansen, Rank-Deficient and Discrete Ill-Posed Problems (1998), §2.

To continue

Referências Bibliográficas

Strang, G. Introduction to Linear Algebra, 5ª ed. Wellesley-Cambridge Press, 2016. §§4.2–4.4 (projeções e mínimos quadrados), §4.5 (pseudo-inversa).
Strang, G. Linear Algebra and Its Applications, 4ª ed. Thomson Brooks/Cole, 2006. §4.3–4.4 (fatoração QR).
Lay, D.C.; Lay, S.R.; McDonald, J.J. Linear Algebra and Its Applications, 5ª ed. Pearson, 2016. §§6.5–6.6 (mínimos quadrados e equações normais).
Golub, G.H.; Van Loan, C.F. Matrix Computations, 4ª ed. Johns Hopkins Univ. Press, 2013. §5.3 (QR), §12.1 (regularização), §12.3 (TLS).
Kay, S.M. Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory. Prentice Hall, 1993. §§8–12 (estimação de mínimos quadrados e RLS).
Hansen, P.C. Rank-Deficient and Discrete Ill-Posed Problems. SIAM, 1998. §§2–3 (SVD e regularização de Tikhonov).
Tikhonov, A.N.; Arsenin, V.Y. Solutions of Ill-Posed Problems. Wiley, 1977. (referência clássica para regularização).
Horn, R.A.; Johnson, C.R. Matrix Analysis, 2ª ed. Cambridge Univ. Press, 2013. §§2–3 (normas matriciais e pseudoinversa).