v1 · padrão canônico

Lição 117 — Decomposição em valores singulares (SVD)

A = U Σ Vᵀ funciona para qualquer matriz real. Valores singulares revelam a estrutura geométrica. Base de compressão de imagens, recomendação, PCA e pseudoinversa.

Used in: 3.º ano do EM (17-18 anos) · Equiv. Lineare Algebra LK alemão · Equiv. H2 Math singapurense · Equiv. Math III japonês avançado

A = U\Sigma V^T

A SVD é a decomposição mais geral da álgebra linear: toda matriz $m \times n$ se escreve $A = U\Sigma V^T$ com $U$ e $V$ ortogonais e $\Sigma$ diagonal com valores singulares $\sigma_1 \geq \sigma_2 \geq \cdots \geq 0$ . A decomposição existe para qualquer matriz real (ou complexa) — mesmo retangular. É a base de PCA, compressão de imagem, recomendação e regressão estável.

Choose your door

Rigorous notation, full derivation, hypotheses

Definição e teorema

Teorema da SVD

"Any matrix A with rank r can be written as a product $A = U \Sigma V^T$ where U is orthogonal ( $m \times m$ ), $\Sigma$ is diagonal ( $m \times n$ , nonnegative entries decreasing), and V is orthogonal ( $n \times n$ ). The diagonal entries $\sigma_1 \geq \cdots \geq \sigma_r > 0$ are the singular values of A." — Understanding Linear Algebra, §6.3

"Theorem (Existence of SVD). Every real matrix A has a singular value decomposition. The singular values are the positive square roots of the nonzero eigenvalues of $A^T A$ ." — A First Course in Linear Algebra, §SVD

Conexão com autovalores

Os 4 subespaços fundamentais via SVD

Os 4 subespaços fundamentais de Strang lidos diretamente da SVD.

Teorema de Eckart-Young

Pseudoinversa de Moore-Penrose

Exemplos resolvidos

Example— 1· SVD de uma matriz 2x2 simples

Problema. Calcule a SVD de $A = \begin{pmatrix} 3 & 0 \\ 4 & 5 \end{pmatrix}$ .

Estratégia. Calcular $A^T A$ , decompor em autovetores/autovalores, obter $V$ e $\Sigma$ , depois $U$ .

Resolução.

A^T A = \begin{pmatrix} 3 & 4 \\ 0 & 5 \end{pmatrix}\begin{pmatrix} 3 & 0 \\ 4 & 5 \end{pmatrix} = \begin{pmatrix} 25 & 20 \\ 20 & 25 \end{pmatrix}

Autovalores: $\det(A^T A - \lambda I) = (25 - \lambda)^2 - 400 = 0$ , logo $\lambda_1 = 45$ e $\lambda_2 = 5$ .

Valores singulares: $\sigma_1 = \sqrt{45} = 3\sqrt{5}$ , $\sigma_2 = \sqrt{5}$ .

Autovetores de $A^T A$ : para $\lambda_1 = 45$ , resolve $(A^T A - 45I)v = 0$ : $v_1 = (1/\sqrt{2})(1, 1)^T$ ; para $\lambda_2 = 5$ : $v_2 = (1/\sqrt{2})(1, -1)^T$ .

Vetores à esquerda: $u_i = Av_i / \sigma_i$ .

u_1 = A v_1 / (3\sqrt{5}) = (1/(3\sqrt{5})) \begin{pmatrix} 3/\sqrt{2} \\ 9/\sqrt{2} \end{pmatrix} = (1/\sqrt{10})\begin{pmatrix}1\\3\end{pmatrix}

Verificação. $U \Sigma V^T$ deve reproduzir $A$ numericamente (conferir com calculadora).

Fonte. Understanding Linear Algebra, §6.3 — David Austin · CC-BY-SA.

Example— 2· Posto de uma matriz e subespaços via SVD

Problema. Determine o posto e bases dos 4 subespaços de $A = \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \end{pmatrix}$ via SVD.

Estratégia. $A$ é $2 \times 3$ . Como a linha 2 é o dobro da linha 1, o posto é 1.

Resolução.

A^T A = \begin{pmatrix} 1 & 2 \\ 2 & 4 \\ 3 & 6 \end{pmatrix}\begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \end{pmatrix} = \begin{pmatrix} 5 & 10 & 15 \\ 10 & 20 & 30 \\ 15 & 30 & 45 \end{pmatrix}

Autovalor não-nulo: $\lambda_1 = \text{tr}(A^T A) = 70$ (soma dos quadrados de todas as entradas, pois posto 1). Valor singular: $\sigma_1 = \sqrt{70}$ .

$v_1 = (1/\sqrt{14})(1, 2, 3)^T$ (direção da linha de $A$ ). $u_1 = Av_1/\sigma_1 = (1/\sqrt{2})(1, 2)^T$ .

Os 4 subespaços:

$\text{Row}(A) = \text{span}\{(1,2,3)\}$ — coluna 1 de $V$ .
$\ker(A) = \text{span}\{(-2,1,0), (-3,0,1)\}$ — colunas 2-3 de $V$ .
$\text{Col}(A) = \text{span}\{(1,2)\}$ — coluna 1 de $U$ .
$\ker(A^T) = \text{span}\{(-2,1)\}$ — coluna 2 de $U$ .

Verificação. Posto = número de valores singulares positivos = 1. Confirmar: dim Row + dim ker = 1 + 2 = 3 = n. ✓

Fonte. A First Course in Linear Algebra, §SVD e §FS — Rob Beezer · GNU FDL.

Example— 3· Melhor aproximação de posto 1 pelo teorema de Eckart-Young

Problema. Dada $A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \\ 1 & 1 \end{pmatrix}$ , encontre a melhor aproximação de posto 1 e calcule o erro de Frobenius.

Estratégia. Calcular a SVD e reter só o primeiro termo.

Resolução.

$A^T A = \begin{pmatrix} 6 & 5 \\ 5 & 6 \end{pmatrix}$ . Autovalores: 11 e 1. Valores singulares: $\sigma_1 = \sqrt{11}$ , $\sigma_2 = 1$ .

$v_1 = (1/\sqrt{2})(1,1)^T$ , $v_2 = (1/\sqrt{2})(1,-1)^T$ .

$u_1 = Av_1/\sqrt{11} = (1/\sqrt{22})(3, 3, 2)^T$ (normalizado).

Melhor aproximação de posto 1:

A_1 = \sigma_1 u_1 v_1^T = \sqrt{11} \cdot \frac{1}{\sqrt{22}}\begin{pmatrix}3\\3\\2\end{pmatrix} \cdot \frac{1}{\sqrt{2}}\begin{pmatrix}1&1\end{pmatrix} = \frac{1}{2}\begin{pmatrix}3&3\\3&3\\2&2\end{pmatrix}

Erro: $\|A - A_1\|_F = \sigma_2 = 1$ .

Verificação. $\|A\|_F^2 = 4+1+1+4+1+1 = 12 = \sigma_1^2 + \sigma_2^2 = 11 + 1$ . ✓

Fonte. Understanding Linear Algebra, §6.4 Exercício 6.4.3 — David Austin · CC-BY-SA.

Example— 4· Pseudoinversa de uma matriz retangular

Problema. Calcule $A^+$ para $A = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix}$ e resolva o sistema de mínimos quadrados $\min \|Ax - b\|$ com $b = (2, 3, 1)^T$ .

Estratégia. $A$ tem colunas ortonormais, logo SVD trivial: $U = I_{3\times 3}$ (colunas em ordem), $\Sigma = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix}$ , $V = I_{2\times 2}$ .

Resolução.

$\Sigma^+ = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \end{pmatrix}$ , portanto $A^+ = V \Sigma^+ U^T = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \end{pmatrix}$ .

Solução: $x^* = A^+ b = (2, 3)^T$ .

Resíduo: $b - Ax^* = (2,3,1)^T - (2,3,0)^T = (0,0,1)^T$ . Erro mínimo: $\|b - Ax^*\| = 1$ (a terceira linha de $b$ é irredutível).

Verificação. $A$ tem posto 2. A solução $x^* = (2,3)^T$ é de mínima norma. $\|A^+ A\| = I_2$ . ✓

Fonte. A First Course in Linear Algebra, §SVD Exercício SVD.C15 — Rob Beezer · GNU FDL.

Example— 5· Compressão de imagem: taxa de compressão e erro

Problema. Uma imagem em tons de cinza tem $512 \times 512$ pixels. Os valores singulares decaem como $\sigma_i = 10^4 / i$ . Calcule: (a) a variância explicada cumulativa pelos primeiros $k = 20$ componentes; (b) a taxa de compressão com $k = 20$ ; (c) o erro relativo de Frobenius.

Estratégia. Usar fórmulas do Teorema de Eckart-Young e definição de compressão.

Resolução.

(a) $\|A\|_F^2 = \sum_{i=1}^{512} \sigma_i^2 = 10^8 \sum_{i=1}^{512} 1/i^2 \approx 10^8 \cdot 1{,}6449 = 1{,}645 \times 10^8$ .

$\sum_{i=1}^{20} \sigma_i^2 = 10^8 \sum_{i=1}^{20} 1/i^2 \approx 10^8 \cdot 1{,}5962$ .

Variância explicada: $1{,}5962 / 1{,}6449 \approx 97{,}0\%$ .

(b) Armazenamento de $A_k$ : $k(m + n + 1) = 20(512 + 512 + 1) = 20505$ vs $512^2 = 262144$ . Taxa: $262144 / 20505 \approx 12{,}8\times$ .

Verificação. Com $k = 50$ , variância explicada seria ainda maior e erro menor. A escolha $k = 20$ já captura 97% com compressão 12.8x — excelente para visualização.

Fonte. Understanding Linear Algebra, §6.4 — David Austin · CC-BY-SA. Modelo de decaimento de $\sigma_i$ análogo ao Exercício 6.4.5.

Exercise list

30 exercises · 7 with worked solution (25%)

Application 19Understanding 4Modeling 4Challenge 1Proof 2

Ex. 117.1UnderstandingAnswer key
Explique a diferença entre autovalores e valores singulares de uma matriz $A$ . Para que tipo de matriz eles coincidem?
Solve online Understanding Linear Algebra · §6.3 · 6.3.1 · p. 311
Show solution
Os valores singulares são as raízes quadradas dos autovalores de $A^T A$ . São sempre reais e não-negativos, ao contrário dos autovalores de $A$ que podem ser complexos. Para matrizes simétricas positivas semi-definidas, autovalores e valores singulares coincidem.
Ex. 117.2Application
Calcule a SVD de $A = \begin{pmatrix} 0 & 3 \\ 4 & 0 \end{pmatrix}$ .
Solve online A First Course in Linear Algebra · §SVD · SVD.C10 · p. 498
Show solution
$A^T A = \begin{pmatrix} 9 & 0 \\ 0 & 16 \end{pmatrix}$ . Autovalores: 9 e 16. Valores singulares: $\sigma_1 = 4$ , $\sigma_2 = 3$ . $V = I_2$ (pois $A^T A$ já é diagonal). $U$ : colunas $u_i = Av_i/\sigma_i$ — como $A$ tem colunas ortonormais escaladas, $u_1 = (0,1)^T$ , $u_2 = (1,0)^T$ .
Show step-by-step (with the why)
1. Calcule $A^T A$ : multiplique transposta por original.
2. Ache autovalores de $A^T A$ (diagonal, são as entradas ao quadrado, reordenados).
3. Valores singulares: $\sigma_i = \sqrt{\lambda_i}$ em ordem decrescente.
4. Vetores $v_i$ : autovetores de $A^T A$ .
5. Vetores $u_i = Av_i/\sigma_i$ .
6. Macete: para $A$ diagonal, a SVD é trivial — só reorganize por $\sigma$ decrescente.
Ex. 117.3Application
Calcule a SVD compacta de $A = \begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$ . Qual o posto de $A$ ?
Solve online Understanding Linear Algebra · §6.3 · 6.3.3 · p. 313
Show solution
$A^T A = \begin{pmatrix} 2 & 2 \\ 2 & 2 \end{pmatrix}$ . Autovalores: 4 e 0. Valor singular: $\sigma_1 = 2$ . $v_1 = (1/\sqrt{2})(1,1)^T$ . $u_1 = Av_1/2 = (1/\sqrt{2})(1,1)^T$ . Posto = 1.
Ex. 117.4ApplicationAnswer key
Se a SVD de $A \in \mathbb{R}^{4 \times 3}$ tem valores singulares $\sigma_1 = 5, \sigma_2 = 3, \sigma_3 = 0$ , qual o posto de $A$ ? Qual a dimensão de $\ker(A)$ ?
Solve online A First Course in Linear Algebra · §SVD · SVD.M20 · p. 500
Show solution
Posto = número de valores singulares estritamente positivos. Para $A$ com SVD dada, o posto é 2, pois $\sigma_1 = 5$ e $\sigma_2 = 3$ são ambos positivos.
Ex. 117.5Application
A SVD de $A$ tem valores singulares $\sigma_1 = 8, \sigma_2 = 2, \sigma_3 = 1$ . Calcule o erro de Frobenius e o erro espectral da melhor aproximação de posto 1.
Understanding Linear Algebra · §6.4 · 6.4.1 · p. 325
Show solution
Melhor aproximação de posto 1: $A_1 = \sigma_1 u_1 v_1^T$ . Erro de Frobenius: $\|A - A_1\|_F = \sqrt{\sigma_2^2 + \sigma_3^2} = \sqrt{4 + 1} = \sqrt{5}$ . Erro espectral: $\|A - A_1\|_2 = \sigma_2 = 2$ .
Ex. 117.6Application
Descreva como calcular a pseudoinversa $A^+$ de $A \in \mathbb{R}^{2 \times 3}$ com valores singulares $\sigma_1 = 5, \sigma_2 = 3$ e posto 2. Qual a dimensão de $A^+$ ?
Solve online A First Course in Linear Algebra · §SVD · SVD.C20 · p. 502
Show solution
Usando SVD $A = U \Sigma V^T$ : $\Sigma^+ = \begin{pmatrix} 1/5 & 0 & 0 \\ 0 & 1/3 & 0 \end{pmatrix}$ . $A^+ = V \Sigma^+ U^T \in \mathbb{R}^{3 \times 2}$ . Solução de mínimos quadrados: $x^* = A^+ b$ .
Ex. 117.7Understanding
Uma matriz $A \in \mathbb{R}^{10 \times 10}$ tem valores singulares $\sigma_1 = 100$ e $\sigma_{10} = 0{,}01$ . Calcule $\kappa_2(A)$ e interprete o que isso significa para resolver $Ax = b$ numericamente.
Solve online Understanding Linear Algebra · §6.3 · 6.3.7 · p. 318
Show solution
O número de condicionamento $\kappa_2(A) = \sigma_1 / \sigma_r = 100 / 0{,}01 = 10^4$ . Um sistema muito mal-condicionado: erros relativos em $b$ são amplificados por até $10^4$ em $x$ . Dados com 4 algarismos significativos podem perder toda precisão.
Ex. 117.8Application
Uma matriz tem valores singulares $\sigma_1 = 10, \sigma_2 = 5, \sigma_3 = 2, \sigma_4 = 1$ . Qual o menor $k$ tal que a aproximação de posto $k$ explica pelo menos 95% da variância de Frobenius?
Solve online Understanding Linear Algebra · §6.4 · 6.4.4 · p. 327
Show solution
Variância explicada cumulativa: $\sum_{i=1}^k \sigma_i^2 / \sum_{j=1}^r \sigma_j^2$ . Com $\sigma = (10, 5, 2, 1)$ : $\sum \sigma_i^2 = 100 + 25 + 4 + 1 = 130$ . Top-1: $100/130 \approx 76{,}9\%$ . Top-2: $125/130 \approx 96{,}2\%$ . Escolha $k = 2$ para 95%.
Show step-by-step (with the why)
1. Calcule $\|A\|_F^2 = \sum_i \sigma_i^2$ .
2. Calcule variância explicada cumulativa até cada $k$ .
3. Encontre o menor $k$ tal que a proporção cumulativa $\geq 0{,}95$ .
4. Macete: o scree plot mostra $\sigma_i$ vs $i$ ; o "joelho" geralmente corresponde a ~95%.
Ex. 117.9Application
Mostre que, para uma matriz simétrica positiva semi-definida $A = Q \Lambda Q^T$ , a SVD tem $U = V = Q$ e $\Sigma = \Lambda$ . O que os valores singulares são, nesse caso?
A First Course in Linear Algebra · §SVD · SVD.T10 · p. 497
Show solution
Para $A$ simétrica PSD, $A = Q \Lambda Q^T$ (decomposição espectral) já é uma SVD com $U = V = Q$ e $\Sigma = \Lambda$ . Os valores singulares são os autovalores (não-negativos por PSD). A SVD coincide com a diagonalização.
Ex. 117.10Modeling
Uma imagem em tons de cinza é uma matriz $1000 \times 1000$ . Se você guardar a SVD truncada com $k = 50$ componentes, quantos floats armazena em comparação com a imagem original? Qual o fator de compressão?
Solve online Understanding Linear Algebra · §6.4 · 6.4.5 · p. 328
Show solution
Custo de armazenamento SVD truncada: $k(m + n + 1)$ reais. Original: $mn$ . Taxa de compressão: $mn / [k(m+n+1)]$ . Para $m = n = 1000$ , $k = 50$ : $10^6 / [50 \times 2001] \approx 10$ . Fator de compressão 10x. Erro Frobenius relativo: $\sqrt{\sum_{i > 50} \sigma_i^2} / \|A\|_F$ .
Ex. 117.11Understanding
Qual afirmação sobre a interpretação de $U$ e $V$ na SVD é correta?
Select the correct option
Colunas de U formam base do espaço coluna de A e colunas de V formam base do espaço linha de AColunas de U são autovetores de A e colunas de V são autovetores de A^TU e V são a mesma matriz quando A é quadradaAs últimas colunas de U formam base do espaço linha de A
Select an option first
Solve online Understanding Linear Algebra · §6.3 · 6.3.4 · p. 315
Show solution
As primeiras $r$ colunas de $U$ formam base ortonormal de $\text{Col}(A)$ ; as últimas $m - r$ de $\ker(A^T)$ . As primeiras $r$ colunas de $V$ formam base de $\text{Row}(A)$ ; as últimas $n - r$ de $\ker(A)$ .
Ex. 117.12Application
A SVD de $A$ tem valores singulares $6, 3, 2, 1$ . Calcule a norma espectral $\|A\|_2$ e a norma de Frobenius $\|A\|_F$ .
Solve online A First Course in Linear Algebra · §SVD · SVD.M30 · p. 501
Show solution
$\|A\|_2 = \sigma_1$ (norma espectral = maior valor singular). $\|A\|_F = \sqrt{\sigma_1^2 + \cdots + \sigma_r^2}$ (norma de Frobenius). Para $A$ com $\sigma = (6, 3, 2, 1)$ : $\|A\|_2 = 6$ , $\|A\|_F = \sqrt{50} = 5\sqrt{2}$ .
Ex. 117.13ApplicationAnswer key
Uma imagem $512 \times 512$ tem posto numérico $r = 100$ . Qual a taxa de compressão ao guardar a SVD completa de posto $r$ em vez da matriz original?
Solve online Álgebra Linear (REAMAT UFRGS) · cap. SVD · SVD-3 · p. 148
Show solution
Custo de armazenar todos os $r$ componentes: $r(m + n + 1) = 100(512 + 512 + 1) = 102500$ vs $512^2 = 262144$ . Ainda há compressão mesmo guardando tudo. Percentagem da variância explicada pelos 10 primeiros: depende da distribuição de $\sigma_i$ .
Ex. 117.14Application
Explique geometricamente o que a SVD diz sobre como a matriz $A$ transforma a esfera unitária de $\mathbb{R}^n$ . Quais são os semi-eixos do elipsoide resultante?
Solve online Understanding Linear Algebra · §6.3 · 6.3.9 · p. 319
Show solution
$\|Ax\| \leq \sigma_1 \|x\|$ e $\min_{\|x\|=1} \|Ax\| = \sigma_r$ . A matrix faz o máximo stretch por $\sigma_1$ (na direção $v_1$ ) e mínimo por $\sigma_r$ (na direção $v_r$ ). A esfera unitária é mapeada num elipsoide com semi-eixos $\sigma_1 \geq \cdots \geq \sigma_r$ .
Ex. 117.15Application
Mostre que na SVD se tem $Av_i = \sigma_i u_i$ para todo $i$ . Use isso para verificar que $\|Av_i\| = \sigma_i$ .
A First Course in Linear Algebra · §SVD · SVD.T15 · p. 499
Show solution
Pela expansão SVD: $Av_i = \sigma_i u_i$ para $1 \leq i \leq r$ e $Av_j = 0$ para $j > r$ . Portanto $v_1, \ldots, v_r$ são base do espaço linha e $Av_i$ tem norma $\sigma_i$ .
Ex. 117.16Modeling
Em latent semantic analysis (LSA), a SVD de uma matriz termo-documento é truncada nos $k$ maiores valores singulares. Explique conceitualmente por que isso captura "tópicos latentes" nos documentos.
Solve online Understanding Linear Algebra · §6.4 · 6.4.8 · p. 330
Show solution
LSA: represente documentos como vetores TF-IDF em um espaço de termos. A matrix termo-documento $A$ tem SVD. Os primeiros $k$ vetores singulares à direita representam $k$ "tópicos latentes". Documentos novos são projetados: $q_{\text{novo}} = A_{\text{novo}} V_k \Sigma_k^{-1}$ . Documentos similares ficam próximos nesse espaço.
Ex. 117.17Proof
Enuncie o Teorema de Eckart-Young e esboce a ideia da demonstração de que $A_k$ é de fato a melhor aproximação de posto $k$ em norma espectral.
Solve online A First Course in Linear Algebra · §SVD · SVD.T30 · p. 505
Show solution
Por Eckart-Young, $A_k$ minimiza $\|A - B\|_F$ entre todas as matrizes $B$ de posto $\leq k$ . Prova: qualquer $B$ de posto $k$ tem nulidade $\geq n - k$ , logo existe $x$ unitário no nulidade de $B$ e no espaço de $v_1, \ldots, v_{k+1}$ . Então $\|A - B\|_F \geq \|(A - B)x\| = \|Ax\| \geq \sigma_{k+1}$ . O mínimo é atingido em $A_k$ .
Ex. 117.18Application
Se $A$ tem valores singulares $5, 3, 1$ , quais são os valores singulares de $A^T A$ ? Calcule $\|A^T A\|_2$ e $\|A^T A\|_F$ .
Solve online Understanding Linear Algebra · §6.3 · 6.3.5 · p. 316
Show solution
$\|A^T A\|_2 = \sigma_1(A^T A) = \sigma_1(A)^2$ (pois autovalores de $A^T A$ são $\sigma_i(A)^2$ ). $\|A^T A\|_F = \sqrt{\sum \sigma_i^4}$ . Para $A$ com $\sigma = (5, 3, 1)$ : $\|A^T A\|_2 = 25$ , $\|A^T A\|_F = \sqrt{625 + 81 + 1} = \sqrt{707}$ .
Ex. 117.19Application
Uma matrix tem valores singulares $100, 10, 1, 0{,}001, 0{,}00001$ . Usando threshold $\epsilon = 10^{-12}$ relativo ao maior singular, qual o posto numérico?
Solve online Álgebra Linear (REAMAT UFRGS) · cap. SVD · SVD-5 · p. 150
Show solution
Posto numérico: número de valores singulares acima de $\epsilon \cdot \sigma_1$ onde $\epsilon$ é a precisão de máquina (~ $10^{-15}$ para float64). Para $\sigma = (100, 10, 1, 0{,}001, 0{,}00001)$ com $\epsilon = 10^{-12}$ : threshold = $10^{-10}$ , portanto posto numérico = 4 (os 4 primeiros estão acima).
Ex. 117.20Application
Prove que uma matriz ortogonal tem todos os valores singulares iguais a 1. Qual o número de condicionamento de uma matriz ortogonal?
A First Course in Linear Algebra · §SVD · SVD.T20 · p. 498
Show solution
Para $A$ ortogonal: $A^T A = I$ , logo todos autovalores de $A^T A$ são 1, portanto todos valores singulares de $A$ são 1. SVD: $A = U I V^T$ com $\Sigma = I$ . Número de condicionamento: $\kappa_2(A) = 1$ — perfeitamente condicionada.
Ex. 117.21Modeling
Explique como a SVD da matriz de retornos de ações identifica "fatores de risco" num portfólio. O que os primeiros vetores singulares $v_1, v_2, v_3$ representam economicamente?
Solve online Understanding Linear Algebra · §6.4 · 6.4.9 · p. 331
Show solution
Modelo fator linear: retornos de $n$ ações ao longo de $T$ dias formam matriz $R \in \mathbb{R}^{T \times n}$ . SVD de $\tilde R$ (centralizada): as primeiras $k$ colunas de $V$ são portfólios-fator. Valores singulares ao quadrado divididos por $T - 1$ são autovalores da covariância — variâncias dos fatores. Risco sistemático é capturado pelos primeiros fatores.
Ex. 117.22ApplicationAnswer key
Prove que $A$ e $A^T$ têm os mesmos valores singulares não-nulos.
A First Course in Linear Algebra · §SVD · SVD.T12 · p. 499
Show solution
Valores singulares de $A^T$ são os mesmos de $A$ . Pois $(A^T)^T A^T = A A^T$ , que tem os mesmos autovalores não-nulos que $A^T A$ (pelo teorema do traço de produto circular). Assim $\sigma_i(A^T) = \sigma_i(A)$ .
Ex. 117.23ApplicationAnswer key
Derive a solução de ridge regression $x_\lambda = (A^T A + \lambda I)^{-1} A^T b$ em termos da SVD de $A$ .
Solve online Álgebra Linear (REAMAT UFRGS) · cap. SVD · SVD-7 · p. 152
Show solution
Solução de mínimos quadrados com regularização Tikhonov: $x_\lambda = (A^T A + \lambda I)^{-1} A^T b = V (\Sigma^T \Sigma + \lambda I)^{-1} \Sigma^T U^T b = \sum_i \frac{\sigma_i}{\sigma_i^2 + \lambda} (u_i^T b) v_i$ . Para $\lambda \to 0$ , recupera pseudoinversa. Para $\lambda$ grande, encolhe para zero.
Show step-by-step (with the why)
1. Substitua $A = U \Sigma V^T$ na fórmula de ridge.
2. Simplifique $(A^T A + \lambda I)^{-1} = V(\Sigma^T \Sigma + \lambda I)^{-1}V^T$ .
3. A diagonal de $(\Sigma^T \Sigma + \lambda I)^{-1} \Sigma^T$ é $\sigma_i / (\sigma_i^2 + \lambda)$ .
4. Macete: ridge = pseudoinversa suavizada — encolhe componentes com $\sigma_i^2 \ll \lambda$ .
Ex. 117.24ApplicationAnswer key
A curva de juros (yield curve) brasileira tem dados diários de yields em 10 maturidades diferentes. SVD dessa matriz identifica 3 fatores principais. Quais são esses fatores, economicamente?
Solve online Understanding Linear Algebra · §6.4 · 6.4.10 · p. 332
Show solution
Três eixos de deformação: level (todos yields sobem juntos), slope (curta vs longa maturidade), curvature (meio vs extremos). Litterman-Scheinkman (1991) mostraram que esses 3 PCs explicam ~99% da variância da yield curve do Tesouro americano. SVD da matriz de yields diários (tempo × maturidade) extrai esses fatores automaticamente.
Ex. 117.25Application
Para quais valores de $k$ a SVD truncada de uma imagem $n \times n$ ocupa menos memória que a imagem original? Derive a condição geral.
Solve online Álgebra Linear (REAMAT UFRGS) · cap. SVD · SVD-4 · p. 149
Show solution
Taxa de compressão para imagem $m \times n$ com $k$ singulares: $mn / [k(m + n + 1)]$ . Para ser vantajoso: $k(m+n+1) < mn$ , ou seja $k < mn/(m+n+1)$ . Para $m = n = 1000$ : $k < 10^6/2001 \approx 499$ . Para qualquer $k < n/2$ há compressão. Para $k = 100$ : taxa de aproximadamente 5x.
Ex. 117.26Understanding
A norma de Frobenius $\|A\|_F^2$ é igual a:
Select the correct option
Soma dos quadrados de todos os valores singulares de ASoma de todos os valores singulares de AMaior valor singular de A ao quadradoProduto de todos os valores singulares de A
Select an option first
Solve online A First Course in Linear Algebra · §SVD · SVD.M25 · p. 501
Show solution
$\|A\|_F^2 = \text{tr}(A^T A) = \sum_i \sigma_i^2$ . Esta é a identidade central que conecta norma de Frobenius com SVD e justifica a fórmula de erro de Eckart-Young.
Ex. 117.27Application
Se $A$ tem valores singulares $\sigma_1, \sigma_2, \sigma_3$ , quais são os valores singulares de $-3A$ ?
Solve online Understanding Linear Algebra · §6.3 · 6.3.6 · p. 317
Show solution
Valores singulares de $cA$ : $|c| \sigma_i(A)$ . Pois SVD de $cA = U (c\Sigma) V^T$ ; valores singulares são entradas de $|c|\Sigma$ . Valores singulares de $AB$ não têm fórmula simples em geral, mas $\sigma_1(AB) \leq \sigma_1(A) \sigma_1(B)$ .
Ex. 117.28Proof
Demonstre que as colunas de $U$ e $V$ na SVD de $A$ formam bases ortonormais dos 4 subespaços fundamentais de $A$ . Enuncie cada subespaço e sua base explicitamente.
A First Course in Linear Algebra · §SVD · SVD.T25 · p. 503
Show solution
Quatro subespaços pela SVD: (1) $\text{Col}(A) = \text{span}\{u_1, \ldots, u_r\}$ (dimensão $r$ ); (2) $\ker(A^T) = \text{span}\{u_{r+1}, \ldots, u_m\}$ (dimensão $m - r$ ); (3) $\text{Row}(A) = \text{span}\{v_1, \ldots, v_r\}$ (dimensão $r$ ); (4) $\ker(A) = \text{span}\{v_{r+1}, \ldots, v_n\}$ (dimensão $n - r$ ). Demonstração: $Av_j = \sigma_j u_j$ para $j \leq r$ e $Av_j = 0$ para $j > r$ .
Ex. 117.29ModelingAnswer key
Descreva o algoritmo de recomendação por SVD colaborativo: dado uma matriz usuário-item esparsa, como a SVD truncada pode prever ratings ausentes e recomendar itens?
Solve online Álgebra Linear (REAMAT UFRGS) · cap. SVD · SVD-9 · p. 154
Show solution
Passos: (1) montar matrix de ratings $R$ (usuários × itens, esparsa); (2) preencher ausências com média; (3) centralizar por usuário; (4) SVD truncada de rank $k$ ; (5) aproximação $R_k = U_k \Sigma_k V_k^T$ preenche os ratings faltantes; (6) recomendar os itens com maior valor predito. A ideia é que "gostos latentes" são capturados pelos primeiros $k$ fatores.
Ex. 117.30Challenge
Descreva o algoritmo de SVD randomizada de Halko-Martinsson-Tropp (2011) em 5 passos. Por que ele é vantajoso para matrizes grandes de baixo posto numérico? Qual a complexidade comparada com SVD exata?
Solve online Understanding Linear Algebra · §6.4 · 6.4.12 · p. 334
Show solution
SVD randomizada (Halko-Martinsson-Tropp 2011): (1) Gere $\Omega \in \mathbb{R}^{n \times (k+p)}$ aleatória; (2) $Y = A \Omega$ (sketch da imagem); (3) $Q, R = \text{QR}(Y)$ ; (4) $B = Q^T A$ (pequena); (5) SVD de $B = \hat U \Sigma V^T$ ; (6) $U = Q \hat U$ . Complexidade: $O(mn(k+p))$ vs $O(mn^2)$ para SVD exata. Com oversampling $p = 10$ , o erro esperado é próximo ao ótimo de Eckart-Young.

Fontes

Understanding Linear Algebra — David Austin · Grand Valley State University · CC-BY-SA · Principal referência para geometria, exemplos e exercícios de SVD (§6.3–6.4).
A First Course in Linear Algebra — Rob Beezer · University of Puget Sound · GNU FDL · Demonstrações rigorosas de existência de SVD, pseudoinversa e subespaços (§SVD).
Álgebra Linear (REAMAT UFRGS) — Reamat Colaborativo · UFRGS · CC-BY-SA · Exercícios em PT-BR de compressão, posto numérico e regularização.
Introduction to Applied Linear Algebra (VMLS) — Boyd, Vandenberghe · Stanford · CC-BY-NC-ND · Contexto de aplicações em ML e engenharia.