Lição 118 — Análise de Componentes Principais (PCA)
Hotelling 1933: diagonalizar a covariância para encontrar direções de máxima variância. Scores, variância explicada, scree plot. Conexão com SVD. Aplicação em ML, finanças, genômica.
Usado em: 3.º ano do EM (17-18 anos) · Equiv. Stochastik LK alemão · Equiv. H2 Math Statistics singapurense · Equiv. Math B japonês avançado
A PCA (Hotelling, 1933) diagonaliza a matriz de covariância amostral dos dados centralizados. Os autovetores (colunas de ) são as direções de máxima variância; os autovalores são as variâncias nessas direções. Projetar em preserva o máximo da variância total com menor número de dimensões.
Notação rigorosa, derivação completa, hipóteses
Definição matemática
Setup e covariância amostral
"The covariance matrix is always symmetric and positive semidefinite. Its eigenvalues are nonnegative and the eigenvectors form an orthonormal basis of ." — Introduction to Applied Linear Algebra (VMLS), §10.1
Componentes principais
Otimalidade
"The principal components are the eigenvectors of the data covariance matrix, ordered by decreasing eigenvalue. The first principal component captures the maximum variance; successive components capture maximum residual variance subject to orthogonality." — Understanding Linear Algebra, §7.1
Conexão com SVD
Reconstrução e erro de aproximação
Erro de reconstrução: .
Exemplos resolvidos
Lista de exercícios
42 exercícios · 10 com solução desenvolvida (25%)
- Ex. 118.1Compreensão
Seja . Prove que se e somente se todos os valores singulares de são 0.
Ver solução
Se todos os valores singulares são 0 então , logo para todo , portanto . A recíproca é imediata. (Resp: A)Ver passo a passo (com o porquê)
- Defina valores singulares de T como as raízes quadradas dos autovalores de .
- Se : , todos os autovalores de são 0.
- Se todos os valores singulares são 0: para todo .
- Logo para todo , portanto .
- Ex. 118.2AplicaçãoGabarito
Seja definido por . Encontre os valores singulares de .
Ver solução
Calcule : como , temos . Então . Autovalores de : 1 e 16. Valores singulares: 1 e 4. (Resp: A)Ver passo a passo (com o porquê)
- Identifique via .
- .
- Logo .
- .
- Autovalores de : 1 e 16; valores singulares: 1 e 4.
- Ex. 118.3Demonstração
Seja e . Prove que é valor singular de se e somente se existem vetores não nulos e tais que e .
Ver solução
Se é valor singular: . Defina . Então e . A recíproca: de e segue . (Resp: A) - Ex. 118.4Aplicação
Dê um exemplo de tal que 0 seja o único autovalor de e os valores singulares de sejam 5 e 0.
Ver solução
Tome . Então , logo 0 é o único autovalor. , com autovalores 25 e 0, portanto valores singulares 5 e 0. (Resp: A) - Ex. 118.5Aplicação
Seja com maior valor singular e menor valor singular . Prove que .
Ver solução
Como (SVD), o máximo de com é (atingido em ) e o mínimo é (atingido em ). Por continuidade da esfera, todos os valores intermediários são atingidos. (Resp: A) - Ex. 118.6Aplicação
Encontre os valores singulares do operador diferenciação definido por , com produto interno .
Ver solução
Com produto interno , o adjunto é determinado via integração por partes: . Os valores singulares são as raízes quadradas dos autovalores de restritos a . (Resp: A) - Ex. 118.7Demonstração
Seja auto-adjunto, ou seja e normal. Se são os autovalores de (com multiplicidade), mostre que os valores singulares de são em ordem decrescente.
Ver solução
T normal (ou auto-adjunto): pelo teorema espectral, . Então . Os autovalores de são , logo valores singulares de T são em ordem decrescente. (Resp: A)Ver passo a passo (com o porquê)
- T auto-adjunto ou T normal (complexo): teorema espectral dá base ortonormal de autovetores .
- Escreva .
- Calcule .
- Autovalores de são .
- Valores singulares de T são .
- Ex. 118.8Demonstração
Seja com para listas ortonormais , e decrescentes. Prove que (a) é base ortonormal de ; (b) é base ortonormal de ; (c) são os valores singulares positivos de .
Ver solução
Da fórmula SVD : (a) gera pois todo é combinação desses vetores; é ortonormal pois . (b) pois . (Resp: A) - Ex. 118.9Aplicação
Seja . Mostre que e têm os mesmos valores singulares positivos.
Ver solução
Os valores singulares positivos de são as raízes dos autovalores não nulos de ; os de são raízes dos autovalores não nulos de . Mas e têm os mesmos autovalores não nulos (ST e TS têm mesmo espectro não nulo). (Resp: A) - Ex. 118.10Aplicação
Seja com valores singulares . Prove que se é invertível, então tem valores singulares .
Ver solução
Da SVD , como T é invertível todos e . Os valores singulares de são . (Resp: A)Ver passo a passo (com o porquê)
- Escreva SVD de T: com todos .
- Inverta: , portanto .
- Esta é a SVD de com valores singulares .
- Reordene: .
- Ex. 118.11DemonstraçãoGabarito
Seja e base ortonormal de , com valores singulares . (a) Prove que . (b) Se e é operador positivo, prove que .
Ver solução
Para (a): (traço independe da base). Para (b) T positivo: pois valores singulares de T positivo são seus autovalores. (Resp: A) - Ex. 118.12DesafioGabarito
(a) Dê exemplo de operador tal que os valores singulares de não são os quadrados dos valores singulares de . (b) Se é normal, prove que os valores singulares de são os quadrados dos valores singulares de .
Ver solução
Contraexemplo (a): . Valores singulares de T: 2, 0. , valores singulares de : 0, 0. Mas . Para (b) T normal: pela parte (a) do ex. 7, valores singulares de T são ; de T² são . (Resp: A) - Ex. 118.13Demonstração
Sejam . Prove que e têm os mesmos valores singulares se e somente se existem operadores unitários tais que .
Ver solução
() Escrevendo SVD de , defina . () Se com unitários, então , que tem os mesmos autovalores que . (Resp: A) - Ex. 118.14Aplicação
Seja e o menor valor singular de . Prove que para todo .
Ver solução
Da SVD: escreva onde . Então . Tome raiz quadrada. (Resp: A) - Ex. 118.15Aplicação
Seja com valores singulares . Prove que se é autovalor de , então .
Ver solução
Se com : . Pelo ex. 4, . Logo . (Resp: A) - Ex. 118.16Demonstração
Seja . Prove que .
Ver solução
Da SVD : , logo . Por outro lado, e . Os dois coincidem. (Resp: A) - Ex. 118.17Aplicação
Seja . Prove que é auto-adjunto se e somente se é auto-adjunto.
Ver solução
Da SVD de T e do resultado do ex. 16: . Se é auto-adjunto (), então , logo é auto-adjunto. A recíproca segue analogamente aplicando o mesmo argumento a . (Resp: A) - Ex. 118.18DemonstraçãoGabarito
Seja . Prove que se tanto quanto são operadores positivos, então .
Ver solução
Se e são positivos: para todo , e . Logo para todo . Operador positivo com forma quadrática nula é zero. (Resp: A) - Ex. 118.19Aplicação
O operador com matriz na base padrão é positivo e invertível. Justifique.
Ver solução
A matriz é simétrica (auto-adjunta em ). Seus autovalores são para (matriz do Laplaciano discreto), todos positivos. Logo é operador positivo. Determinante positivo implica invertibilidade. (Resp: A) - Ex. 118.20Aplicação
Seja inteiro positivo e o operador cuja matriz (na base padrão) tem todas as entradas iguais a 1. Mostre que é um operador positivo.
Ver solução
A matriz J de todos 1s é simétrica (auto-adjunta). para todo . Logo T é positivo. Os autovalores são n (multiplicidade 1, autovetor ) e 0 (multiplicidade n-1). (Resp: A) - Ex. 118.21Desafio
Seja inteiro com . Mostre que existe uma matriz com todas as entradas positivas e , mas cujo operador associado não é positivo.
Ver solução
Para : . Entradas positivas, . Autovalores: e . Como , A não é positivo. (Resp: A) - Ex. 118.22Demonstração
Seja auto-adjunto. Prove que é um operador positivo se e somente se para toda base ortonormal de , todas as entradas diagonais da matriz de nessa base são não-negativas.
Ver solução
() Se T positivo: para qualquer base ortonormal. () Pelo teorema espectral, escreva ; a condição das diagonais implica para toda base. Isso força . (Resp: A) - Ex. 118.23Aplicação
Prove que a soma de dois operadores positivos em é um operador positivo.
Ver solução
Sejam positivos. Para todo : . Além disso . Logo é auto-adjunto e positivo. (Resp: A) - Ex. 118.24AplicaçãoGabarito
Seja um operador positivo invertível e um operador positivo. Prove que é invertível.
Ver solução
Para todo : . Como S é invertível e positivo, (todo autovalor positivo). Logo , portanto para ; S+T é injetivo e logo invertível. (Resp: A) - Ex. 118.25Demonstração
Seja . Prove que é operador positivo se e somente se a pseudoinversa é operador positivo.
Ver solução
Da SVD de T positivo: com . Então , que também é positivo (autovalores positivos). A recíproca segue aplicando o mesmo argumento a e usando . (Resp: A) - Ex. 118.26Aplicação
Seja operador positivo e . Prove que é operador positivo em .
Ver solução
Para todo : pois T positivo. Além disso (T auto-adjunto). Logo é auto-adjunto e positivo em W. (Resp: A)Ver passo a passo (com o porquê)
- Calcule (auto-adjunto).
- Para qualquer : .
- Como e T é positivo: .
- Logo é positivo em W.
- Ex. 118.27Aplicação
Seja operador positivo em e tais que e . Prove que .
Ver solução
De e : . Logo é autovetor de T com autovalor . Mas T positivo implica todos os autovalores não-negativos; contradição com , a menos que . (Resp: A) - Ex. 118.28Aplicação
Seja operador positivo em e subespaço de invariante sob . Prove que é operador positivo em .
Ver solução
T|U está bem definido pois U é T-invariante. Para : pois T é positivo. Além disso (pois T auto-adjunto). Logo T|U é positivo. (Resp: A) - Ex. 118.29AplicaçãoGabarito
Seja operador positivo. Prove que é operador positivo para todo inteiro positivo .
Ver solução
Por indução: T positivo (base). Se é positivo, então . Para todo : . Alternativa direta: autovalores de são . (Resp: A) - Ex. 118.30CompreensãoGabarito
Seja auto-adjunto e . (a) Prove que é positivo sse é menor ou igual a todo autovalor de . (b) Prove que é positivo sse é maior ou igual a todo autovalor de .
Ver solução
T auto-adjunto tem autovalores reais . tem autovalores . É positivo sse todos , i.e., para todo . Analogamente para . (Resp: A) - Ex. 118.31Demonstração
Seja operador positivo em e . Prove que .
Ver solução
Seja . Então pois T positivo. (Resp: A)Ver passo a passo (com o porquê)
- Defina .
- Expanda .
- Pela bilinearidade: .
- T positivo implica .
- Ex. 118.32Desafio
Seja auto-adjunto. Prove que existem operadores positivos tais que , e .
Ver solução
Pelo teorema espectral: . Defina e . Então A e B são positivos, , (pois ), e (projetores em autoespaços diferentes são ortogonais). (Resp: A) - Ex. 118.33Demonstração
Seja operador positivo em . Prove que e .
Ver solução
Pelo teorema espectral: e . Então . Similarmente para o range. (Resp: A) - Ex. 118.34DesafioGabarito
Seja operador positivo. Prove que existe polinômio com coeficientes reais tal que .
Ver solução
T positivo tem autovalores reais não-negativos (distintos). Pelo teorema de interpolação de Lagrange, existe polinômio real p com para todo j. Então . (Resp: A) - Ex. 118.35Demonstração
Sejam e operadores positivos em . Prove que é operador positivo se e somente se e comutam.
Ver solução
() Se ST=TS: (auto-adjunto). — use que é positivo (ex.26) e argumento de congruência. () Se ST é positivo, então ST é auto-adjunto: . (Resp: A) - Ex. 118.36Aplicação
Mostre que o operador identidade em tem infinitas raízes quadradas auto-adjuntas.
Ver solução
Uma raiz quadrada auto-adjunta de I satisfaz e . Toda matriz da forma satisfaz e para qualquer . São infinitas. (Resp: A) - Ex. 118.37DemonstraçãoGabarito
Seja e base ortonormal de . Prove que é operador positivo se e somente se existem com para todos .
Ver solução
() T positivo: , tome . Então . () A matriz de Gram é sempre PSD, portanto T é PSD e auto-adjunto, logo positivo. (Resp: A) - Ex. 118.38Desafio
Seja a matriz de Hilbert com entrada na linha , coluna igual a . Prove que o operador em associado a essa matriz é positivo e invertível.
Ver solução
A matriz de Hilbert é simétrica. Entrada : no produto interno de . É portanto uma matriz de Gram de vetores linearmente independentes . Toda matriz de Gram de vetores LI é positiva invertível. (Resp: A)Ver passo a passo (com o porquê)
- Identifique .
- Com produto interno : onde .
- H é a matriz de Gram de em .
- Estes polinômios são linearmente independentes, portanto a matriz de Gram é positiva definitiva.
- Ex. 118.39Aplicação
Seja operador positivo e com e para todo com . Mostre que é autovetor de correspondente ao maior autovalor de .
Ver solução
T positivo: valores singulares de T = autovalores . (máximo atingido) implica é autovetor do maior valor singular = maior autovalor . (Resp: A) - Ex. 118.40DesafioGabarito
Para e , defina . (a) Prove que é produto interno sse é operador positivo invertível. (b) Prove que todo produto interno em é da forma para algum operador positivo invertível .
Ver solução
(a) Para produto interno: simetria ( auto-adjunto), positividade ( positivo) e definida positiva ( invertível). (b) Dado produto interno em V, pelo teorema de representação de Riesz existe auto-adjunto com ; T é positivo invertível pois B é produto interno. (Resp: A) - Ex. 118.41Demonstração
Sejam e operadores positivos em . Prove que .
Ver solução
() Se : . () Se : . Como e , ambos devem ser zero, logo . (Resp: A) - Ex. 118.42Desafio
O operador segunda derivada do Exercício 31(b) da Seção 7A (em funções com condições de contorno adequadas) satisfaz que é operador positivo. Mostre isso via integração por partes.
Ver solução
Via integração por partes com condições de contorno que fazem os termos de borda zero (ex: ): . Autovalores de são . (Resp: A)
Fontes
- Understanding Linear Algebra — David Austin · Grand Valley State University · CC-BY-SA · Capítulo 7: PCA via SVD, variância explicada, scree plot, aplicações.
- Introduction to Applied Linear Algebra (VMLS) — Stephen Boyd, Lieven Vandenberghe · Stanford University · CC-BY-NC-ND · Cap. 10: teoria rigorosa de PCA, otimalidade, conexão SVD, aplicações ML.
- OpenIntro Statistics — Diez, Çetinkaya-Rundel, Barr · CC-BY-SA · §8.3: perspectiva estatística, variância explicada, interpretação de componentes, exercícios de dados reais.