Lección 118 — Análisis de Componentes Principales (PCA)

¿Por qué es necesario centralizar los datos (restar la media) antes de aplicar PCA?

Dado $$, calcula la covarianza y las componentes principales.

Autovalores de $$: $$. Calcula la varianza explicada por cada PC y la acumulada. ¿Para cuál $$ la varianza acumulada alcanza 90%?

PCs de un dataset 2D: $$, $$. Calcula los scores de $$ en ambas componentes.

Usando los datos del ejercicio anterior, reconstruye $$ reteniendo solo la PC1. ¿Cuál es el error de reconstrucción?

¿Por qué calcular PCA vía SVD de la matriz de datos $$ es preferible a autodecomponer $$ directamente?

Calcula las PCs de $$. ¿Cuál es la varianza explicada por cada componente?

Con datos estandarizados (z-score), ¿cuál es la varianza total? ¿Qué significa el criterio de Kaiser de retener solo PCs con autovalor mayor que 1?

Dataset con autovalores $$ (total 10). Calcula el error cuadrático medio de reconstrucción al mantener K = 1 y K = 2 componentes.

PCA de retornos de 10 acciones resultó en PC1 con loading positivo de magnitud similar para todas las acciones. ¿Qué representa PC1 económicamente? ¿Cómo usaría esta información un gestor de portafolio?

SVD de $$ con $$ muestras dio valores singulares $$. Calcula los autovalores correspondientes de la covarianza y la varianza explicada por PC1.

Prueba que los scores de las diferentes componentes principales no están correlacionados entre sí.

Un dataset tiene 50 features estandarizadas. Con K = 10 PCs capturando 95% de la varianza, ¿cuántos parámetros son necesarios para representar la covarianza vía PCA de rango K versus covarianza completa?

Explica qué representan los 3 primeros PCs de la curva de rendimientos (yield curve) brasileña. ¿Por qué esos 3 factores explican ~99% de la varianza?

Explica la diferencia entre hacer PCA con y sin estandarización previa (z-score). ¿Cuándo NO debes estandarizar?

Muestra que la proyección en los K primeros PCs minimiza el error cuadrático medio de reconstrucción entre todas las proyecciones lineales de rango K. ¿Cuál es el valor del error mínimo en términos de los autovalores?

Autovalores en orden decreciente: 12, 8, 3, 1, 1, 1, 1, 1. Construye mentalmente el scree plot e identifica el "codo". ¿Cuántos PCs retener para 80% de varianza?

Describe el método Eigenfaces (Turk-Pentland 1991) para reconocimiento facial usando PCA. ¿Qué dimensionalidad se alcanza en comparación con los píxeles originales?

¿Cuál es la diferencia conceptual entre PCA e ICA (Independent Component Analysis)? ¿En qué tipo de problema es necesaria ICA?

¿Qué ocurre cuando la matriz de covarianza es la identidad ($$)? ¿Qué implica para PCA y la reducción de dimensionalidad?

Prueba que autovectores de una matriz simétrica correspondientes a autovalores distintos son ortogonales. Usa esto para justificar la ortogonalidad de los PCs.

Explica qué muestra un biplot de PCA. ¿Cómo interpretar la dirección y largo de las flechas de las features y la posición de las muestras?

¿Por qué PCA clásica es sensible a outliers? ¿Cuál es la idea de Robust PCA para tratar este problema?

Dataset: N = 1000 muestras, d = 100 features estandarizadas. PCA con K = 5 PCs explica 80% de la varianza. Calcula el factor de compresión de datos (razón entre almacenamiento original y almacenamiento de la representación PCA).

Explica la idea de Kernel PCA. ¿Cómo la sustitución del producto interno por un kernel permite capturar estructura no-lineal? ¿Cuál es la complejidad computacional?

Explica el "truco dual" de PCA: cuando $$ (más features que muestras), ¿cómo calcular PCA eficientemente? ¿Cuál es la complejidad en cada caso?

PCA de los microdatos ENEM 2023 (5 calificaciones: CN, CH, LC, MT, Redacción) resultó en PC1 con loadings positivos de magnitud similar para todas las calificaciones. Interpreta PC1. ¿Qué podría representar PC2?

Prueba que la varianza muestral del k-ésimo score $$ es igual al k-ésimo autovalor de la covarianza $$. Usa la conexión con SVD.

En el 1000 Genomes Project, PCA de datos genómicos de ~2500 personas de 26 poblaciones revela clusters por continente. Explica cómo es posible y qué representan los 3 primeros PCs genéticamente.

Describe el modelo de Probabilistic PCA (Tipping-Bishop 1999). ¿Cuáles son las ventajas sobre PCA clásica? ¿Cómo se reduce este modelo a PCA clásica en un caso límite?