Lição 118 — Análise de Componentes Principais (PCA)

Warum ist es notwendig, die Daten zu zentrieren (den Mittelwert abzuziehen), bevor PCA angewendet wird?

Gegeben $$, berechne die Kovarianz und die Hauptkomponenten.

Eigenwerte von $$: $$. Berechne die Varianz erklärt von jeder PC und die Kumulativwerte. Für welches $$ erreicht die kumulierte Varianz 90%?

PCs eines 2D-Datensatzes: $$, $$. Berechne die Scores von $$ in beiden Komponenten.

Nutze die Daten der vorherigen Übung, rekonstruiere $$ mit nur PC1. Wie groß ist der Rekonstruktionsfehler?

Warum ist es vorzuziehen, PCA via SVD der Datenmatrix $$ zu berechnen anstatt $$ direkt zu eigenzerlegten?

Berechne die PCs von $$. Welche Varianz wird durch jede Komponente erklärt?

Mit standardisierten Daten (z-Score), wie groß ist die Gesamtvarianz? Was bedeutet das Kaiser-Kriterium, nur PCs mit Eigenwert größer als 1 zu behalten?

Datensatz mit Eigenwerten $$ (Total 10). Berechne den mittleren quadratischen Rekonstruktionsfehler beim Behalten von K = 1 und K = 2 Komponenten.

PCA von Renditen von 10 Aktien ergab PC1 mit positivem Loading von ähnlicher Größe für alle Aktien. Was repräsentiert PC1 ökonomisch? Wie würde ein Portfolio-Manager diese Information nutzen?

SVD von $$ mit $$ Stichproben ergab Singulärwerte $$. Berechne die entsprechenden Eigenwerte der Kovarianz und die Varianz erklärt durch PC1.

Beweise, dass die Scores verschiedener Hauptkomponenten untereinander unkorreliert sind.

Ein Datensatz hat 50 standardisierte Features. Mit K = 10 PCs, die 95% der Varianz erfassen, wie viele Parameter sind notwendig, um die Kovarianz via Rang-K-PCA gegenüber vollständiger Kovarianz zu repräsentieren?

Erkläre, was die 3 ersten PCs der brasilianischen Zinsstruktur repräsentieren. Warum erklären diese 3 Faktoren ~99% der Varianz?

Erkläre den Unterschied zwischen PCA mit und ohne vorherige Standardisierung (z-Score). Wann solltest du NICHT standardisieren?

Zeige, dass die Projektion auf die K ersten PCs den mittleren quadratischen Rekonstruktionsfehler unter allen linearen Rang-K-Projektionen minimiert. Wie groß ist der Minimalfehler in Termen der Eigenwerte?

Eigenwerte in absteigender Reihenfolge: 12, 8, 3, 1, 1, 1, 1, 1. Konstruiere mental den Scree-Plot und identifiziere den "Knick". Wie viele PCs solltest du behalten für 80% Varianz?

Beschreibe die Eigenfaces-Methode (Turk-Pentland 1991) für Gesichtserkennung mittels PCA. Welche Dimensionaliät wird im Vergleich zu Original-Pixeln erreicht?

Was ist der konzeptuelle Unterschied zwischen PCA und ICA (Independent Component Analysis)? In welcher Art Problem ist ICA notwendig?

Was passiert wenn die Kovarianzmatrix die Identität ist ($$)? Was impliziert das für PCA und Dimensionsreduktion?

Beweise, dass Eigenvektoren einer symmetrischen Matrix zu verschiedenen Eigenwerten orthogonal sind. Nutze dies um die Orthogonalität der PCs zu rechtfertigen.

Erkläre was ein Biplot von PCA zeigt. Wie interpretierst du Richtung und Länge der Feature-Pfeile und die Position der Stichproben?

Warum ist klassische PCA sensibel für Ausreißer? Wie geht Robust PCA mit diesem Problem um?

Datensatz: N = 1000 Stichproben, d = 100 standardisierte Features. PCA mit K = 5 PCs erklärt 80% der Varianz. Berechne den Kompressionsfaktor von Daten (Verhältnis zwischen Original- und PCA-Repräsentations-Speicherung).

Erkläre die Idee von Kernel PCA. Wie erlaubt die Ersetzung des Skalarprodukts durch einen Kernel nicht-lineare Struktur zu erfassen? Was ist die Rechenkomplexität?

Erkläre den "Dual Trick" von PCA: wenn $$ (mehr Features als Stichproben), wie berechnest du PCA effizient? Wie groß ist die Komplexität in jedem Fall?

PCA von ENEM-2023-Mikrodaten (5 Noten: CN, CH, LC, MT, Aufsatz) ergab PC1 mit positiven Loadings ähnlicher Größe für alle Noten. Interpretiere PC1. Was könnte PC2 repräsentieren?

Beweise dass die Stichproben-Varianz des k-ten Scores $$ gleich dem k-ten Eigenwert der Kovarianz $$ ist. Nutze die Verbindung zu SVD.

Im 1000 Genomes Project zeigt PCA von Genomdaten von ~2500 Menschen aus 26 Populationen Cluster pro Kontinent. Erkläre wie das möglich ist und was die 3 ersten PCs genetisch repräsentieren.

Beschreibe das Probabilistic PCA-Modell (Tipping-Bishop 1999). Welche Vorteile hat es gegenüber klassischer PCA? Wie reduziert sich dieses Modell zur klassischen PCA in einem Grenzfall?