Lição 118 — Análise de Componentes Principais (PCA)

Dlaczego konieczne jest wyśrodkowanie danych (odjęcie średniej) przed zastosowaniem PCA?

Biorąc pod uwagę $$, oblicz kowariancję i główne składowe.

Wartości własne $$: $$. Oblicz wariancję wyjaśnioną przez każdą główną składową i skumulowaną. Do którego $$ skumulowana wariancja osiąga 90%?

Główne składowe zestawu danych 2D: $$, $$. Oblicz wyniki $$ w obu składowych.

Korzystając z danych z poprzedniego ćwiczenia, przywróć $$ zachowując tylko PC1. Jaki jest błąd rekonstrukcji?

Dlaczego obliczanie PCA via SVD macierzy danych $$ jest preferowane nad autodekompozcją $$ bezpośrednio?

Oblicz główne składowe $$. Jaka wariancja jest wyjaśniona przez każdą składową?

Ze standaryzowanymi danymi (z-score), jaka jest całkowita wariancja? Co oznacza kryterium Kaisera zatrzymania tylko głównych składowych z wartością własną większą niż 1?

Zestaw danych z wartościami własnymi $$ (całkowita 10). Oblicz błąd rekonstrukcji średni kwadrat przy zatrzymaniu K = 1 i K = 2 składowych.

PCA zwrotów 10 akcji dał PC1 z loadingiem dodatnim zbliżonej wielkości dla wszystkich akcji. Co PC1 reprezentuje ekonomicznie? Jak menedżer portfela mogłby użyć tej informacji?

SVD $$ z $$ próbkami dał wartości singularne $$. Oblicz odpowiadające wartości własne kowariancji i wariancję wyjaśnioną przez PC1.

Udowodnij, że wyniki różnych głównych składowych są ze sobą nieskorelowane.

Zestaw danych ma 50 standaryzowanych zmiennych. Z K = 10 głównych składowych przechwytujących 95% wariancji, ile parametrów jest potrzebnych do reprezentacji kowariancji via PCA rangi K versus pełną kowariancją?

Wyjaśnij, co reprezentują 3 pierwsze główne składowe brazylijskiej krzywej rentowności (yield curve). Dlaczego te 3 czynniki wyjaśniają ~99% zmienności?

Wyjaśnij różnicę między wykonaniem PCA ze standaryzacją wcześniejszą (z-score) i bez. Kiedy NIE powinieneś standaryzować?

Pokaż, że projekcja na K pierwszych głównych składowych minimalizuje błąd rekonstrukcji średni kwadrat spośród wszystkich liniowych projekcji rangi K. Jaka jest wartość błędu minimalnego w kategoriach wartości własnych?

Wartości własne w malejącej kolejności: 12, 8, 3, 1, 1, 1, 1, 1. Mentalnie skonstruuj scree plot i zidentyfikuj "kolano". Ile głównych składowych zachować dla 80% wariancji?

Opisz metodę Eigenfaces (Turk-Pentland 1991) do rozpoznawania twarzy za pomocą PCA. Jaka wymiarowość jest osiągana w porównaniu z pierwotnymi pikselami?

Jaka jest koncepcyjna różnica między PCA i ICA (Independent Component Analysis)? W jakim typie problemu ICA jest konieczna?

Co się dzieje gdy macierz kowariancji to identyczność ($$)? Co to oznacza dla PCA i redukcji wymiarowości?

Udowodnij, że wektory własne macierzy symetrycznej odpowiadające różnym wartościom własnym są ortogonalne. Użyj tego do uzasadnienia ortogonalności głównych składowych.

Wyjaśnij, co biplot PCA pokazuje. Jak interpretować kierunek i długość strzałek zmiennych i pozycję próbek?

Dlaczego klasyczna PCA jest czuła na wartości odstające? Jaka jest idea Robust PCA do radzenia sobie z tym problemem?

Zestaw danych: N = 1000 próbek, d = 100 standaryzowanych zmiennych. PCA z K = 5 głównymi składowymi wyjaśnia 80% wariancji. Oblicz współczynnik kompresji danych (stosunek między przechowywaniem oryginalnym a przechowywaniem reprezentacji PCA).

Wyjaśnij ideę Kernel PCA. Jak zastąpienie iloczynu skalarnego jądrem pozwala przechwycić strukturę nieliniową? Jaka jest złożoność obliczeniowa?

Wyjaśnij "sztuczką dualności" PCA: gdy $$ (więcej zmiennych niż próbek), jak efektywnie obliczać PCA? Jaka jest złożoność w każdym przypadku?

PCA mikronych ENEM 2023 (5 wyników: CN, CH, LC, MT, Redakcja) dała PC1 z dodatnimi loadingami zbliżonej wielkości dla wszystkich wyników. Interpretuj PC1. Co mogłoby reprezentować PC2?

Udowodnij, że próbkowa wariancja k-tego wyniku $$ jest równa k-tej wartości własnej kowariancji $$. Użyj połączenia z SVD.

W 1000 Genomes Project, PCA danych genomicznych z ~2500 osób z 26 populacji ujawnia skupienia po kontynentach. Wyjaśnij, jak to jest możliwe i co reprezentują 3 pierwsze główne składowe genetycznie.

Opisz model Probabilistic PCA (Tipping-Bishop 1999). Jakie są zalety nad klasyczną PCA? Jak ten model redukuje się do klasycznej PCA w przypadku granicznym?