Lição 117 — Decomposição em valores singulares (SVD)
A = U Σ Vᵀ funciona para qualquer matriz real. Valores singulares revelam a estrutura geométrica. Base de compressão de imagens, recomendação, PCA e pseudoinversa.
Used in: 3.º ano do EM (17-18 anos) · Equiv. Lineare Algebra LK alemão · Equiv. H2 Math singapurense · Equiv. Math III japonês avançado
Rigorous notation, full derivation, hypotheses
Definicja i twierdzenie
Twierdzenie o SVD
"Any matrix A with rank r can be written as a product where U is orthogonal (), is diagonal (, nonnegative entries decreasing), and V is orthogonal (). The diagonal entries are the singular values of A." — Understanding Linear Algebra, §6.3
"Theorem (Existence of SVD). Every real matrix A has a singular value decomposition. The singular values are the positive square roots of the nonzero eigenvalues of ." — A First Course in Linear Algebra, §SVD
Połączenie z wartościami własnymi
Cztery podstawowe podprzestrzenie poprzez SVD
Twierdzenie Eckarta-Younga
Pseudoinwersja Moore-Penrose'a
Rozwiązane przykłady
Exercise list
30 exercises · 7 with worked solution (25%)
- Ex. 117.1UnderstandingAnswer key
Wyjaśnij różnicę między wartościami własnymi i osobliwymi macierzy . Dla jakiego typu macierzy się pokrywają?
- Ex. 117.2Application
Oblicz SVD .
- Ex. 117.3Application
Oblicz zwartą SVD . Jaki jest rząd ?
- Ex. 117.4ApplicationAnswer key
Jeśli SVD ma wartości osobliwe , jaki jest rząd ? Jaka jest wymiarowość ?
- Ex. 117.5Application
SVD ma wartości osobliwe . Oblicz błąd Frobeniusa i błąd spektralny najlepszego przybliżenia rangi 1.
- Ex. 117.6Application
Opisz jak obliczyć pseudoinwersję macierzy z wartościami osobliwymi i rangą 2. Jaka jest wymiarowość ?
- Ex. 117.7Understanding
Macierz ma wartości osobliwe i . Oblicz i zinterpretuj co to oznacza do rozwiązania numerycznie.
- Ex. 117.8Application
Macierz ma wartości osobliwe . Jaki jest najmniejszy taki że przybliżenie rangi wyjaśnia co najmniej 95% wariancji Frobeniusa?
- Ex. 117.9Application
Pokaż że dla symetrycznej dodatnio półokreślonej macierzy , SVD ma i . Co wartości osobliwe są, w tym przypadku?
- Ex. 117.10Modeling
Obraz w skali szarości jest macierzą . Jeśli przechowujesz obciętą SVD z składnikami, ile liczb zmiennoprzecinkowych przechowujesz w porównaniu z oryginalnym obrazem? Jaki jest współczynnik kompresji?
- Ex. 117.11Understanding
Które stwierdzenie o interpretacji i w SVD jest poprawne?
- Ex. 117.12Application
SVD ma wartości osobliwe . Oblicz normę spektralną i normę Frobeniusa .
- Ex. 117.13ApplicationAnswer key
Obraz ma rząd numeryczny . Jaki jest współczynnik kompresji przy przechowywaniu kompletnej SVD rangi zamiast oryginalnej macierzy?
- Ex. 117.14Application
Wyjaśnij geometrycznie co SVD mówi o tym jak macierz transformuje sferę jednostkową . Jakie są półosie wynikowej elipsoidy?
- Ex. 117.15Application
Pokaż że w SVD się ma dla każdego . Użyj tego do sprawdzenia że .
- Ex. 117.16Modeling
W latentnej analizie semantycznej (LSA), SVD macierzy termin-dokument jest obcinana do największych wartości osobliwych. Wyjaśnij koncepcyjnie dlaczego to przechowuje "ukryte tematy" w dokumentach.
- Ex. 117.17Proof
Sformułuj twierdzenie Eckarta-Younga i naszkicuj ideę dowodu że jest rzeczywiście najlepszym przybliżeniem rangi w normie spektralnej.
- Ex. 117.18Application
Jeśli ma wartości osobliwe , jakie są wartości osobliwe ? Oblicz i .
- Ex. 117.19Application
Macierz ma wartości osobliwe . Używając progu względem największego osobliwego, jaki jest rząd numeryczny?
- Ex. 117.20Application
Udowodnij że macierz ortogonalna ma wszystkie wartości osobliwe równe 1. Jaki jest numer warunkowania macierzy ortogonalnej?
- Ex. 117.21Modeling
Wyjaśnij jak SVD macierzy zwrotów akcji identyfikuje "czynniki ryzyka" w portfelu. Co pierwsze wektory osobliwe reprezentują ekonomicznie?
- Ex. 117.22ApplicationAnswer key
Udowodnij że i mają takie same niezerowe wartości osobliwe.
- Ex. 117.23ApplicationAnswer key
Wyprowadź rozwiązanie ridge regression w terminach SVD .
- Ex. 117.24ApplicationAnswer key
Brazylijska krzywa dochodów (yield curve) ma dzienne dane yields na 10 różnych dojrzałościach. SVD tej macierzy identyfikuje 3 główne czynniki. Jakie są te czynniki ekonomicznie?
- Ex. 117.25Application
Dla jakich wartości obcinana SVD obrazu zajmuje mniej pamięci niż oryginalny obraz? Wyprowadź ogólny warunek.
- Ex. 117.26Understanding
Norma Frobeniusa równa się:
- Ex. 117.27Application
Jeśli ma wartości osobliwe , jakie są wartości osobliwe ?
- Ex. 117.28Proof
Udowodnij że kolumny i w SVD tworzą ortonormalne bazy czterech podstawowych podprzestrzeni . Sformułuj każdy podprzestrzeń i jego bazę jawnie.
- Ex. 117.29ModelingAnswer key
Opisz algorytm rekomendacji współpracy SVD: biorąc rzadką macierz użytkownika-pozycji, jak obcinana SVD może przewidzieć brakujące oceny i polecać pozycje?
- Ex. 117.30Challenge
Opisz algorytm randomizowanej SVD Halka-Martinssona-Troppa (2011) w 5 krokach. Dlaczego jest to korzystne dla dużych macierzy niskiego rangi numerycznego? Jaka jest złożoność porównana z dokładną SVD?
Źródła
- Understanding Linear Algebra — David Austin · Grand Valley State University · CC-BY-SA · Główne źródło geometrii, przykładów i ćwiczeń SVD (§6.3–6.4).
- A First Course in Linear Algebra — Rob Beezer · University of Puget Sound · GNU FDL · Rygorystyczne dowody istnienia SVD, pseudoinwersji i podprzestrzeni (§SVD).
- Álgebra Linear (REAMAT UFRGS) — Reamat Colaborativo · UFRGS · CC-BY-SA · Ćwiczenia w PT-BR kompresji, rangi numerycznej i regularyzacji.
- Introduction to Applied Linear Algebra (VMLS) — Boyd, Vandenberghe · Stanford · CC-BY-NC-ND · Kontekst zastosowań w ML i inżynierii.