Lição 117 — Decomposição em valores singulares (SVD)
A = U Σ Vᵀ funciona para qualquer matriz real. Valores singulares revelam a estrutura geométrica. Base de compressão de imagens, recomendação, PCA e pseudoinversa.
Used in: 3.º ano do EM (17-18 anos) · Equiv. Lineare Algebra LK alemão · Equiv. H2 Math singapurense · Equiv. Math III japonês avançado
Rigorous notation, full derivation, hypotheses
Definition und Theorem
SVD-Theorem
"Any matrix A with rank r can be written as a product where U is orthogonal (), is diagonal (, nonnegative entries decreasing), and V is orthogonal (). The diagonal entries are the singular values of A." — Understanding Linear Algebra, §6.3
"Theorem (Existence of SVD). Every real matrix A has a singular value decomposition. The singular values are the positive square roots of the nonzero eigenvalues of ." — A First Course in Linear Algebra, §SVD
Verbindung zu Eigenwerten
Die 4 fundamentalen Untervektorräume via SVD
Eckart-Young-Theorem
Moore-Penrose-Pseudoinverse
Gelöste Beispiele
Exercise list
30 exercises · 7 with worked solution (25%)
- Ex. 117.1UnderstandingAnswer key
Erkläre den Unterschied zwischen Eigenwerten und Singulärwerten einer Matrix . Für welche Art von Matrix stimmen sie überein?
- Ex. 117.2Application
Berechne die SVD von .
- Ex. 117.3Application
Berechne die kompakte SVD von . Was ist der Rang von ?
- Ex. 117.4ApplicationAnswer key
Wenn die SVD von Singulärwerte hat, was ist der Rang von ? Welche Dimension hat ?
- Ex. 117.5Application
Die SVD von hat Singulärwerte . Berechne den Frobenius-Fehler und den spektralen Fehler der besten Rang-1-Approximation.
- Ex. 117.6Application
Beschreibe, wie man die Pseudoinverse von mit Singulärwerten und Rang 2 berechnet. Welche Dimension hat ?
- Ex. 117.7Understanding
Eine Matrix hat Singulärwerte und . Berechne und interpretiere, was das für die numerische Lösung von bedeutet.
- Ex. 117.8Application
Eine Matrix hat Singulärwerte . Was ist das kleinste so dass die Rang-k-Approximation mindestens 95% der Frobenius-Varianz erklärt?
- Ex. 117.9Application
Zeige, dass für eine symmetrische positiv semidefinite Matrix die SVD und hat. Was sind die Singulärwerte in diesem Fall?
- Ex. 117.10Modeling
Ein Graustufenbild ist eine -Matrix. Wenn du die SVD-Truncation mit Komponenten speicherst, wie viele Floats speicherst du im Vergleich zum Original? Was ist der Kompressionsfaktor?
- Ex. 117.11Understanding
Welche Aussage über die Interpretation von und in der SVD ist korrekt?
- Ex. 117.12Application
Die SVD von hat Singulärwerte . Berechne die Spektralnorm und die Frobenius-Norm .
- Ex. 117.13ApplicationAnswer key
Ein Bild hat numerischen Rang . Was ist das Kompressionsverhältnis wenn man die komplette SVD von Rang speichert statt der Originalmatrix?
- Ex. 117.14Application
Erkläre geometrisch, was die SVD über die Transformation der Einheitssphäre von durch die Matrix aussagt. Welche Länge haben die Halbachsen des resultierenden Ellipsoids?
- Ex. 117.15Application
Zeige, dass in der SVD für alle gilt. Verwende das um zu verifizieren, dass .
- Ex. 117.16Modeling
In der latent semantic analysis (LSA) wird die SVD einer Term-Dokument-Matrix auf die größten Singulärwerte trunciert. Erkläre konzeptionell, warum das "latente Themen" in den Dokumenten erfasst.
- Ex. 117.17Proof
Formuliere das Eckart-Young-Theorem und skizziere die Idee des Beweises, dass tatsächlich die beste Rang-k-Approximation in Spektralnorm ist.
- Ex. 117.18Application
Wenn Singulärwerte hat, welche sind die Singulärwerte von ? Berechne und .
- Ex. 117.19Application
Eine Matrix hat Singulärwerte . Verwende Schwelle relativ zum größten Singulärwert. Welche ist der numerische Rang?
- Ex. 117.20Application
Beweise, dass eine orthogonale Matrix alle Singulärwerte gleich 1 hat. Welche ist die Konditionszahl einer orthogonalen Matrix?
- Ex. 117.21Modeling
Erkläre, wie die SVD der Aktienrendite-Matrix "Risikofaktoren" in einem Portfolio identifiziert. Was repräsentieren die ersten rechten Singularvektoren wirtschaftlich?
- Ex. 117.22ApplicationAnswer key
Beweise, dass und dieselben nicht-null Singulärwerte haben.
- Ex. 117.23ApplicationAnswer key
Leite die Ridge-Regression-Lösung in Bezug auf die SVD von her.
- Ex. 117.24ApplicationAnswer key
Die brasilianische Zinsstrukturkurve hat tägliche Yield-Daten in 10 verschiedenen Fälligkeiten. SVD dieser Matrix identifiziert 3 Hauptfaktoren. Welche sind diese Faktoren wirtschaftlich?
- Ex. 117.25Application
Für welche Werte von nimmt die SVD-Truncation eines Bildes weniger Speicher auf als das Original? Leite die allgemeine Bedingung her.
- Ex. 117.26Understanding
Die Frobenius-Norm ist gleich:
- Ex. 117.27Application
Wenn Singulärwerte hat, welche sind die Singulärwerte von ?
- Ex. 117.28Proof
Demonstriere, dass die Spalten von und in der SVD von orthonormale Basen der 4 fundamentalen Untervektorräume von bilden. Formuliere jeden Untervektorraum und seine Basis explizit.
- Ex. 117.29ModelingAnswer key
Beschreibe den Algorithmus zur Empfehlung durch kollaborative SVD: gegeben eine dünn besetzte Benutzer-Artikel-Matrix, wie kann die SVD-Truncation fehlende Bewertungen vorhersagen und Artikel empfehlen?
- Ex. 117.30Challenge
Beschreibe den randomisierten SVD-Algorithmus von Halko-Martinsson-Tropp (2011) in 5 Schritten. Warum ist er vorteilhaft für große Matrizen mit niedrigem numerischen Rang? Welche Komplexität hat er im Vergleich zu exakter SVD?
Quellen
- Understanding Linear Algebra — David Austin · Grand Valley State University · CC-BY-SA · Hauptreferenz für Geometrie, Beispiele und Übungen zur SVD (§6.3–6.4).
- A First Course in Linear Algebra — Rob Beezer · University of Puget Sound · GNU FDL · Rigorose Demonstrationen der SVD-Existenz, Pseudoinverser und Untervektorräume (§SVD).
- Álgebra Linear (REAMAT UFRGS) — Reamat Colaborativo · UFRGS · CC-BY-SA · Übungen in PT-BR zu Kompression, numerischem Rang und Regularisierung.
- Introduction to Applied Linear Algebra (VMLS) — Boyd, Vandenberghe · Stanford · CC-BY-NC-ND · Kontext von Anwendungen in ML und Ingenieurwissenschaft.