Lição 118 — Análise de Componentes Principais (PCA)

为什么在应用 PCA 前必须中心化数据（减去平均值）？

给定 $$，计算协方差和主成分。

$$ 的特征值：$$。计算每个 PC 解释的方差和累积方差。累积方差达到 90% 时 $$ 是多少？

二维数据集的 PC：$$、$$。计算 $$ 在两个分量上的评分。

使用前一个练习的数据，仅保留 PC1 重构 $$。重构误差是多少？

为什么通过数据矩阵 $$ 的 SVD 计算 PCA 比直接对 $$ 进行特征分解更优选？

计算 $$ 的 PC。每个分量解释的方差是多少？

用标准化数据（z-score），总方差是多少？Kaiser 准则仅保留特征值大于 1 的 PC 意味着什么？

特征值为 $$（总共 10）的数据集。计算保留 K = 1 和 K = 2 个分量时的均方重构误差。

10 只股票回报的 PCA 导致 PC1 对所有股票的负荷幅度相似且为正。PC1 在经济上代表什么？投资组合经理如何使用这个信息？

有 $$ 个样本的 $$ 的 SVD 给出奇异值 $$。计算对应的协方差特征值和 PC1 解释的方差。

证明不同主成分的评分彼此不相关。

数据集有 50 个标准化特征。用 K = 10 PC 捕获 95% 的方差，需要多少参数来通过秩 K 的 PCA 表示协方差与完整协方差相比？

解释巴西收益率曲线的 3 个第一 PC 代表什么。为什么这 3 个因素解释 ~99% 的方差？

解释用和不用先前标准化（z-score）进行 PCA 的区别。你什么时候不应该标准化？

证明投影到 K 个第一 PC 中最小化所有秩 K 线性投影中的均方重构误差。以特征值表示最小误差值。

按递减顺序的特征值：12、8、3、1、1、1、1、1。精神上构建碎石图并识别"肘"。保留多少个 PC 以达到 80% 的方差？

描述使用 PCA 的 Eigenfaces 方法（Turk-Pentland 1991）进行面部识别。与原始像素相比实现了什么维度？

PCA 和 ICA（独立分量分析）在概念上有什么区别？在什么类型的问题中 ICA 是必要的？

当协方差矩阵是恒等式（$$）时会发生什么？这对 PCA 和降维意味着什么？

证明对称矩阵对应于不同特征值的特征向量是正交的。用这个来证明 PC 的正交性。

解释 PCA 双图显示什么。如何解释特征箭头的方向和长度以及样本的位置？

为什么经典 PCA 对异常值敏感？Robust PCA 用什么想法来处理这个问题？

数据集：N = 1000 个样本，d = 100 个标准化特征。K = 5 PC 的 PCA 解释 80% 的方差。计算数据压缩因子（原始存储与 PCA 表示存储的比率）。

解释核 PCA 的想法。用核替换内积如何允许捕获非线性结构？计算复杂度是多少？

解释 PCA 的"对偶技巧"：当 $$（特征多于样本）时，如何高效计算 PCA？每种情况下的复杂度是多少？

ENEM 2023 微观数据的 PCA（5 个分数：CN、CH、LC、MT、作文）导致 PC1 对所有分数的负荷幅度相似且为正。解释 PC1。PC2 可能代表什么？

证明第 k 个评分 $$ 的样本方差等于协方差的第 k 个特征值 $$。使用与 SVD 的联系。

在 1000 基因组项目中，来自 26 个群体的 ~2500 人的基因组数据的 PCA 显示按大陆的聚类。解释这如何可能，以及前 3 个 PC 在遗传上代表什么。

描述概率 PCA 模型（Tipping-Bishop 1999）。相对于经典 PCA 有什么优点？该模型如何在某个极限情况下减少到经典 PCA？