v1 · padrão canônico

Lição 72 — Variância e desvio padrão

Dispersão estatística: quanto os dados se afastam da média. Variância populacional e amostral, desvio padrão, fórmula computacional, propriedades de linearidade e independência.

Used in: 2.º ano do EM (16-17 anos) · Equiv. Stochastik LK alemão · Equiv. Math B japonês · Equiv. H2 Statistics singapurense

\sigma^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})^2

Choose your door

Rigorous notation, full derivation, hypotheses

严格定义

方差和标准差——总体与样本

"方差或多或少是每个数据点到均值的平均平方距离。与方差关联的单位是平方单位。为了使分散度量具有与数据相同的单位，我们取方差的平方根，称为标准差。" — OpenIntro Statistics §2.1，Diez et al.，CC-BY-SA。

"在统计问题中，我们通常无法获得整个总体，因此使用样本数据来估计总体参数。为此，我们除以样本的自由度 $n-1$ 而不是 $n$ 。" — OpenStax Statistics §2.7，Illowsky & Dean，CC-BY。

代数性质

Theorem· 方差的性质

对于随机变量 $X, Y$ 和常数 $a, b \in \mathbb{R}$ ：

\text{Var}(b) = 0

what this means · 常数方差为零：没有分散。

\text{Var}(aX + b) = a^2 \, \text{Var}(X)

what this means · 平移不影响分散；缩放以平方形式进入。

\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) \quad (X, Y \text{ 独立})

what this means · 对于独立的X和Y，方差相加——类似勾股定理在L²中的类比。

\text{Var}(X) \geq 0

what this means · 方差总是非负的。

$\text{Var}(aX+b) = a^2 \text{Var}(X)$ 的证明：因为 $E[aX+b] = a\mu + b$ ，我们有 $\text{Var}(aX+b) = E[(aX+b - a\mu - b)^2] = E[(a(X-\mu))^2] = a^2 E[(X-\mu)^2] = a^2 \text{Var}(X)$ 。 $\square$

几何表示——散点图

两个均值相同但分散不同的集合。远离虚线（均值）的点产生高方差；聚集的点产生低方差。

已解决的例子

Example— 1· 方差和标准差的直接计算(应用)

问题： 计算数据 $\{2, 4, 4, 4, 5, 5, 7, 9\}$ 的总体方差 $\sigma^2$ 和标准差 $\sigma$ 。

策略： 用四个步骤应用定义：均值、偏差、偏差的平方、平方的均值。

解：

均值： $\mu = \frac{2+4+4+4+5+5+7+9}{8} = \frac{40}{8} = 5$ 。
偏差 $x_i - \mu$ ： $-3, -1, -1, -1, 0, 0, 2, 4$ 。
偏差的平方： $9, 1, 1, 1, 0, 0, 4, 16$ 。和 $= 32$ 。
总体方差： $\sigma^2 = \frac{32}{8} = 4$ 。
标准差： $\sigma = \sqrt{4} = 2$ 。

验证： $\sigma = 2$ 与数据具有相同的单位。我们检查：区间 $[\mu - \sigma, \mu + \sigma] = [3, 7]$ 包含值4、4、4、5、5、7——8个数据中的6个(75%)，与经验规则一致(对于钟形分布至少68%，切比雪夫保证任何分布至少75%)。

来源。 OpenIntro Statistics §2.1，例"Toy data for variance" — CC-BY-SA许可。

Example— 2· 具有贝塞尔修正的样本方差(应用)

问题： 8个学生参加了统计测验。成绩为：72、85、90、68、78、92、81、74。计算样本方差 $s^2$ 和样本标准差 $s$ 。

策略： 因为数据是更大班级的样本，使用除数 $n-1$ 。我将使用计算公式 $s^2 = \frac{\sum x_i^2 - n\bar{x}^2}{n-1}$ 以提高效率。

解：

$n = 8$ 。和： $72+85+90+68+78+92+81+74 = 640$ 。均值： $\bar{x} = 640/8 = 80$ 。
$\sum x_i^2 = 5184 + 7225 + 8100 + 4624 + 6084 + 8464 + 6561 + 5476 = 51718$ 。
$\sum x_i^2 - n\bar{x}^2 = 51718 - 8 \times 6400 = 51718 - 51200 = 518$ 。
$s^2 = \frac{518}{7} \approx 74.0$ 。
$s = \sqrt{74.0} \approx 8.6$ 分。

验证： 检查数据，所有值在68到92之间，幅度24。8.6的标准差是合理的——大约是幅度的1/3，这是典型的。

来源。 OpenStax Statistics §2.7，例"Find the Standard Deviation" — CC-BY许可。

Example— 3· 离散随机变量的方差(中等)

问题： 一个公平的6面骰子。设 $X$ 为结果。计算 $\text{Var}(X)$ 。

策略： 使用公式 $\text{Var}(X) = E[X^2] - (E[X])^2$ 与离散均匀分布。

解：

$P(X = k) = 1/6$ 对于 $k \in \{1, 2, 3, 4, 5, 6\}$ 。
$E[X] = \frac{1+2+3+4+5+6}{6} = \frac{21}{6} = \frac{7}{2}$ 。
$E[X^2] = \frac{1^2+2^2+3^2+4^2+5^2+6^2}{6} = \frac{1+4+9+16+25+36}{6} = \frac{91}{6}$ 。
$\text{Var}(X) = \frac{91}{6} - \left(\frac{7}{2}\right)^2 = \frac{91}{6} - \frac{49}{4} = \frac{182}{12} - \frac{147}{12} = \frac{35}{12}$ 。
标准差： $\sigma = \sqrt{35/12} \approx 1.71$ 。

验证： $X$ 在 $\{1, \ldots, n\}$ 上均匀分布的一般公式是 $\text{Var}(X) = (n^2-1)/12$ 。对于 $n=6$ ： $(36-1)/12 = 35/12$ 。确认。

来源。 Grinstead & Snell，Introduction to Probability，第6章，例6.1 — GNU FDL许可。

Example— 4· 线性性质和变异系数(中等)

问题： 一台机器装填瓶子，平均体积 $\mu = 500$ mL， $\sigma = 4$ mL。公司以12瓶为一箱销售。(a) 假设瓶子独立，一箱总体积的标准差是多少？(b) 单个瓶子的变异系数( $CV$ )是多少？

策略： 对于(a)，使用独立性性质： $\text{Var}(X_1 + \cdots + X_{12}) = 12\sigma^2$ 。对于(b)，应用 $CV = \sigma/\mu$ 。

解：

(a) 设 $S = X_1 + X_2 + \cdots + X_{12}$ ，其中 $X_i$ 独立同分布。

$\text{Var}(S) = 12 \cdot \sigma^2 = 12 \cdot 16 = 192 \text{ mL}^2$ 。

$\sigma_S = \sqrt{192} = 8\sqrt{3} \approx 13.9$ mL。

(b) $CV = \frac{\sigma}{\mu} = \frac{4}{500} = 0.008 = 0.8\%$ 。

0.8%的 $CV$ 非常低——机器是一致的。

验证： 对于12个独立瓶子，标准差以 $\sqrt{12}$ 增长，不是12。 $4\sqrt{12} \approx 13.9$ 。与计算一致。

来源。 OpenStax Statistics §2.7，性质练习 — CC-BY许可。

Example— 5· 切比雪夫不等式——概率界(建模)

问题： 一条生产线制造零件，平均质量 $\mu = 200$ g，标准差 $\sigma = 5$ g。不知道确切的分布，为质量在185 g到215 g之间的零件比例确定一个下界。

策略： 切比雪夫提供了一个普遍的界： $P(|X - \mu| < k\sigma) \geq 1 - 1/k^2$ 。从要求的范围识别 $k$ 。

解：

要求的范围： $[185, 215] = [\mu - 15, \mu + 15]$ 。
$15 = 3\sigma$ (因为 $\sigma = 5$ )。因此 $k = 3$ 。
切比雪夫： $P(|X - 200| < 15) \geq 1 - \frac{1}{3^2} = 1 - \frac{1}{9} = \frac{8}{9} \approx 88.9\%$ 。

至少88.9%的零件在容限范围内，独立于分布。

验证： 如果生产是正态的，使用 $k=3$ 我们将有99.7%——更好得多。切比雪夫是保守的。值88.9%是对任何具有 $\mu = 200, \sigma = 5$ 的分布的最坏界。

来源。 Grinstead & Snell，Introduction to Probability，§8.1，切比雪夫不等式 — GNU FDL许可。

Exercise list

40 exercises · 10 with worked solution (25%)

Application 24Understanding 3Modeling 9Proof 4

Ex. 72.1Application
计算 $\{4, 6, 8\}$ 的总体方差和标准差。
Solve online
Ex. 72.2Application
计算 $\{2, 4, 4, 4, 5, 5, 7, 9\}$ 的样本方差 $s^2$ 和样本标准差 $s$ 。
Solve online
Ex. 72.3Application
计算 $\{5, 6, 7, 8, 9\}$ 的总体标准差。
Solve online
Ex. 72.4ApplicationAnswer key
$\{10, 10, 10, 10\}$ 的方差是多少？从几何上解释。
Solve online
Ex. 72.5ApplicationAnswer key
计算 $\{0, 100\}$ 的总体方差。
Solve online
Ex. 72.6Application
薪资(千R$)： $3, 3, 4, 4, 5, 20$ 。计算均值和样本标准差。评论异常值的影响。
Solve online
Ex. 72.7Application
使用计算公式 $\overline{x^2} - \bar{x}^2$ 计算 $\{1, 2, 3, 4, 5\}$ 的方差。
Solve online
Ex. 72.8Application
8次服务的等待时间(分)： $5, 7, 6, 8, 4, 5, 6, 7$ 。计算样本标准差。
Solve online
Ex. 72.9ApplicationAnswer key
6个西瓜的重量(公斤)： $8, 9, 9, 10, 11, 13$ 。计算 $s^2$ 和 $s$ 。
Solve online
Ex. 72.10Application
$X$ 取值 $1, 2, 3$ ，概率为 $\frac{1}{2}, \frac{1}{4}, \frac{1}{4}$ 。计算 $\text{Var}(X)$ 。
Solve online
Ex. 72.11Application
6面公平骰子。计算 $\text{Var}(X)$ 。
Solve online
Ex. 72.12ApplicationAnswer key
两个独立公平骰子之和。使用独立性性质计算 $\text{Var}(S)$ 。
Solve online
Ex. 72.13Application
7天的最高温度(℃)： $10, 7, 4, 9, 8, 11, 5$ 。计算样本方差。
Solve online
Ex. 72.14Application
使用计算公式 $E[X^2] - (E[X])^2$ 计算 $\{1, 3, 5, 7, 9\}$ 的方差。
Solve online
Ex. 72.15ApplicationAnswer key
如果 $\text{Var}(X) = 9$ ，计算 $\text{Var}(2X + 5)$ 。
Solve online
Ex. 72.16Application
如果 $\sigma_X = 4$ ， $3X$ 的标准差是多少？
Solve online
Ex. 72.17ApplicationAnswer key
$\text{Var}(X) = 4$ 、 $\text{Var}(Y) = 9$ 、 $X$ 和 $Y$ 独立。计算 $\text{Var}(X+Y)$ 和 $\text{Var}(X-Y)$ 。
Solve online
Ex. 72.18Application
如果 $\mu = 70$ 、 $\sigma = 5$ ，对 $X = 80$ 进行标准化。计算z分数。
Solve online
Ex. 72.19Application
$F = 1.8C + 32$ (摄氏度到华氏度转换)。如果 $\sigma_C = 5$ °C， $\sigma_F$ 是多少？
Solve online
Ex. 72.20Application
计算高度( $\mu = 170$ 厘米、 $\sigma = 8$ 厘米)和重量( $\mu = 70$ 公斤、 $\sigma = 12$ 公斤)的变异系数 $CV = \sigma/\mu$ 。哪个集合相对变异性更大？
Solve online
Ex. 72.21Application
使用 $\mu = 70, \sigma = 10$ 对 $\{60, 70, 80\}$ 进行标准化。z分数的均值和标准差是多少？
Solve online
Ex. 72.22Application
$\text{Var}(X) = 16$ 。 $\text{Var}(-X)$ 是多少？
Solve online
Ex. 72.23ApplicationAnswer key
$n = 25$ 个独立观测的样本均值， $\sigma = 10$ 。均值的标准差是多少？
Solve online
Ex. 72.24Application
100个iid随机变量之和， $\sigma = 1$ 。和的标准差是多少？
Solve online
Ex. 72.25Understanding
为什么样本方差使用除数 $n-1$ 而不是 $n$ ？
Solve online
Ex. 72.26Understanding
为了比较薪资(R$)和高度(厘米)间的分散，更倾向 $\sigma$ 还是 $CV$ ？为什么？
Solve online
Ex. 72.27Understanding
方差能是负数吗？
Solve online
Ex. 72.28Modeling
生产线：平均质量500克、 $\sigma = 5$ 克。容限 $\pm 15$ 克。容限代表多少 $\sigma$ ？
Solve online
Ex. 72.29ModelingAnswer key
两个基金期望回报8%，但 $\sigma_A = 5\%$ 和 $\sigma_B = 15\%$ 。作为风险厌恶者，选择哪个？为什么？
Solve online
Ex. 72.30Modeling
你测量电阻10次： $\bar{R} = 100\,\Omega$ 、 $s = 0.5\,\Omega$ 。估计均值的标准差。
Solve online
Ex. 72.31Modeling
家到工作出行时间： $\mu = 30$ 分钟、 $\sigma = 5$ 分钟。使用切比雪夫不等式作为保守界，提前多少分钟出发来保证至少95%的到达机会？
Solve online
Ex. 72.32Modeling
Six Sigma过程： $\mu = 10.00$ 毫米，容限9.94至10.06毫米。仍满足Six Sigma要求的最大 $\sigma$ 是多少？
Solve online
Ex. 72.33ModelingAnswer key
股票A： $\sigma_A = 1\%$ ；股票B： $\sigma_B = 2\%$ 。50-50投资组合，零相关。投资组合方差。
Solve online
Ex. 72.34Modeling
来自前一个练习的同一投资组合，但股票之间的相关为 $-0.5$ 。方差。与零相关的情况比较。
Solve online
Ex. 72.35Modeling
在机器学习中，为什么应在训练基于梯度的模型前标准化具有不同尺度的特征？
Solve online
Ex. 72.36Modeling
ENEM数学成绩： $\mu \approx 520$ 、 $\sigma \approx 110$ 分。一个学生得了740分。计算z分数并解释(他在均值上方多少个标准差？)。
Solve online
Ex. 72.37Proof
从定义 $\text{Var}(X) = E[(X-\mu)^2]$ 证明 $\text{Var}(X) = E[X^2] - (E[X])^2$ 。
Solve online
Ex. 72.38Proof
对任意常数 $a, b$ 证明 $\text{Var}(aX + b) = a^2\,\text{Var}(X)$ 。
Solve online
Ex. 72.39ProofAnswer key
当 $X$ 和 $Y$ 独立时证明 $\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y)$ 。
Solve online
Ex. 72.40Proof
证明切比雪夫不等式：对 $k > 0$ 有 $P(|X - \mu| \geq k\sigma) \leq \dfrac{1}{k^2}$ 。
Solve online

来源

OpenIntro Statistics(第4版) — Diez, Çetinkaya-Rundel, Barr · CC-BY-SA。本课的主要来源。 §2.1–§2.2涵盖样本方差、标准差、箱线图和应用例子。
Statistics(OpenStax) — Illowsky, Dean · CC-BY。§2.7涵盖分散度量、计算公式、计算器练习和教育/卫生数据。
Introduction to Probability — Grinstead & Snell (达特茅斯学院) — GNU FDL。第6章涵盖离散随机变量的方差、代数性质、切比雪夫和与大数定律的联系。