v1 · padrão canônico

Lição 77 — Teorema Central do Limite

A média de n v.a. iid converge à normal independente da distribuição original — a lei mais importante da estatística. Demonstração via função característica, velocidade Berry-Esseen, aplicações de inferência.

Used in: 2.º ano do EM (16-17 anos) · Math B japonês §4.4 · Stochastik LK alemão · H2 Math singapurense cap. 21

\bar X_n \xrightarrow{d} \mathcal{N}\!\left(\mu,\,\frac{\sigma^2}{n}\right) \quad (n \to \infty)

Choose your door

Rigorous notation, full derivation, hypotheses

Formale Aussage und Beweis

Lindeberg-Lévy-Version

Definition· Zentraler Grenzwertsatz (klassische Version)

Seien $X_1, X_2, \ldots$ Zufallsvariablen iid (unabhängig und identisch verteilt) mit $E[X_i] = \mu \in \mathbb{R}$ und $\text{Var}(X_i) = \sigma^2 \in (0, +\infty)$ . Definiere die standardisierte Statistik

$Z_n = \frac{\bar X_n - \mu}{\sigma/\sqrt{n}}, \quad \bar X_n = \frac{1}{n}\sum_{i=1}^n X_i.$

Dann $Z_n \xrightarrow{d} \mathcal{N}(0, 1)$ : für alle $z \in \mathbb{R}$ ,

$\lim_{n \to \infty} P(Z_n \leq z) = \Phi(z) = \frac{1}{\sqrt{2\pi}}\int_{-\infty}^z e^{-t^2/2}\,dt.$

"The central limit theorem is the unofficial sovereign of probability theory." — Grinstead & Snell, Introduction to Probability, §9.1

Version für Summen

Wenn $S_n = X_1 + \cdots + X_n$ , dann $S_n \approx \mathcal{N}(n\mu,\, n\sigma^2)$ für großes $n$ .

Z_n = \frac{S_n - n\mu}{\sigma\sqrt{n}} \xrightarrow{d} \mathcal{N}(0,1)

what this means · Standardisierung der Summe: dieselbe Formel, andere Skala.

Konvergenzgeschwindigkeit: Berry-Esseen-Ungleichung

Beweisskizze über charakteristische Funktion

Sei $Y_i = (X_i - \mu)/\sigma$ (Mittelwert null, Varianz 1). Taylor-Entwicklung von $\varphi_{Y_i}$ :

$\varphi_{Y_i}(t) = 1 - \frac{t^2}{2} + o(t^2) \quad (t \to 0).$

Für $Z_n = (Y_1 + \cdots + Y_n)/\sqrt{n}$ :

$\varphi_{Z_n}(t) = \left[\varphi_{Y_i}\!\left(\frac{t}{\sqrt{n}}\right)\right]^n = \left[1 - \frac{t^2}{2n} + o\!\left(\frac{1}{n}\right)\right]^n \xrightarrow{n\to\infty} e^{-t^2/2}.$

Aber $e^{-t^2/2}$ ist die charakteristische Funktion von $\mathcal{N}(0, 1)$ . Das Lévy-Theorem (Stetigkeitssatz) schließt $Z_n \xrightarrow{d} \mathcal{N}(0,1)$ . $\blacksquare$

Wenn der ZGS nicht gilt

Wesentliche Voraussetzungen

Unabhängigkeit (minimal hinreichend; relaxierbar für $\alpha$ -mixing).
Endliche Varianz $\sigma^2 < \infty$ .
Ausreichend großes n — Faustregel: $n \geq 30$ für nicht sehr schiefe Verteilungen; $n \geq 100$ für hohe Schiefe.

Gelöste Beispiele

Example— 1· Durchschnittliches Gewicht von Paketen, die von der Post aufgegeben werden

Problem. Pakete, die bei der Post aufgegeben werden, haben durchschnittliches Gewicht $\mu = 2{,}4$ kg und Standardabweichung $\sigma = 0{,}8$ kg (Verteilung unbekannt). Eine Sortierung zieht zufällig 64 Pakete. Wie wahrscheinlich ist es, dass das Durchschnittsgewicht der Stichprobe 2,6 kg übersteigt?

Strategie. Nach dem ZGS gilt $\bar X_{64} \approx \mathcal{N}(2{,}4,\; 0{,}8^2/64)$ . Standardisiere und konsultiere z-Tabelle.

Lösung.

$\sigma_{\bar X} = 0{,}8/\sqrt{64} = 0{,}8/8 = 0{,}1$ kg.

$z = \frac{2{,}6 - 2{,}4}{0{,}1} = \frac{0{,}2}{0{,}1} = 2{,}0.$

$P(\bar X > 2{,}6) = P(Z > 2{,}0) = 1 - \Phi(2{,}0) = 1 - 0{,}9772 = 0{,}0228 \approx 2{,}3\%$ .

Überprüfung. 68-95-99,7-Regel: $\pm 2\sigma_{\bar X}$ enthält 95%, also 2,5% in jedem Schwanz. Das Ergebnis von 2,3% ist konsistent.

Quelle. OpenStax Statistics, §7.2, Example 7.2 — CC-BY

Example— 2· Wahl: Wahrscheinlichkeit des Stichprobenanteils

Problem. Bei einer Wahl unterstützen 42% der Wähler Kandidat A ( $p = 0{,}42$ ). Eine Befragung nach der Stimmabgabe befragt 1.000 Wähler zufällig. Wie wahrscheinlich ist es, dass der Stichprobenanteil $\hat p$ unter 0,40 fällt?

Strategie. $\hat p$ ist der Mittelwert von iid-Bernoulli-Variablen. Nach ZGS gilt $\hat p \approx \mathcal{N}(p, p(1-p)/n)$ .

Lösung.

$\sigma_{\hat p} = \sqrt{0{,}42 \times 0{,}58 / 1000} = \sqrt{0{,}000244} \approx 0{,}01562$ .

$z = \frac{0{,}40 - 0{,}42}{0{,}01562} \approx -1{,}28.$

$P(\hat p < 0{,}40) = \Phi(-1{,}28) \approx 0{,}1003 \approx 10\%$ .

Überprüfung. Differenz von 2 Prozentpunkten mit $\sigma \approx 1{,}6\%$ ergibt $z \approx -1{,}25$ ; Werte sind konsistent.

Quelle. OpenIntro Statistics, §5.4, Exercise 5.39, p. 224 — CC-BY-SA

Example— 3· Stichprobengröße für Fehlermarge

Problem. Ein Institut möchte das Durchschnittsgehalt von Ingenieuren in SP mit Fehlermarge $\pm$ 200 brasilianische Real bei 95% Konfidenz schätzen. Pilotstudie: $s = 1.800$ Real. Welches ist das Minimum $n$ ?

Strategie. Nach ZGS hat ein 95%-KI die Halbbreite $1{,}96\,\sigma/\sqrt{n}$ . Isoliere $n$ .

Lösung.

$1{,}96 \times \frac{1800}{\sqrt{n}} = 200 \implies \sqrt{n} = \frac{1{,}96 \times 1800}{200} = 17{,}64 \implies n = 17{,}64^2 \approx 311{,}2.$

Runde auf: $n = 312$ .

Überprüfung. $1{,}96 \times 1800/\sqrt{312} \approx 199{,}6 < 200$ . Korrekt.

Quelle. OpenStax Statistics, §7.3, Stichprobengröße (Sample Size Calculation) — CC-BY

Example— 4· Versicherungsschadenssumme (versicherungsmathematische Modellierung)

Problem. Eine Versicherungsgesellschaft hat 500 Kfz-Versicherungspolicen. Jeder Schaden kostet durchschnittlich 3.000 brasilianische Real mit Standardabweichung 1.200 Real (Exponentialverteilung). Wie wahrscheinlich ist es, dass die Gesamtschadenssumme 1.560.000 Real übersteigt?

Strategie. $S_{500} = \sum X_i \approx \mathcal{N}(500 \times 3000,\; 500 \times 1200^2)$ nach ZGS (Summenversion).

Lösung.

$E[S] = 500 \times 3000 = 1.500.000$ ; $\text{Var}(S) = 500 \times 1200^2 = 720.000.000$ .

$\sigma_S = \sqrt{720.000.000} \approx 26.833$ .

$z = \frac{1.560.000 - 1.500.000}{26.833} \approx \frac{60.000}{26.833} \approx 2{,}237.$

$P(S > 1.560.000) = P(Z > 2{,}237) \approx 1 - 0{,}9873 \approx 1{,}3\%$ .

Überprüfung. $\pm 2\sigma_S$ entspricht $\pm$ 53.666 Real; $60.000 > 2\sigma_S$ , also weniger als 2,5% — konsistent mit 1,3%.

Quelle. OpenIntro Statistics, §4.4, p. 199–202 — CC-BY-SA

Example— 5· Berry-Esseen: Quantifizierung des Approximationsfehlers

Problem. $X_i \sim \text{Bernoulli}(0{,}1)$ ; $\mu = 0{,}1$ , $\sigma^2 = 0{,}09$ , $E[|X-\mu|^3] = 0{,}9^3 \times 0{,}1 + 0{,}1^3 \times 0{,}9 = 0{,}0738$ . Für $n = 100$ , was ist die Berry-Esseen-Schranke auf dem Fehler $\sup_z |F_{Z_{100}}(z) - \Phi(z)|$ ?

Strategie. Wende die Ungleichung direkt mit $C = 0{,}5$ an.

Lösung.

$\rho = E[|X - \mu|^3] = 0{,}0738$ ; $\sigma^3 = 0{,}3^3 = 0{,}027$ .

$\text{Schranke} \leq \frac{0{,}5 \times 0{,}0738}{0{,}027 \times \sqrt{100}} = \frac{0{,}0369}{0{,}27} \approx 0{,}137.$

Der maximale Approximationsfehler ist weniger als 13,7 Prozentpunkte — eine konservative Schranke, realer Fehler ist viel kleiner.

Überprüfung. Für Bernoulli(0,1) mit $n = 100$ zeigt eine Binomialtabelle vs. Normal einen realen Fehler von 1–2% — Berry-Esseen ist erwartungsgemäß locker.

Quelle. Grinstead & Snell, Introduction to Probability, §9.3, p. 346–349 — GNU FDL

Exercise list

37 exercises · 9 with worked solution (25%)

Application 20Understanding 4Modeling 9Challenge 2Proof 2

Ex. 77.1Application
$X$ exponentialverteilt mit $\mu = 1$ und $\sigma = 1$ . Schreibe die approximative Verteilung von $\bar X_{100}$ und berechne $\sigma_{\bar X}$ .
Solve online
Ex. 77.2Application
$X$ gleichmäßig auf $[0, 1]$ . Bestimme $\mu$ und $\sigma^2$ , und schreibe die approximative Verteilung von $\bar X_{50}$ mit dem ZGS.
Solve online
Ex. 77.3ApplicationAnswer key
Wirf 100 faire Würfel. Bestimme die approximative Verteilung der Summe $S_{100}$ , gib $E[S]$ und $\text{Var}(S)$ an.
Solve online
Ex. 77.4Application
$X \sim \text{Bernoulli}(0{,}3)$ . Schreibe die approximative Verteilung von $\bar X_{200}$ nach ZGS und berechne die Standardabweichung des Stichprobenanteils.
Solve online
Ex. 77.5Application
Eine Population hat $\mu = 50$ und $\sigma = 10$ . Für $n = 25$ , berechne die Standardabweichung von $\bar X$ (in ganzen Zahlen).
Solve online
Ex. 77.6ApplicationAnswer key
Verwende die Daten von 77.5 ( $\mu = 50$ , $\sigma = 10$ , $n = 25$ ), berechne $P(\bar X > 53)$ .
Solve online
Ex. 77.7Application
Mit denselben Parametern ( $\mu = 50$ , $\sigma = 10$ , $n = 25$ ), berechne $P(\bar X < 47)$ .
Solve online
Ex. 77.8Application
$X$ mit $\mu = 100$ , $\sigma = 20$ , $n = 100$ . Berechne $P(98 < \bar X < 102)$ .
Solve online
Ex. 77.9Application
Summe von 50 iid ZVen mit $\mu = 5$ , $\sigma = 2$ . Berechne $P(S_{50} > 270)$ .
Solve online
Ex. 77.10Application
$X$ mit $\mu = 10$ , $\sigma = 3$ . Wie viele Beobachtungen $n$ für ein 95%-KI mit Fehlertoleranz $\pm 0{,}5$ ?
Solve online
Ex. 77.11Understanding
Wenn die Stichprobengröße $n$ mit 4 multipliziert wird, wird die Standardabweichung von $\bar X$ ( $= \sigma/\sqrt{n}$ ):
Solve online
Ex. 77.12Understanding
$X$ hat sehr schiefe Verteilung (Schiefe = 3). Für welchen Stichprobengröße ist der ZGS angemessen?
Solve online
Ex. 77.13Application
Noten mit $\mu = 70$ , $\sigma = 15$ . Stichprobe $n = 36$ . Berechne $P(\bar X > 75)$ .
Solve online
Ex. 77.14Application
Mit denselben Parametern wie 77.13 ( $\mu = 70$ , $\sigma = 15$ , $n = 36$ ), berechne $P(\bar X < 65)$ .
Solve online
Ex. 77.15Application
Mit $\mu = 70$ , $\sigma = 15$ , $n = 36$ und $\bar X = 72$ , konstruiere ein 95%-KI für $\mu$ .
Solve online
Ex. 77.16ApplicationAnswer key
Gewicht von Paketen: $\mu = 500$ g, $\sigma = 50$ g. Stichprobe $n = 25$ . Berechne $P(\bar X > 520)$ .
Solve online
Ex. 77.17ApplicationAnswer key
Mit den Parametern von 77.16 ( $\mu = 500$ g, $\sigma = 50$ g, $n = 25$ ), berechne $P(485 < \bar X < 515)$ .
Solve online
Ex. 77.18Application
Antwortzeit: $\mu = 50$ ms, $\sigma = 10$ ms. Mittelwert von 100 Messungen. Welche SLA-95%-Grenze?
Solve online
Ex. 77.19Application
Wirf einen Würfel 1.000 Mal. Berechne $P(\bar X > 3{,}6)$ .
Solve online
Ex. 77.20Application
Verwende die Summenverteilung $S_{1000}$ von 1.000 Würfelwürfen, berechne $P(S_{1000} > 3600)$ .
Solve online
Ex. 77.21Application
$X \sim \text{Exp}(1)$ ( $\mu = 1$ , $\sigma = 1$ ). Berechne $P(\bar X_{100} > 1{,}1)$ .
Solve online
Ex. 77.22ApplicationAnswer key
Wahlumfrage: $p = 0{,}40$ , $n = 1000$ . Berechne $P(\hat p > 0{,}43)$ .
Solve online
Ex. 77.23ModelingAnswer key
Du hältst 50 unabhängige Aktien; tägliche Rendite von jeder: $\mu = 0{,}1\%$ , $\sigma = 2\%$ . Welche ist die Verteilung der durchschnittlichen Tagesrendite deines Portfolios?
Solve online
Ex. 77.24ModelingAnswer key
ML-Modell: individueller Fehler $\sigma = 0{,}5$ . Berechne die Standardabweichung des durchschnittlichen Fehlers über 1.000 Vorhersagen.
Solve online
Ex. 77.25Modeling
Bestimme die Stichprobengröße, um eine Anteilsdifferenz von 5% mit $\alpha = 0{,}05$ und Power 80% zu erkennen.
Solve online
Ex. 77.26Modeling
Schätzung von $\pi$ durch Monte Carlo: $n$ Zufallspunkte im Quadrat $[0,1]^2$ , zähle die, die im Viertelkreis landen. Welche ist die Standardabweichung der Schätzung von $\pi$ als Funktion von $n$ ?
Solve online
Ex. 77.27Modeling
Charge von 500 Teilen: $\mu = 100$ g, $\sigma = 5$ g. Bestimme die Verteilung der Gesamtmasse $S_{500}$ .
Solve online
Ex. 77.28Modeling
Buswartezeit: $\mathcal{U}[0, 30]$ min. Berechne $P(\bar T_{50} > 16)$ für die durchschnittliche Wartezeit von 50 Fahrgästen.
Solve online
Ex. 77.29Modeling
X-quer-Kontrolldiagramm mit $n = 5$ . Die Kontrollgrenzen sind $\bar X \pm 3\sigma_{\bar X}$ . Berechne die Breite des Intervalls in Bezug auf $\sigma$ des Prozesses.
Solve online
Ex. 77.30Modeling
Zufriedenheitsumfrage: Fehlertoleranz $\pm 3\%$ bei 95% Konfidenz, $p$ unbekannt. Welches ist das minimale $n$ ?
Solve online
Ex. 77.31ModelingAnswer key
Anrufdauer: $\mu = 3$ min, $\sigma = 1{,}5$ min. 100 Anrufe pro Stunde. Bestimme die Verteilung der Gesamtdauer und berechne $P(\text{Gesamtdauer} > 330\text{ min})$ .
Solve online
Ex. 77.32ChallengeAnswer key
A/B-Test: 10.000 Besucher pro Variante; Konversionsrate A = 5%, B = 6%. Ist der Anstieg von 1 Prozentpunkt statistisch signifikant? Berechne den z-Wert und den p-Wert.
Solve online
Ex. 77.33Understanding
Welche der folgenden Optionen beschreibt korrekt den Zentralen Grenzwertsatz?
Solve online
Ex. 77.34Understanding
Warum gilt der klassische Lindeberg-Lévy ZGS nicht für die Cauchy-Verteilung?
Solve online
Ex. 77.35Challenge
Simuliere den ZGS in Python für Exponentialverteilung mit $\lambda = 1$ . Generiere Histogramme von 10.000 Stichprobenmittelwerten für $n \in \lbrace 1, 5, 30 \rbrace$ und vergleiche visuell mit der theoretischen Normalverteilung.
Solve online
Ex. 77.36Proof
Skizziere den Beweis des ZGS via charakteristische Funktion, gib an wo jede Hypothese (endliche Varianz, iid) verwendet wird.
Solve online
Ex. 77.37Proof
Zeige dass ZGS das Schwache Gesetz der Großen Zahlen impliziert: wenn $Z_n \xrightarrow{d} \mathcal{N}(0,1)$ , dann $\bar X_n \xrightarrow{P} \mu$ .
Solve online

Quellen

OpenIntro Statistics (4. Aufl.) — Diez, Çetinkaya-Rundel, Barr · 2019 · CC-BY-SA. Quelle der Übungen 77.2, 77.4, 77.8, 77.11, 77.14–17, 77.22–23, 77.25–26, 77.28, 77.30, 77.33–34.
OpenStax Statistics — Illowsky, Dean · 2022 · CC-BY. Quelle der Übungen 77.1, 77.3, 77.5–7, 77.9–10, 77.12–13, 77.18–19, 77.21, 77.24, 77.27, 77.29, 77.31, 77.35 und Beispiele 1–3.
Introduction to Probability (Grinstead-Snell) — Grinstead, Snell · Dartmouth · GNU FDL. Quelle der Übungen 77.19–20, 77.26, 77.36–37 und Beispiel 5.