Lição 109 — Estatística bayesiana introdutória
Prior, verossimilhança, posterior. Regra de Bayes. Conjugados Beta-Bernoulli. MAP versus MLE. Intervalo credível. Introdução à inferência pelo paradigma bayesiano.
Used in: Stochastik LK (Alemanha, Klasse 12) · H2 Math Statistics (Singapura) · AP Statistics (EUA)
Rigorous notation, full derivation, hypotheses
严格定义
贝叶斯定理
"贝叶斯定理是条件概率的基本结果,但其解释改变了一切:它提供了一个正式的方法,在证据的照亮下更新信念。" — OpenIntro Statistics §3.6
共轭先验:Beta-Bernoulli情形
点估计量
可信区间
贝叶斯因子
为了比较假说 和 :
Jeffreys量表: — 强证据支持 ; — 强证据支持 ; — 未能确定。
贝叶斯流程:先验 × 似然 → 后验。当新数据到达时,后验成为新的先验。
解决的例子
问题。 一种疾病影响2%的人口。测试的灵敏度为90%,特异度为85%。患者测试呈阳性。他患有该疾病的概率是多少?
策略。 用分割 应用贝叶斯公式,计算 。
求解。
,,,。
总证据:
后验:
验证。 患病率仅为2%,即使测试相当好,也会产生许多假阳性。答案 有意义:大多数阳性来自庞大的健康人群。
来源。 OpenIntro Statistics §3.6, 医学诊断例子 — CC-BY-SA。
问题。 一个罐子中的红球比例为未知的 。先验:。有放回地抽取:第1个样本——5次抽取中3个红球;第2个样本——6次抽取中4个红球。计算每次样本后的后验和最终后验平均值。
策略。 Beta-Bernoulli:在 次试验中有 次成功后,。按顺序应用。
求解。
先验:,平均值 。
第1次样本后(,):
第2次样本后(,):
验证。 总数据:11次抽取中7个红球,样本比例 = 。后验平均值0.60在先验(0.50)和样本比例之间——合理。有弱先验时,随着 增加,后验收敛到MLE。
来源。 Think Bayes §3 — Allen Downey — CC-BY-NC-SA。
问题。 对于Beta-Bernoulli模型,,,在10次试验中有6次成功后,计算MLE、MAP和后验平均值。解释差异。
策略。 MLE最大化似然;MAP最大化后验;后验平均值是 。
求解。
MLE:。
后验:。
MAP(Beta的众数,当 时为 ):
后验平均值:
验证。 排序:平均值在MAP和Beta(9,7)的众数之间。MLE最大——先验"拉"向0.5(对称先验环绕0.5)。当 很大时,三者都收敛到MLE。
来源。 Think Bayes §4, §6 — Allen Downey — CC-BY-NC-SA。
问题。 在先验 下,10次试验中有12次成功后,计算 的95%中心可信区间。
策略。 后验 。95%中心区间由Beta分布的2.5%和97.5%分位数给出。
求解。
后验:。
后验平均值:。
按表或软件(R:qbeta(c(0.025, 0.975), 13, 9)):
2.5%分位数:。97.5%分位数:。
95%可信区间:。
验证。 直接解释:"给定均匀先验和数据, 位于0.376和0.779之间的概率是95%"。注意区间不以0.6为中心——它是非对称的,因为这种情形下Beta是非对称的。
来源。 Introduction to Probability §4.1 — Grinstead & Snell — GNU FDL。
问题。 为了测试 (公平硬币)versus (歪硬币),先验等概率(),在10次掷币中得到8次正面后计算贝叶斯因子和 的后验概率。
策略。 计算每个假说的 ,然后应用Bayes。
求解。
贝叶斯因子:
先验 :
验证。 — 中等到强证据支持 (Jeffreys量表:3到10之间为"中等")。歪硬币的后验概率从50%上升到84%。与数据一致(10中的8个偏向 )。
来源。 OpenIntro Statistics §3.7 — Diez, Çetinkaya-Rundel, Barr — CC-BY-SA。
Exercise list
34 exercises · 8 with worked solution (25%)
- Ex. 109.1Application
某疾病的患病率:1%。测试灵敏度:95%。假阳性率:10%。患者测试呈阳性。计算患有该疾病的概率。
- Ex. 109.2Application
一枚硬币掷10次,得到4次正面。先验:Beta(1,1)(均匀)。计算后验、后验平均值并与MLE比较。
- Ex. 109.3Application
先验:Beta(4, 6)。样本:10次中有7次成功。计算后验、后验平均值和MAP。
- Ex. 109.4Application
先验:Beta(2, 2)。批次1:10次中有5次成功。批次2:10次中有8次成功。进行顺序更新,计算最终后验平均值。
- Ex. 109.5Application
患病率:0.5%。灵敏度:99%。假阳性率:2%。患者测试呈阳性。患有该疾病的概率是多少?
- Ex. 109.6Application
10次试验中有3次成功。比较先验Beta(1,1)和Beta(5,5)的后验平均值。哪个先验对后验影响更大?
- Ex. 109.7Application
三家工厂生产螺钉:E1(产量的60%,缺陷率30%)、E2(30%,缺陷率50%)、E3(10%,缺陷率10%)。取出一个缺陷螺钉。它来自E1的概率是多少?
- Ex. 109.8Application
先验:Beta(3, 3)(对公平硬币的轻微信念,平均值0.5)。掷5次,出现0次正面。计算后验和新的平均值。
- Ex. 109.9Application
先验:Beta(1,1)。数据:20次中15次成功。计算MAP和MLE。它们相等吗?为什么?
- Ex. 109.10Application
袋子里有两枚硬币:一枚总是出现正面(H),另一枚公平(J)。随机选一枚。掷两次,都是正面。是硬币H的概率是多少?
- Ex. 109.11Understanding
95%贝叶斯可信区间意味着什么?
- Ex. 109.12UnderstandingAnswer key
关于MAP和MLE哪个陈述是错误的?
- Ex. 109.13Understanding
样本大小n如何影响先验和后验之间的关系?
- Ex. 109.14Application
一名学生通过了考试()。已知:(学了很多,概率60%),(没学,概率40%)。已知他通过了,学了很多的概率是多少?
- Ex. 109.15Application
机器的成功率未知。先验:Beta(4, 2)(4次成功和2次失败的历史)。新测试:6次连续成功。计算后验、平均值和MAP。
- Ex. 109.16Application
在10次掷币中得到8次正面后,计算 vs 的贝叶斯因子。
- Ex. 109.17ApplicationAnswer key
三批各10次试验:7次成功、6次成功、7次成功。先验:Beta(1,1)。进行顺序更新,计算最终后验平均值。
- Ex. 109.18Application
患病率:30%。灵敏度:95%。假阳性率:20%。患者测试呈阳性。计算患有该疾病的概率,并与练习109.1比较。
- Ex. 109.19ApplicationAnswer key
证明Beta-Bernoulli模型的后验平均值是先验和样本比例之间的加权平均。识别权重。
- Ex. 109.20Application
先验:Beta(2, 2)。数据:3次中0次成功。计算后验、MAP和后验平均值。
- Ex. 109.21Application
在福塔莱萨某一天下雨的概率:40%。若要下雨,有85%的可能会有浓密乌云。若不下雨,有30%的可能。有浓密乌云。下雨的概率是多少?
- Ex. 109.22ApplicationAnswer key
生产历史:10%缺陷(相当于100件产品中有10个缺陷 = Beta(10,90))。新检查:20件中有3个缺陷。计算后验和后验平均值。
- Ex. 109.23Application
袋子里有3枚硬币:1枚总出现正面(H),2枚公平(J)。随机取一枚并掷一次:出现正面。是硬币H的概率是多少?
- Ex. 109.24Application
先验Beta(1,1)。数据:20次中10次成功。描述后验和95%中心可信区间(使用Beta(11,11)的2.5%分位数≈0.31)。
- Ex. 109.25Modeling
一个培训班历史上在ENEM中通过率为70%。新班级,20名学生:15人通过。提出合适的Beta先验,计算后验和通过率的后验平均值。
- Ex. 109.26ModelingAnswer key
胰腺癌患病率:0.2%。活检:灵敏度92%,特异度97%。阳性检查。计算P(癌 | 正)并讨论医学决定。
- Ex. 109.27Modeling
物流公司报告在监管的50次交付中有20次延迟。使用先验Beta(1,1),以90%可信区间估计延迟率。
- Ex. 109.28ModelingAnswer key
一家金融科技公司知道1%的交易是欺诈性的。一个算法检测到当前交易的值超出了客户的正常范围。P(异常值 | 欺诈) = 85%,P(异常值 | 合法) = 2%。计算欺诈的概率。
- Ex. 109.29Proof
证明对于具有Beta先验的Bernoulli模型,后验也是Beta。识别参数。
- Ex. 109.30ProofAnswer key
论证对于Bernoulli模型,使用Beta(1,1)先验(均匀)时,MAP估计量与MLE重合。
- Ex. 109.31ApplicationAnswer key
垃圾邮件过滤器:20%的邮件是垃圾。在垃圾邮件中,每个可疑关键词出现的概率为60%;在合法邮件中为5%。一封邮件有3个关键词。是垃圾的概率是多少?
- Ex. 109.32Application
两组大鼠:系列1(10个动物,暴露后8个肿瘤)和系列2(10个动物,3个肿瘤)。两个费率的先验Beta(1,1)。计算每个系列的后验和后验平均值。
- Ex. 109.33Application
一个罐子内橙球的比例未知。100次有放回抽取后,50个是橙色。先验Beta(1,1)。计算后验、平均值和95%可信区间。
- Ex. 109.34Challenge
Bernoulli的Jeffreys先验是Beta(0.5; 0.5)。在10次中6次成功后,计算后验。研究该先验意味着什么"对参数化不变",并将后验平均值与先验Beta(1,1)比较。
来源
- Think Bayes — Allen B. Downey · CC-BY-NC-SA · Greenteapress · 第1-9章。
- Introduction to Probability — Grinstead & Snell · GNU FDL · Dartmouth · §4.1。
- OpenIntro Statistics — Diez, Çetinkaya-Rundel, Barr · CC-BY-SA · OpenIntro · §3.6–3.7。