v1 · padrão canônico

Lição 79 — Teorema de Bayes aprofundado

Priors, posteriors e atualização sequencial. Forma de odds, prior conjugado Beta-binomial, base rate fallacy, Naive Bayes. Aplicações em diagnóstico médico, spam filtering e ML.

Used in: Stochastik LK alemão · H2 Math Statistics singapurense · Math B japonês · Equiv. AP Statistics EUA

P(H \mid E) = \frac{P(E \mid H)\,P(H)}{P(E)}

Choose your door

Rigorous notation, full derivation, hypotheses

Definições e teoremas

Probabilidade condicional

"The conditional probability $P(E \mid F)$ , the probability of $E$ given $F$ , expresses the probability of $E$ when we know that $F$ has occurred. It can be computed using the formula $P(E \mid F) = P(EF)/P(F)$ , assuming $P(F) > 0$ ." — Grinstead & Snell, Introduction to Probability, §4.1

Teorema de Bayes

"Bayes' Theorem is just a formula that comes from the definition of conditional probability. Yet it is extremely powerful, and is the key to understanding what it means to rationally revise your beliefs in light of new evidence." — OpenIntro Statistics 4e, §3.2

Forma de odds

Definition· Forma de odds (razão de probabilidades)

A forma de odds reescreve Bayes como uma multiplicação de razões:

$\underbrace{\frac{P(H \mid E)}{P(\neg H \mid E)}}_{\text{posterior odds}} = \underbrace{\frac{P(E \mid H)}{P(E \mid \neg H)}}_{\text{razão de verossimilhança (LR)}} \times \underbrace{\frac{P(H)}{P(\neg H)}}_{\text{prior odds}}$

A razão de verossimilhança positiva $\text{LR}^+ = \text{sensibilidade}/(1 - \text{especificidade})$ quantifica o quanto um resultado positivo de teste favorece a hipótese.

Atualização sequencial

Prior conjugado Beta-binomial

Definition· Prior conjugado

O prior $\pi(\theta)$ é conjugado à likelihood $L(\theta \mid \mathbf{x})$ se o posterior $\pi(\theta \mid \mathbf{x})$ pertence à mesma família paramétrica que o prior.

Para o modelo Bernoulli: se $X_1, \ldots, X_n \overset{\text{iid}}{\sim} \text{Bernoulli}(\theta)$ e $k = \sum X_i$ , com prior $\theta \sim \text{Beta}(\alpha, \beta)$ :

$\theta \mid k \sim \text{Beta}(\alpha + k,\; \beta + n - k)$

Prior Beta(1,1) = uniforme em $[0,1]$ (prior não-informativo). Média do posterior: $(\alpha + k)/(\alpha + \beta + n)$ .

SVG — Diagrama de Bayes na tabela 2×2

Diagrama de frequências absolutas. O VPP (Valor Preditivo Positivo) é o posterior bayesiano P(doente | teste positivo). Quando a prevalência é baixa, os falsos positivos superam os verdadeiros positivos mesmo com teste de alta qualidade.

Exemplos resolvidos

Example— 1· Cálculo direto com lei da probabilidade total (aplicacao)

Problema: Uma fábrica tem três linhas de produção: A (40% da produção), B (35%) e C (25%). As taxas de defeito são: A: 2%, B: 3%, C: 5%. Uma peça é retirada ao acaso e está defeituosa. Qual a probabilidade de ter sido produzida pela linha B?

Estratégia: Aplicar a lei da probabilidade total para calcular $P(\text{defeito})$ , depois usar o teorema de Bayes para obter $P(B \mid \text{defeito})$ .

Resolução:

Definir os eventos: $H_A$ , $H_B$ , $H_C$ = peça vem da linha A, B, C. $D$ = peça defeituosa.
Priors: $P(H_A) = 0{,}40$ , $P(H_B) = 0{,}35$ , $P(H_C) = 0{,}25$ .
Likelihoods: $P(D \mid H_A) = 0{,}02$ , $P(D \mid H_B) = 0{,}03$ , $P(D \mid H_C) = 0{,}05$ .
Lei da probabilidade total: $P(D) = 0{,}02 \times 0{,}40 + 0{,}03 \times 0{,}35 + 0{,}05 \times 0{,}25 = 0{,}008 + 0{,}0105 + 0{,}0125 = 0{,}031$
Bayes para a linha B: $P(H_B \mid D) = \frac{0{,}03 \times 0{,}35}{0{,}031} = \frac{0{,}0105}{0{,}031} \approx 0{,}339$

Verificação: Calculemos também para A e C: $P(H_A \mid D) = 0{,}008/0{,}031 \approx 0{,}258$ ; $P(H_C \mid D) = 0{,}0125/0{,}031 \approx 0{,}403$ . Soma: $0{,}258 + 0{,}339 + 0{,}403 = 1{,}000$ . Correto.

Fonte. Grinstead & Snell — Introduction to Probability §4.1 — GNU FDL. (Problema adaptado da estrutura do Exemplo 4.11, três causas com diferentes likelihoods.)

Example— 2· Base rate fallacy e VPP (aplicacao)

Problema: Doença X afeta 0,5% da população. Teste diagnóstico: sensibilidade 95%, especificidade 90%. Um paciente testa positivo. Qual é o valor preditivo positivo?

Estratégia: Usar frequências absolutas em uma amostra de 10 000 pessoas — método recomendado por OpenIntro Statistics para evitar erros de intuição.

Resolução:

Em 10 000 pessoas:

Doentes: $10000 \times 0{,}005 = 50$ .
Verdadeiros positivos (TP): $50 \times 0{,}95 = 47{,}5 \approx 48$ (arredondado).
Saudáveis: $10000 - 50 = 9950$ .
Falsos positivos (FP): $9950 \times (1 - 0{,}90) = 9950 \times 0{,}10 = 995$ .
Total de positivos: $48 + 995 = 1043$ .
$\text{VPP} = 48/1043 \approx 4{,}6\%$ .

Verificação: Via fórmula direta: $\text{VPP} = \frac{0{,}95 \times 0{,}005}{0{,}95 \times 0{,}005 + 0{,}10 \times 0{,}995} = \frac{0{,}00475}{0{,}00475 + 0{,}0995} = \frac{0{,}00475}{0{,}10425} \approx 4{,}6\%$

Coincide. A intuição de "95% de chance de estar doente" está errada por um fator de 20 — ilustração clássica da base rate fallacy.

Fonte. OpenIntro Statistics 4e §3.2 — CC-BY-SA. (Estrutura do Exemplo 3.10, diagnóstico médico com prevalência baixa.)

Example— 3· Urna com duas causas — forma clássica (aplicacao)

Problema: Urna A contém 3 bolas vermelhas e 2 azuis. Urna B contém 1 bola vermelha e 4 azuis. Uma urna é escolhida ao acaso (50%-50%) e uma bola é retirada. A bola é vermelha. Qual a probabilidade de a urna escolhida ter sido a A?

Estratégia: Duas hipóteses ( $H_A$ e $H_B$ ), prior uniforme, evidência = bola vermelha. Aplicar Bayes diretamente.

Resolução:

Priors: $P(H_A) = P(H_B) = 0{,}5$ .
Likelihoods: $P(V \mid H_A) = 3/5 = 0{,}60$ ; $P(V \mid H_B) = 1/5 = 0{,}20$ .
Probabilidade total da bola vermelha: $P(V) = 0{,}60 \times 0{,}50 + 0{,}20 \times 0{,}50 = 0{,}30 + 0{,}10 = 0{,}40$
Posterior: $P(H_A \mid V) = \frac{0{,}60 \times 0{,}50}{0{,}40} = \frac{0{,}30}{0{,}40} = 0{,}75$

Verificação: $P(H_B \mid V) = 0{,}10/0{,}40 = 0{,}25$ . Soma $= 1$ . A urna A tem bolas vermelhas em proporção 3 vezes maior que a urna B, então faz sentido que o posterior de A seja 3 vezes o de B ( $0{,}75 = 3 \times 0{,}25$ ).

Fonte. Grinstead & Snell — Introduction to Probability §4.1 — GNU FDL. (Adaptado do Exercício 4.1.1 sobre duas urnas.)

Example— 4· Atualização sequencial com dois testes (intermediario)

Problema: Prevalência de uma doença: 2%. Dois testes independentes: Teste 1 com sensibilidade 90% e especificidade 95%; Teste 2 com sensibilidade 85% e especificidade 92%. Ambos dão positivo. Qual o posterior após os dois resultados positivos?

Estratégia: Aplicar Bayes sequencialmente: o posterior do Teste 1 torna-se o prior para o Teste 2.

Resolução:

Passo 1 — após Teste 1 positivo: $P(D \mid T_1^+) = \frac{0{,}90 \times 0{,}02}{0{,}90 \times 0{,}02 + 0{,}05 \times 0{,}98} = \frac{0{,}018}{0{,}018 + 0{,}049} = \frac{0{,}018}{0{,}067} \approx 0{,}269$

Passo 2 — após Teste 2 positivo (prior = 0,269): $P(D \mid T_1^+, T_2^+) = \frac{0{,}85 \times 0{,}269}{0{,}85 \times 0{,}269 + 0{,}08 \times 0{,}731} = \frac{0{,}229}{0{,}229 + 0{,}0585} = \frac{0{,}229}{0{,}287} \approx 0{,}798$

Verificação pela forma de odds:

Prior odds: $0{,}02/0{,}98 \approx 0{,}0204$ .
$\text{LR}_1^+ = 0{,}90/0{,}05 = 18$ ; $\text{LR}_2^+ = 0{,}85/0{,}08 = 10{,}625$ .
Posterior odds: $0{,}0204 \times 18 \times 10{,}625 = 3{,}898$ .
Posterior: $3{,}898/(1 + 3{,}898) \approx 79{,}6\%$ . Confirma o cálculo acima.

Fonte. OpenIntro Statistics 4e §3.3 — CC-BY-SA. (Extensão do Exemplo 3.13 sobre atualização sequencial com dois testes independentes.)

Example— 5· Prior conjugado Beta-binomial (avancado)

Problema: Um controle de qualidade usa prior Beta(2, 8) para a taxa de defeitos $\theta$ de uma linha de produção (equivalente a "observamos historicamente 2 defeitos em 10 inspeções"). Em um novo lote, inspeciona-se 20 peças e encontra-se 4 defeituosas. Determine: (a) o posterior, (b) a média posterior, (c) um intervalo de credibilidade aproximado de 90%.

Estratégia: Usar a propriedade de conjugação Beta-Binomial. Posterior = Beta( $\alpha + k$ , $\beta + n - k$ ). Para o intervalo, usar a aproximação pela distribuição normal da Beta para parâmetros moderados.

Resolução:

(a) Posterior: Prior Beta(2, 8), $n = 20$ , $k = 4$ . $\theta \mid 4 \sim \text{Beta}(2 + 4,\; 8 + 20 - 4) = \text{Beta}(6, 24)$

(b) Média posterior: $\mu = \alpha/(\alpha + \beta) = 6/(6 + 24) = 6/30 = 0{,}20$ .

Compare com o prior: $\mu_{\text{prior}} = 2/10 = 0{,}20$ . A MLE seria $k/n = 4/20 = 0{,}20$ . Neste caso coincidem porque o prior era construído com as mesmas proporções.

(c) Intervalo de credibilidade 90%: A distribuição Beta(6, 24) tem desvio padrão $\sigma = \sqrt{\alpha\beta/((\alpha+\beta)^2(\alpha+\beta+1))} = \sqrt{6 \times 24/(900 \times 31)} \approx \sqrt{144/27900} \approx 0{,}0718$ .

Intervalo aproximado $\mu \pm 1{,}645\sigma$ : $[0{,}20 - 0{,}118, 0{,}20 + 0{,}118] = [0{,}082, 0{,}318]$ . (O intervalo exato, por quantis da Beta(6,24), é aproximadamente $[0{,}090, 0{,}338]$ .)

Verificação: Conforme $n \to \infty$ , a influência do prior diminui e o posterior concentra-se na MLE. Com prior Beta(2,8) e 200 peças observadas com 40 defeitos, o posterior seria Beta(42, 168) com média $42/210 \approx 0{,}20$ e desvio padrão $\approx 0{,}028$ — muito mais concentrado.

Fonte. OpenIntro Statistics 4e §3.4 — CC-BY-SA. (Estrutura do exercício sobre inferência bayesiana com prior conjugado, Seção de inferência bayesiana introdutória.)

Exercise list

40 exercises · 10 with worked solution (25%)

Application 18Understanding 4Modeling 10Challenge 5Proof 3

Ex. 79.1ApplicationAnswer key
$P(A) = 0{,}3$ , $P(B) = 0{,}5$ , $P(A \cap B) = 0{,}15$ . Calcule $P(A \mid B)$ .
Solve online
Ex. 79.2Application
$P(A \mid B) = 0{,}6$ , $P(B) = 0{,}5$ . Calcule $P(A \cap B)$ .
Solve online
Ex. 79.3Application
$P(A) = 0{,}1$ , $P(B \mid A) = 0{,}8$ , $P(B \mid \bar A) = 0{,}2$ . Calcule $P(B)$ .
Solve online
Ex. 79.4Application
Com os dados do exercício 79.3, calcule $P(A \mid B)$ .
Solve online
Ex. 79.5ApplicationAnswer key
Doença com prevalência 0,5%. Teste diagnóstico: sensibilidade 95%, especificidade 95%. Calcule o VPP usando frequências em 10 000 pessoas.
Solve online
Ex. 79.6ApplicationAnswer key
Mesmos dados do exercício 79.5, mas com prevalência 50%. Calcule o VPP e compare com o resultado anterior.
Solve online
Ex. 79.7Application
Spam filter: $P(\text{spam}) = 0{,}3$ . Palavra "GRÁTIS" aparece em 60% dos spams e 5% dos e-mails legítimos. Calcule $P(\text{spam} \mid \text{GRÁTIS})$ .
Solve online
Ex. 79.8Application
Urna A: 2 vermelhas, 3 azuis. Urna B: 5 vermelhas, 1 azul. Escolhe-se uma urna ao acaso e retira-se uma bola vermelha. Qual a probabilidade de a urna ser A?
Solve online
Ex. 79.9ApplicationAnswer key
3 moedas: 2 honestas, 1 com duas caras. Escolhe-se uma ao acaso, lança-se uma vez, sai cara. Qual a probabilidade de a moeda escolhida ser a de duas caras?
Solve online
Ex. 79.10Application
$P(\text{fumante}) = 0{,}2$ . $P(\text{câncer} \mid \text{fumante}) = 0{,}1$ . $P(\text{câncer} \mid \neg\text{fumante}) = 0{,}01$ . Dado que uma pessoa tem câncer, qual a probabilidade de ser fumante?
Solve online
Ex. 79.11Application
Atualização sequencial: dois testes positivos com sensibilidade 90% e especificidade 90%, aplicados a uma doença com prevalência 1%. Use o posterior do 1.º teste como prior do 2.º. Qual o VPP após os dois testes positivos consecutivos?
Solve online
Ex. 79.12Application
Para um teste com sensibilidade 90% e especificidade 95%, calcule a razão de verossimilhança positiva $\text{LR}^+ = \text{sens}/(1 - \text{espec})$ .
Solve online
Ex. 79.13Application
Prior odds de 1:99 (prevalência 1%). $\text{LR}^+ = 18$ (sensibilidade 90%, especificidade 95%). Calcule os posterior odds e o posterior.
Solve online
Ex. 79.14Application
Qual dos valores a seguir é o posterior correto em um contexto com prior odds 1:99 e $\text{LR}^+ = 18$ ?
Solve online
Ex. 79.15Application
Prior $\theta \sim \text{Beta}(2, 2)$ . Observa-se 7 caras em 10 lançamentos. Determine o posterior.
Solve online
Ex. 79.16Application
Prior $\theta \sim \text{Beta}(1, 1)$ (uniforme). Observa-se 0 caras em 5 lançamentos. Determine o posterior e sua média.
Solve online
Ex. 79.17Application
No exercício 79.15, qual é a média do posterior?
Solve online
Ex. 79.18Application
Prior $\theta \sim \text{Beta}(2, 8)$ . Novo lote: 30 peças inspecionadas, 6 defeituosas. Determine o posterior e a média posterior.
Solve online
Ex. 79.19ModelingAnswer key
COVID-19 em fase endêmica: prevalência 5%. Teste rápido: sensibilidade 80%, especificidade 95%. Calcule o VPP usando frequências em 10 000 pessoas. Vale a pena isolar automaticamente todos os positivos?
Solve online
Ex. 79.20Modeling
Naive Bayes para e-mail: $P(\text{spam}) = 0{,}3$ . No treino: "GRÁTIS" aparece em 60% dos spams e 5% dos hams; "ganhou" aparece em 50% dos spams e 10% dos hams. Um e-mail contém ambas as palavras. Classifique assumindo independência condicional.
Solve online
Ex. 79.21Modeling
Três doenças: A (10% na população), B (5%), C (1%). Paciente apresenta sintoma S com $P(S|A) = 0{,}3$ , $P(S|B) = 0{,}9$ , $P(S|C) = 0{,}9$ . Qual a doença mais provável?
Solve online
Ex. 79.22Modeling
Falácia do promotor: evidência de DNA tem frequência 1/1000 na população. O promotor afirma que a probabilidade de inocência é 1/1000. Por que este raciocínio está errado? Calcule o posterior correto assumindo que há 100 000 suspeitos plausíveis na cidade.
Solve online
Ex. 79.23ModelingAnswer key
Classificador de fraude: sensibilidade 95%, especificidade 99,9%. Fraudes: 0,1% das transações. Calcule o VPP. Quantos falsos positivos por cada verdadeiro positivo?
Solve online
Ex. 79.24Modeling
Teste de gravidez: sensibilidade 99%, especificidade 98%. Mulher com probabilidade prévia de gravidez de 30%. Calcule o VPP.
Solve online
Ex. 79.25ModelingAnswer key
Polígrafo: sensibilidade 70%, especificidade 80%. Em interrogatório com suspeito que tem prior de culpa de 5%. Calcule o posterior após resultado positivo. O resultado é admissível como prova suficiente para condenar?
Solve online
Ex. 79.26ModelingAnswer key
Dois testes independentes positivos (sens $_1$ = 0,9, espec $_1$ = 0,95; sens $_2$ = 0,85, espec $_2$ = 0,90). Prevalência 2%. Calcule o posterior após ambos os resultados positivos via atualização sequencial.
Solve online
Ex. 79.27Modeling
Em uma fila de suspeitos, um tem cabelo vermelho (H) com probabilidade 70% de ser o culpado. Uma testemunha identifica o de cabelo vermelho com probabilidade 90% quando o culpado é H, e erroneamente 15% das vezes quando o culpado não é H. Dado que a testemunha apontou H, qual o posterior de culpa?
Solve online
Ex. 79.28Modeling
Controle de qualidade com 3 linhas (A: 40% da produção, 2% defeito; B: 35%, 3%; C: 25%, 5%). Encontra-se uma peça defeituosa. Determine a probabilidade de cada linha ser a origem.
Solve online
Ex. 79.29Understanding
O que é a base rate fallacy (falácia da taxa base)?
Solve online
Ex. 79.30Understanding
Por que o prior importa mesmo em "ciência objetiva"? Uma análise que ignora o prior equivale a qual suposição implícita?
Solve online
Ex. 79.31Understanding
Dois testes positivos independentes com razões de verossimilhança $r_1$ e $r_2$ . Qual o efeito na forma de odds?
Solve online
Ex. 79.32Understanding
Qual a diferença prática entre usar um prior Beta(1,1) e um prior Beta(10,10) para uma moeda? Em qual caso o posterior será mais sensível a novos dados?
Solve online
Ex. 79.33Challenge
Mostre que dois testes positivos independentes condicionalmente dado $H$ resultam em posterior odds igual a $r_1 \times r_2 \times$ prior odds, onde $r_i = \text{LR}_i^+$ .
Ex. 79.34Challenge
Demonstre que o posterior do modelo Bernoulli-Beta é Beta( $\alpha + k$ , $\beta + n - k$ ) quando o prior é Beta( $\alpha$ , $\beta$ ) e observamos $k$ sucessos em $n$ ensaios.
Ex. 79.35Proof
Demonstre o teorema de Bayes a partir da definição de probabilidade condicional e da lei da probabilidade total.
Ex. 79.36Proof
Mostre que $P(A \mid B) = P(B \mid A)\,P(A)/P(B)$ usando apenas a definição de probabilidade condicional. Identifique por que $P(A \mid B) \neq P(B \mid A)$ em geral.
Ex. 79.37Challenge
Problema de Monty Hall com 3 portas. Use Bayes para calcular a probabilidade de o carro estar em cada porta depois que Monty (que sabe onde está o carro) abre uma porta vazia. Deve-se trocar?
Solve online
Ex. 79.38ChallengeAnswer key
No Naive Bayes com features binárias, mostre que o classificador é equivalente a multiplicar os LRs individuais de cada feature. O que acontece quando a suposição de independência condicional é violada?
Solve online
Ex. 79.39ProofAnswer key
Demonstre que a forma de odds de Bayes, posterior odds = LR $\times$ prior odds, segue diretamente da forma usual do teorema de Bayes para dois eventos complementares $H$ e $\neg H$ .
Ex. 79.40Challenge
Mostre que a média do posterior Beta( $\alpha + k$ , $\beta + n - k$ ) converge para o estimador de máxima verossimilhança $k/n$ quando $n \to \infty$ , para qualquer prior fixo Beta( $\alpha$ , $\beta$ ). O que isso implica sobre a relação entre Bayes e frequentismo para grandes amostras?

Fontes

Grinstead, C.M. & Snell, J.L. — Introduction to Probability (2nd ed.) · GNU FDL · Dartmouth College. Capítulo 4 (§4.1): Probabilidade condicional, independência, teorema de Bayes — fonte primária da maioria dos exercícios de urnas, moedas e demonstrações desta lição.
Diez, D.M., Çetinkaya-Rundel, M., Barr, C.D. — OpenIntro Statistics (4th ed.) · CC-BY-SA · OpenIntro. Seções §3.2–3.4: probabilidade condicional, Bayes, tabelas de frequência e atualização bayesiana — fonte dos exercícios de VPP, atualização sequencial e prior conjugado.
Illowsky, B. & Dean, S. — Statistics (OpenStax) · CC-BY · OpenStax. Seção §3.4 (Contingency Tables and Probability Trees): diagnóstico médico, spam filtering e árvores de probabilidade — base dos exercícios de Naive Bayes e fraude.