Lecture 4: Conditional Probability

✔  본 글은 Harvard Univ. Statistics 110: Probability 강의 "Lecture 4: 조건부 확률 (Conditional Probability)"를 바탕으로 정리한 내용입니다.

📌 강의 영상: YouTube

📄 강의 슬라이드: PDF 링크

---

독립 (Independence)

사건 중 하나가 다른 사건에 대한 정보를 주지 않는다는 것

\[ P(A \cap B) = P(A)P(B) \]

이 말은 A가 발생했는지 여부가 B의 발생 확률에 전혀 영향을 주지 않는다는 의미다. 그런데 이 개념을 배반 사건(Disjoint)과 혼동하는 경우가 많다. 배반 사건은 두 사건이 동시에 일어날 수 없다는 뜻이며, 교집합이 공집합이 된다.

\[ P(A \cap B) = 0 \]

즉, A가 일어나면 B는 반드시 일어나지 않고, B가 일어나면 A는 반드시 일어나지 않는다. 그래서 독립과는 다른 개념에 가깝다. 독립은 무관한 관계이고, 배반은 서로를 배제하는 관계다.

 

또한, 두 사건 A, B뿐 아니라 세 사건 A, B, C가 모두 서로 독립이라면 다음 조건들을 모두 만족해야 한다:

\[ P(A \cap B) = P(A)P(B) \] \[ P(A \cap C) = P(A)P(C) \] \[ P(B \cap C) = P(B)P(C) \] \[ P(A \cap B \cap C) = P(A)P(B)P(C) \]

단지 쌍으로 독립(pairwise independent)인 것만으로는 충분하지 않으며 전체 독립 조건까지 만족해야만 완전한 독립(mutual independence) 이라고 할 수 있다.

 

예제: 뉴턴-피프스 (Newton-Pepys) 문제

육면체의 공정한 주사위가 있을 때, 다음 3가지 가능성 중에 어떤 경우가 가장 확률이 높을까?

• 6개의 주사위 중에서 적어도 한 개가 ‘6’이 나온 경우
• 12개의 주사위 중에서 적어도 두 개가 ‘6’이 나온 경우
• 18개의 주사위 중에서 적어도 세 개가 ‘6’이 나온 경우

적어도 하나 -> 합사건 사건이라고 생각하기. 하지만 여사건을 이용하면 교집합 사건이 될 것이다. 여사건으로 접근하면, 1에서 주사위가 6이 아닐 확률(5/6)을 빼 주면 된다.

\[ P(A) = 1 - \left( \frac{5}{6} \right)^6 \approx 0.0665 \]

또한, 최소 2개의 6이라는 것은 6의 개수가 2~12 중 어떤 수가 될 수 있다는 것이다.

\[ P(B) = 1 - \text {(6이 한 번도 안 나올 확률 + 6이 딱 한 번 나올 확률)}\]

\[ = 1 - \left\{ \left(\frac{5}{6}\right)^{12} + \frac{1}{6} \times \left(\frac{5}{6}\right)^{11} \times 12 \right\} \approx 0.0619 \]

\[ P(C) = 1 - \sum_{k=0}^{2} \binom{18}{k} \left(\frac{1}{6}\right)^k \left(\frac{5}{6}\right)^{18 - k} \approx 0.597 \]

이를 이항확률 (Binomial probability) 이라 부른다.

그리고, 결론적으로 A가 발생할 확률이 높다.

 

조건부 확률 (Conditional Probability)

새롭게 배운 정보를 가지고 어떻게 불확실성과 확률, 믿음을 갱신할 것인가? 보통 순차적으로 오래된 확률이 새롭게 갱신되며, 그 새로운 확률이 과거의 확률이 될 것이다. 이는 조건과 연관된다.

아래는 B가 일어났을 때 A의 확률이다. (A와 B가 독립이 아닐 때)

\[ P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \quad (P(B) > 0 \text{일 때}) \]

 

직관 1: 조약돌 세계

더 이상 일어날 확률이 동등하다 가정하지 않는다.

표본공간(sample space) S는 이 실험에서 나올 수 있는 모든 outcome을 말한다. 이런 환경에서 사건 B라는 부분집합을 만들어 P(A|B)를 구해 보자. 이는 B가 먼저 일어났다고 해석하면 되며, 그러면 B 밖에 있는 모든 조약돌 나머지 5개는 관련이 없게 된다. (여집합)

 

만일 아래처럼 사건 A가 그려지게 된다면, B의 여집합은 관련이 없어졌으므로 우리가 신경 쓸 것은 \( P(A \cap B \) 이다.

즉,

\[ P(A \cap B) = P(B)P(A \mid B) = P(A)P(B \mid A) \]

 

 

직관 2: 빈도학파 세계 (frequentist world)

조약돌 세계에서는 단 한 번의 실행(experiment)으로 조약돌을 조작하며 어떤 비율을 확률로 쓸지 보았지만, 이 세계에서는 실험을 여러 번 반복한다. 또한, 같은 실험을 계속해서 반복해도 괜찮다고 가정한다. (이를 사건이 일어나는 비율로 보는 것)

각 시행에 대해 리스트를 생성하여 실험의 결과를 리스트화한다. 이때 우리가 관심 있는 사건을 B라 했을 때, 같은 실험을 여러 번 반복하여 B가 일어난 경우만 선택했을 때 여기서 A가 일어난 비율은 얼마가 될까? 이것이 빈도학파의 관점이 된다.

즉, n!개의 정리

\[ P(A_1, A_2, \dots, A_n) = P(A_1)P(A_2 \mid A_1)P(A_3 \mid A_1, A_2) \dots P(A_n \mid A_1, \dots, A_{n-1}) \]

 

베이즈의 정리 (Bayes' Rule)

\[ P(A \mid B) = \frac{P(B \mid A) P(A)}{P(B)} \]