Lecture 6: Monty Hall, Simpson's Paradox

✔  본 글은 Harvard Univ. Statistics 110: Probability 강의 "Lecture 6: Monty Hall 문제와 심슨의 역설 (Monty Hall, Simpson's Paradox)"를 바탕으로 정리한 내용입니다.

📌 강의 영상: YouTube

📄 강의 슬라이드: PDF 링크

---

이번은 몇 개의 조건부 확률과 연관된 가장 유명한 문제를 다뤄본다.

Monty Hall 문제

3개의 문 중에 하나 뒤에는 자동차가, 나머지 두 개 뒤에는 염소가 있다. 참가자는 처음에 하나의 문을 고르고, 이후 진행자인 Monty가 남은 두 문 중 염소가 있는 문 하나를 열어 보여준다. 이때 참가자는 선택을 유지할지, 아니면 나머지 닫힌 문으로 바꿀지를 결정해야 한다.

이 문제에서 가장 중요한 전제는 ‘ Monty가 자동차가 어디 있는지 알고 있다’는 것이다. 만약 Monty가 단순히 무작위로 문을 연다면 상황은 달라지지만, 이 퍼즐은 Monty가 항상 염소가 있는 문을 선택해 보여준다는 가정을 바탕으로 한다.

예를 들어, 참가자가 처음에 1번 문을 골랐다고 하자. 이때 2번과 3번 중 Monty가 염소가 있는 문을 열어 보여주면, 참가자는 선택을 바꿀 기회를 얻게 된다. 많은 사람들이 처음 선택을 그대로 유지하곤 하지만, 확률적으로는 선택을 바꾸는 것이 더 유리하다. 왜냐하면 처음 선택이 정답일 확률은 1/3에 불과한 반면, 나머지 두 개 문 중 하나를 열고 남은 문으로 바꾸면 2/3 확률로 자동차를 맞히게 되기 때문이다.

 

1. 수형도로 풀기

 

2. 전체 확률의 법칙으로 풀기

• \( S \): 처음 선택에서 바꿔서 자동차 있는 문을 맞추는 사건
• \( D_j \): \( j \)번 문 뒤에 자동차가 있는 사건 \( (j \in \{1, 2, 3\}) \)

\[ P(S) = P(S|D_1) \times \frac{1}{3} + P(S|D_2) \times \frac{1}{3} + P(S|D_3) \times \frac{1}{3} \] \[ = 0 + 1 \times \frac{1}{3} + 1 \times \frac{1}{3} = \frac{2}{3} \] 또한 Monty는 내가 고르지 않은 두 개의 문이 둘 다 염소가 있다면 두 문을 열 확률은 같으므로 \( P(S \mid \text{Monty가 2번 문을 연다}) = \frac{2}{3} = P(S) \) 으로, 조건부 확률과 조건부가 아닌 확률 값이 일치한다.

 

 

Simpson's Paradox 문제

부분집합에서는 나타나던 경향이 전체 데이터를 합쳤을 때 반대로 뒤집히는 현상을 말한다. 이는 통계적으로 보았을 때 하위 집단에서는 A가 B보다 더 나은 결과를 보였지만, 전체적으로는 B가 A보다 더 나은 결과를 보이는 상황에서 발생한다.

이 현상은 주로 은폐된 변수(hidden variable) 또는 교란 변수(confounding variable)에 의해 발생한다. 따라서 데이터를 분석할 때 단순한 평균이나 비율만을 보고 판단할 경우 큰 오류로 이어질 수 있다.

 

예시: Simpson 가족이 사는 스프링필드에 Dr.Hibbert와 Dr.Nick, 두 명의 의사가 있고, 그들은 심장 수술과 붕대 풀기(반창고 제거) 두 가지 수술을 한다고 하자.

 

이 표만 보면 Dr.Hibbert는 두 수술 모두 Dr.Nick보다 성공률이 높았다. 그런데 전체 성공률만 보면 Dr.Nick의 성적이 더 높게 나온다. Dr.Nick이 이를 근거로 자신이 더 유능하다고 주장한다면, 완전히 틀린 말은 아니다.

 

문제는 이 수치가 조건을 무시하고 계산된 결과라는 점이다. 히버트는 상대적으로 어려운 심장 수술을 많이 맡았고, 닉은 반창고 제거처럼 성공률이 높은 수술을 더 많이 했다. 즉, 조건부(success rate | 수술 종류)에서는 히버트가 낫지만, 비조건부(전체 success rate)로 보면 닉이 더 나아 보이는 거다. 여기서, 수술의 종류가 교란 변수(confounder)이다.

이처럼 부분 집단에선 A가 더 나았지만 전체에선 B가 더 좋아 보이는 상황을 심슨의 역설이라 한다. 조건부 통계와 비조건부 통계의 차이에서 발생하는 현상이며, 조건을 고려하느냐 무시하느냐에 따라 해석이 완전히 달라질 수 있다.

 

이론적 접근

• \( A \): 수술이 성공하는 사건 
• \( B \): Dr. Nick가 수술을 집도하는 사건  
• \( C \): 심장 수술을 받는 사건  

심장) \( P(A \mid B, C) < P(A \mid B^C, C) \)  
반창고) \( P(A \mid B, C^C) < P(A \mid B^C, C^C) \)  
로 Dr. Hibbert가 각각의 수술이라는 조건부 확률에서는 더 좋은 성적을 보일 수 있지만, 무조건부 확률은 \( P(A \mid B) > P(A \mid B^C) \) 와 같이 역전될 수가 있다는 것이다.
\(\Large \Rightarrow\) 여기서 \( C \)(수술의 종류)는 confounder(교란변수)라고 하며, 이렇게 적절한 confounder에 의한 조건부 확률을 확인하지 않으면 상황에 대한 그릇된 판단을 내릴 위험이 있다.

 

전체 확률의 정의를 이용해 심슨의 역설이 틀렸음을 증명할 수 있는가?

\( P(A \mid B) = P(A \mid B, C) \cdot P(C \mid B) + P(A \mid B, C^C) \cdot P(C^C \mid B) \) 에서

문제에서 주어진 조건인 \( P(A \mid B, C) < P(A \mid B^C, C) \), \( P(A \mid B, C^C) < P(A \mid B^C, C^C) \) 는 확인 가능하지만, \( P(C \mid B) \), \( P(C^C \mid B) \) 가 좌항, 우항에 서로 다른 가중치로 작용하기 때문에 증명할 수 없다.