진실과 판단의 4가지 패턴

이 포스트는 아래의 책의 내용을 정리하며 작성한 포스트입니다. 여기서 사용되는 예시 또한 책의 예시를 사용합니다.

통계 101×데이터 분석 | 아베 마사토 - 교보문고

---

귀무가설과 대립가설은 서로 부정 관계에 있기 때문에 한 쪽이 옳다면 다른 쪽은 틀린 것이 됩니다. 따라서 진실은 귀무가설이 옳은 경우와 대립가설이 옳은 경우 2가지 패턴으로 나뉩니다. 그리고 p값을 계산해 유의 수준 \( \alpha \)와 비교해 대립가설을 지지할지 않을지 판단합니다. 여기서 귀무가설을 기각하는 것과 할수 없는 것 2가지 패턴으로 나뉩니다. 이를 합친 진실과 판단은 2 x 2 패턴입니다.

	귀무가설이 옳음	대립가설이 옳음
귀무가설을 기각하지 않음	OK	제2종 오류(확률 \( \beta \))
귀무가설을 기각, 대립가설 채택	제1종 오류(확률 \( \alpha \))	OK

• 왼쪽 아래 칸: 귀무가설이 옳음에도 기각 -> 제1종 오류(false positive)
• 오른쪽 위 칸: 대립가설이 옳음에도 귀무가설을 기각하지 않음 -> 제2종 오류(false negative)

제1종 오류(false positive, 위양성)

평균을 비교하는 것을 예시로 설명하면 제1종 오류는 실제로 두 집단 간의 평균 차이가 없음에도 차이가 있다고 잘 못 판단하는 것을 말합니다. 하지만 실제 모집단(진실)은 알 방법이 없기 때문에 해석한 것이 제1종 오류를 범했는지 아닌지 알 수 없습니다. 대신 p값, 유의 수준(\(\alpha\))를 이용해 오류가 일어날 확률을 통제할 수 있습니다.

 

만약 확보한 데이터가 정말 귀무가설에서 얻은 것이라면 p값 < \(alpha\)이므로 유의 수준을 기준으로 하면 귀무가설이 옳지만 기각하는 오류가 \(\alpha\)만큼의 확률로 일어납니다. 즉, 유의 수준을 미리 정해서 제1종 오류가 일어날 확률을 통제할 수 있습니다. 과학 논문 등을 보면 \(\alpha\) = 0.05 라는 표현을 자주 쓰는데, 이는 귀무가설이 옳을 때 0.05의 확률로 귀무가설을 기각하고 대립가설을 채택하는 위험을 허용한다는 의미입니다.

제2종 오류(false positive, 위음성)

여기서도 평균 비교를 예시로 하면 제2종 오류는 실제로 두 집단 간의 평균 차이가 있지만 차이가 있다고 말할 수 없어 귀무가설을 기각하지 않는 판단을 말합니다. 이러할 확률을 주로 \(\beta\)로 표시하고 1 - \(\beta\)를 올바르게 판단할 확률, 검정력이라 합니다. 검정력은 일반적으로 80%로 설정하지만 \(\beta\)은 표본 크기와 반비례 관계를 가지기 때문에 유의 수준처럼 직접 설정할 수 없습니다.

 

오류를 범하지 않기 위해 제1종 오류가 일어날 확률과 제2종 오류가 일어날 확률 모두 0에 가깝게 만들어야 합니다. 하지만 두 확률 사이에는 상충 관계가 있기 때문에 하나의 확률이 감소하면 다른 하나의 확률이 상승합니다.

효과 크기(effect size)

제1종 오류가 일어날 확률과 제2종 오류가 일어날 확률과 같이 중요한 수치가 또 있습니다. 바로 일반적으로 얼마나 큰 효과가 있는지를 나타내는 지표인 효과 크기입니다. 여기서도 평균 비교로 예시를 들면 두 집단의 평균 값 차이만 보는 것이 아니라 모집단의 표준 편차에 대해 상대적으로 평가하는 값(\(\mu_A - \mu_B \over \sigma\))을 사용합니다. 두 평균 값의 차이에 비해 표준 편차가 커질수록 두 집단의 분포에서 겹치는 부분이 많아지기 때문에 평균의 차이를 검출하기 어려워지고, 표준 편차가 작아질수록 겹치는 부분이 작아져서 평균의 차이를 검출하기 쉬워집니다.

 

지금까지 살펴본 세 가지의 값과 표본 크기 중에서 세 가지의 값을 결정하면 나머지 하나의 값이 자동으로 정해지는 성질이 있습니다.