다중검정 오류, 우연한 성과 거르기

비교가 많아지면 왜 우연한 성과도 늘어날까요?

광고 문구, 설문 문항, 상품군처럼 여러 대상을 동시에 비교하면 통계적으로 유의한 결과를 하나쯤 발견하기 쉬워집니다. 각 검정의 유의수준을 5%로 유지해도 전체 분석에서 실수할 가능성은 5%에 머물지 않습니다. 이 현상을 다중검정 오류라고 합니다. 결과표의 별표만 보기보다 몇 번 비교한 끝에 나온 별표인지 확인해야 하는 이유입니다.

효과가 실제로 없고 각 검정이 서로 독립이라고 가정하겠습니다. 한 번의 검정에서 유의하지 않을 확률은 0.95입니다. 검정을 m번 했는데 유의한 결과가 하나도 없을 확률은 0.95m이므로, 적어도 하나가 우연히 유의할 확률은 1−0.95m, 다시 쓰면 1−(1−0.05)m입니다.

독립적인 검정 횟수	검정별 유의수준	우연한 유의 결과가 하나 이상 나올 확률
1회	5%	5.0%
5회	5%	약 22.6%
10회	5%	약 40.1%
20회	5%	약 64.2%

64.2%는 스무 결과가 모두 틀린다는 뜻이 아닙니다. 실제 효과가 전혀 없는 독립적인 검정 20개 가운데 적어도 하나가 5% 기준을 우연히 통과할 확률입니다. 실제 분석에서는 지표나 고객 집단이 서로 연관될 수 있어 이 계산을 그대로 적용하기 어렵지만, 비교가 늘수록 전체 오류 위험이 커진다는 구조는 분명하게 보여 줍니다.

광고 문구 20개를 시험하면 어떤 일이 생길까요?

서로 독립적인 광고 문구 20개가 있고, 어느 문구에도 실제 개선 효과가 없다고 가정해 보겠습니다. 각 문구를 기존 문구와 비교해 반응률이 높아졌는지 5% 기준으로 따로 검정하면, 약 64.2%의 확률로 적어도 하나에는 우연한 별표가 붙습니다. 담당자가 그 문구만 성과 사례로 보고한다면 숫자는 틀리지 않았더라도 판단은 크게 왜곡될 수 있습니다.

이 장면에서 살펴야 할 것은 공개된 한 개의 결과가 아니라 시험의 전체 범위입니다. 20개를 시험하고 유의한 한 개만 제시했는지, 시험 전에 핵심 문구와 판단 지표를 정했는지, 나머지 19개의 결과도 함께 공개했는지가 해석을 바꿉니다. 통계는 공식을 외워 답을 고르는 과목이 아니라 숫자가 만들어진 과정을 확인하는 도구에 가깝습니다.

화면에 보이는 문구 수만 세어서도 부족합니다. 클릭률·구매율·체류 시간 중 유리한 지표를 골랐거나, 고객을 연령과 지역별로 여러 번 나눴거나, 표본을 계속 추가하다가 유의해진 순간 멈췄다면 사실상의 비교 횟수는 더 많습니다. 문구 수, 지표 수, 하위 집단 수, 분석 시점을 한 묶음으로 확인해야 합니다.

판단 기준은 어떻게 조정해야 할까요?

전체 검정 묶음에서 거짓 양성이 한 번이라도 발생할 위험을 엄격히 제한하려면 본페로니 보정을 사용할 수 있습니다. 전체 유의수준 0.05를 검정 수로 나누므로 20개를 비교할 때 개별 기준은 0.05÷20=0.0025입니다. 적용은 간단하지만 비교가 많거나 검정들이 강하게 연관되면 실제 효과까지 놓칠 수 있습니다.

관리하려는 오류	적용 방법	결과를 읽을 때의 한계
검정 묶음에서 한 번 이상 거짓 양성이 생길 위험	본페로니 보정 또는 홀름 절차	기준이 엄격해져 실제 차이를 발견할 힘이 낮아질 수 있음
유의하다고 선택한 결과 중 거짓 발견이 차지하는 비율	거짓발견률 조정	선택된 결과 중 거짓 발견 비율의 기대값을 관리하며, 개별 결과의 진실을 보증하지 않음
사전에 지정한 핵심 가설의 확인	핵심 지표와 비교 대상을 분석 전에 확정	결과를 본 뒤 세운 가설을 사전 계획처럼 설명해서는 안 됨
탐색에서 발견한 효과의 재현 여부	별도 표본이나 후속 실험으로 재검증	같은 자료를 반복 분석하는 것보다 독립된 검증이 강함

홀름 절차는 p값을 작은 순서로 배열한 뒤 단계적으로 기준을 적용합니다. 검정 묶음 전체의 오류를 통제하면서 단순 본페로니보다 덜 보수적인 경우가 많습니다. 거짓발견률은 탐색 후보가 많은 분석에 유용하지만, 유의한 결과 하나의 오류 확률을 뜻하는 개념은 아닙니다. 어떤 방법이 더 낫다고 단정하기보다 확증 분석인지 탐색 분석인지, 어떤 오류를 제한할 것인지부터 정해야 합니다.

유의한 결과를 믿기 전에 무엇을 확인해야 할까요?

보고서에 p값 하나만 제시되어 있다면 전체 가설과 지표가 몇 개였는지 물어야 합니다. 하위 집단을 몇 가지로 나눴는지, 분석 계획이 결과를 보기 전에 작성됐는지, 보정 전후에 결론이 달라지는지도 중요합니다. 유의한 결과뿐 아니라 수행한 비교 전체를 공개해야 독자가 선택적 보고의 위험을 판단할 수 있습니다.

통계적 유의성과 생활 속 중요성도 구분할 필요가 있습니다. 표본이 크면 실제로는 미미한 차이도 유의해질 수 있고, 엄격한 보정 뒤에는 의미 있는 차이가 기준을 넘지 못할 수도 있습니다. 효과 크기는 차이가 얼마나 큰지, 신뢰구간은 그 추정이 어느 범위에서 흔들릴 수 있는지를 보여 줍니다. p값과 함께 이 두 정보를 읽어야 성과의 실질적인 가치가 드러납니다.

탐색 자체는 잘못이 아닙니다. 여러 결과를 살펴 얻은 발견이라면 탐색 결과라고 밝히고, 새로운 자료에서 같은 방향과 비슷한 크기의 효과가 반복되는지 확인하면 됩니다. 비교 횟수, 사전 계획, 조정된 기준, 효과 크기와 신뢰구간, 독립된 재검증을 차례로 살피는 습관이 우연한 성과와 지속 가능한 성과를 가르는 현실적인 기준입니다.

근거 자료

확률 계산과 본페로니 방식의 기본 원리는 미국 국립표준기술연구소의 NIST/SEMATECH e-Handbook의 다중비교 설명을 참고할 수 있습니다.

단계적 다중검정 절차는 Sture Holm의 논문 A Simple Sequentially Rejective Multiple Test Procedure에 제시되어 있습니다. 거짓발견률의 정의와 통제 방법은 Yoav Benjamini와 Yosef Hochberg의 논문 Controlling the False Discovery Rate에서 확인할 수 있습니다.