p값 해석 방법, 실험 결과 판단

p값은 무엇의 확률일까요?

p값은 귀무가설이 참이라고 가정했을 때, 실제로 관측한 결과와 같거나 그보다 더 극단적인 결과가 나올 확률입니다. 두 광고 문구의 전환율을 비교한다면 귀무가설은 보통 “두 문구의 실제 전환율 차이는 0이다”로 둡니다. p값은 이 가정과 분석 모형 아래에서 표본의 차이가 얼마나 드문지를 나타냅니다.

확률의 대상은 가설이 아니라 자료입니다. p값이 0.03이어도 귀무가설이 참일 확률이 3%라는 뜻이 아니며, 관측된 효과가 우연 때문에 생겼을 확률이 3%라는 뜻도 아닙니다. 미국통계학회(ASA)의 p값 해석 원칙도 p값만으로 가설이 참일 확률이나 결과의 중요성을 판단할 수 없다고 설명합니다.

유의수준 0.05를 실험 전에 정했다면 p값이 0.05 미만일 때 “5% 유의수준에서 귀무가설을 기각한다”라고 표현할 수 있습니다. 이는 효과가 입증됐거나 같은 실험이 95% 확률로 재현된다는 선언이 아닙니다. 반대로 p값이 0.05 이상이면 귀무가설을 받아들여 두 조건이 같다고 확정하는 대신, “차이를 확인할 통계적 근거가 충분하지 않았다”라고 써야 합니다.

검정 결과	자료에서 말할 수 있는 내용	피해야 할 결론
p값이 0.05 미만	정한 기준에서 귀무가설을 기각한다.	귀무가설이 틀릴 확률이 95%다.
p값이 0.05 이상	귀무가설을 기각할 근거가 충분하지 않다.	두 집단의 효과가 완전히 같다.
p값이 0.05 부근	사전 기준에 따라 판단하고 효과 크기와 신뢰구간을 함께 본다.	0.049는 성공이고 0.051은 실패이므로 두 결과가 본질적으로 다르다.

광고 전환율 사례는 어떻게 계산할까요?

효과가 없는 두 가상 광고 문구 A와 B를 각각 1만 명에게 무작위로 노출했다고 가정해 보겠습니다. 두 사례 모두 독립된 두 표본의 비율이 같다는 귀무가설을 두고 양측 z검정을 적용합니다. 귀무가설 검정의 풀드 비율은 두 집단의 전체 전환 수를 전체 노출 수로 나눈 값입니다.

p값이 기준선보다 큰 사례

A에서 500명, B에서 540명이 전환하면 표본 전환율은 각각 5.0%와 5.4%입니다. 풀드 비율은 (500+540)/(10,000+10,000)=0.052입니다. 귀무가설 아래 표준오차는 √[0.052×(1−0.052)×(1/10,000+1/10,000)]≈0.00314, z값은 (0.054−0.050)/0.00314≈1.27입니다. 표준정규분포를 이용한 양측 p값은 약 0.20입니다.

전환율 차이의 95% 신뢰구간은 검정용 풀드 표준오차가 아니라 각 집단의 비율을 따로 반영한 비풀드 표준오차로 계산했습니다. 0.4%포인트±1.96×0.314%포인트이므로 약 −0.22%포인트에서 1.02%포인트입니다. 0을 포함하므로 “B의 표본 전환율이 0.4%포인트 높았지만, 5% 유의수준에서 유의한 차이는 확인되지 않았다”라고 편집하는 것이 적절합니다.

p값이 기준선보다 작은 사례

A에서 500명, B에서 570명이 전환하면 전환율은 5.0%와 5.7%입니다. 풀드 비율은 0.0535이고, 검정 표준오차는 √[0.0535×(1−0.0535)×(1/10,000+1/10,000)]≈0.00318입니다. 이에 따른 z값은 약 2.20, 양측 p값은 약 0.028입니다. 본문의 수치는 설명을 위해 반올림했습니다.

차이 0.7%포인트의 95% 신뢰구간은 비풀드 표준오차를 적용하면 약 0.08%포인트에서 1.32%포인트입니다. 결론은 “B의 전환율이 0.7%포인트 높게 관측됐으며, 차이는 5% 유의수준에서 통계적으로 유의했다”라고 쓸 수 있습니다. 다만 모집단의 실제 차이가 정확히 0.7%포인트라고 확정하거나 실무적으로 중요한 효과라고 단정해서는 안 됩니다.

두 표본 비율 z검정의 정규근사는 각 집단에서 기대되는 전환과 비전환 수가 충분히 클 때 적절합니다. 이 사례에서는 두 값이 모두 수백 건 이상이어서 근사 조건을 넉넉히 충족합니다. 표본이 작거나 사건이 매우 드물다면 정확검정 등 다른 방법을 검토해야 합니다.

0.05는 효과를 가르는 경계일까요?

실제 효과가 없더라도 표본을 반복해 뽑으면 0.05 위와 아래의 p값이 모두 나올 수 있습니다. 유의수준 0.05는 효과의 존재를 가르는 자연법칙이 아니라, 귀무가설이 참일 때 장기적으로 잘못 기각할 비율을 관리하기 위해 사전에 정한 기준입니다.

결과를 확인한 뒤 단측검정으로 바꾸거나, 여러 시점에서 p값을 살펴보다 유의해진 순간 실험을 끝내면 처음 정한 오류율이 유지되지 않습니다. 여러 광고 문구와 여러 성과 지표를 동시에 시험하면서 가장 작은 p값만 보고하는 경우도 마찬가지입니다. 가설, 핵심 지표, 유의수준, 표본 규모, 종료 조건과 다중 비교 처리 방법을 분석 전에 기록해야 하는 이유입니다.

0.049와 0.051도 증거의 강도가 갑자기 달라지는 숫자는 아닙니다. 기준에 따른 의사결정은 달라질 수 있지만, 두 결과를 각각 성공과 실패로만 표시하면 불확실성이 가려집니다. ASA 후속 논의 역시 밝은 선 하나에 의존하지 말고 연구 설계, 자료의 품질, 효과 크기와 맥락을 함께 보고하도록 권고합니다.

실험 결과 문장에는 무엇을 함께 써야 할까요?

결론은 관측 사실, 통계적 판단, 실무적 해석의 세 층으로 나누면 과장을 줄일 수 있습니다. “B가 A보다 0.7%포인트 높았다”는 현재 표본의 관측값이고, “양측 p값이 약 0.028로 5% 유의수준에서 유의했다”는 검정 결과입니다. 신뢰구간 0.08~1.32%포인트는 실제 차이의 불확실성을 보여 줍니다.

문구를 실제로 교체할지는 추가 전환의 가치, 제작·운영 비용, 고객 집단별 반응과 재현 가능성을 검토해 결정할 문제입니다. 표본이 매우 크면 사소한 차이도 작은 p값을 만들 수 있고, 표본이 작으면 의미 있는 차이가 있어도 큰 p값이 나올 수 있습니다. p값만으로 효과 크기와 사업적 중요성을 대신 판단할 수 없습니다.

보고서에는 집단별 노출 수와 전환 수, 전환율 차이, 95% 신뢰구간, 정확한 p값, 검정의 단측·양측 여부를 남기는 편이 좋습니다. 무작위 배정 여부, 노출 시간대와 대상의 균형, 중간 분석과 제외 기준도 확인해야 합니다. 계산이 맞아도 설계가 기울어져 있으면 숫자의 해석은 안전하지 않습니다.

통계는 결론을 자동으로 내려 주는 공식이라기보다 숫자가 허용하는 말의 범위를 점검하는 도구입니다. 작은 p값은 설정한 가설 아래 현재와 같은 자료가 드물다는 신호입니다. 그 신호를 효과의 확률로 바꾸지 않고, 효과 크기와 불확실성 및 실험 설계까지 함께 읽는 것이 정확한 판단에 가깝습니다.

참고한 해석 지침

정의와 오해 교정에는 Ronald L. Wasserstein과 Nicole A. Lazar의 미국통계학회 공식 성명인 The ASA Statement on p-Values: Context, Process, and Purpose를 참고했습니다. 경계값에만 의존하지 말아야 한다는 원칙은 Wasserstein, Schirm, Lazar가 정리한 Moving to a World Beyond “p < 0.05”의 논의를 반영했습니다.