표본오차 비표본오차, 조사 오류

표본오차와 비표본오차는 어디서 갈리는가

조사 결과에서 오차를 읽을 때는 숫자의 크기보다 발생 지점을 먼저 구분해야 한다. 표본오차는 모집단 전체가 아니라 일부를 확률적으로 뽑아 조사하기 때문에 생기는 우연한 차이다. 같은 모집단에서 같은 절차로 표본을 반복해 뽑으면 연령 구성이나 찬성 비율이 조금씩 달라지는 현상이 여기에 해당한다. 표집 방법이 적절하다는 전제 아래 표본 수를 늘리면 이런 변동은 대체로 줄어든다.

비표본오차는 조사 명단 작성, 응답, 질문, 기록, 자료 처리 등 표집 이외의 과정에서 발생한다. 연락처가 없는 사람이 처음부터 빠지거나, 특정 집단이 유독 응답하지 않거나, 질문 표현이 답을 유도하거나, 입력 과정에서 값이 바뀌는 경우다. 표본 수를 늘려도 동일한 누락과 잘못된 측정이 반복되면 결과는 더 정밀해 보이면서도 실제 값에서 벗어날 수 있다.

오차 구분	주된 발생 원인	결과가 달라지는 방식	개선 방법
표본오차	모집단 중 일부만 확률적으로 조사함	표본을 다시 뽑을 때 추정값이 우연히 달라짐	표본 수를 늘리고 적절한 확률표집을 적용함
포함 오류	표집틀에서 일부 대상이 빠지거나 중복됨	누락된 집단의 특성에 따라 결과가 한쪽으로 기울 수 있음	모집단 정의와 조사 명단의 범위·작성 시점을 점검함
무응답 오류	선정된 사람이 조사 전체나 일부 문항에 답하지 않음	비응답자의 생각이 응답자와 다르면 편향이 생김	재접촉하고 보조정보를 이용해 가중치를 조정함
측정·처리 오류	질문 표현, 기억, 입력, 코딩 또는 계산에 문제가 있음	오류의 성격에 따라 일정한 편향이나 불규칙한 왜곡이 생김	문항 사전검사, 입력 검증, 원자료 대조를 실시함

이 구분은 통계청의 국가통계 품질관리에서 조사 설계, 자료 수집, 처리와 산출물 전반을 함께 점검하는 관점과 맞닿아 있다. 조사 품질은 표본 수 하나로 결정되지 않으며, 모집단을 얼마나 빠짐없이 포함했는지와 응답을 같은 기준으로 측정·처리했는지를 함께 살펴야 한다.

오차범위가 설명하는 것과 설명하지 못하는 것

보도에서 제시하는 ±값은 보통 확률표집을 전제로 계산한 표본오차의 범위다. 95% 신뢰수준이라는 말은 같은 모집단에서 같은 표집과 계산 절차를 여러 번 반복할 때 그렇게 만들어진 신뢰구간 가운데 약 95%가 참값을 포함한다는 뜻이다. 이미 계산된 이번 구간에 참값이 들어 있을 확률이 95%라는 의미로 직접 해석하는 것은 빈도주의 신뢰구간의 정의와 다르다.

오차범위에는 대개 표집틀의 누락, 무응답 편향, 질문 순서 효과, 거짓 응답, 입력 실수 같은 비표본오차가 합산되지 않는다. 응답자가 많아 ±값이 작더라도 청년층이 조사 명단에서 빠졌다면 대표성은 약해질 수 있다. 모든 연령대가 참여했어도 질문이 특정 답을 떠올리게 했다면 측정값은 한쪽으로 기울 수 있다.

오차범위 자체도 조사 설계에 따라 해석 조건이 달라진다. 단순무작위표집이 아닌 층화·집락 설계를 사용했거나 가중치의 차이가 크면 실제 추정량의 변동은 단순 공식으로 계산한 값과 달라질 수 있다. 따라서 조사기관이 밝힌 신뢰수준, 표본추출 방식, 표본오차 계산 기준과 함께 설계효과나 가중치 적용 여부를 확인하는 편이 안전하다.

같은 100명 감소도 결과가 달라지는 이유

가상의 만족도 조사에서 1,000명의 응답 자료 중 100명을 제외하는 장면을 생각해 보자. 컴퓨터가 응답 내용과 무관하게 100명을 무작위로 골라 제외했다면 남은 900명의 만족도는 높아질 수도, 낮아질 수도 있다. 원래 표본에서 다시 무작위로 일부를 덜어 낸 것이므로 정보량이 줄고 우연한 변동이 커진다. 엄밀히 말해 실제 조사에서 선정된 사람의 응답이 사라진 상황이라면 결측 또는 무응답 과정으로 기록해야 하지만, 제외 확률이 만족도와 무관하다면 방향이 일정한 편향보다는 추가적인 무작위 변동에 가깝다.

반대로 만족도가 상대적으로 낮은 특정 연령대에서만 100명이 응답하지 않았다면 전체 만족도는 실제보다 높게 나타날 가능성이 크다. 사람 수가 같게 줄었어도 빠질 가능성이 조사하려는 값과 연결되어 있기 때문이다. 연령별 모집단 비율을 알고 있다면 가중치로 연령 구성은 조정할 수 있다. 그러나 같은 연령대 안에서도 불만이 큰 사람이 더 많이 응답을 피했다면 연령 가중치만으로 그 차이까지 복원할 수는 없다.

응답자 감소 상황	오차의 성격	만족도에 예상되는 영향	수정 가능성과 한계
응답과 무관하게 100명을 무작위 제외	정보량 감소와 무작위 변동 증가	높아지거나 낮아질 수 있으며 방향이 일정하지 않음	충분한 표본을 확보하면 변동을 줄일 수 있음
만족도가 낮은 특정 연령대에서 100명 무응답	연령과 응답 성향이 연결된 비응답 편향	전체 만족도가 실제보다 높아질 가능성이 있음	연령 가중치로 일부 보정할 수 있으나 비응답자의 실제 답은 알 수 없음
일부 만족도 값을 반대로 입력	자료 처리 오류	잘못 입력된 값의 수와 방향에 따라 달라짐	원자료 대조와 허용 범위 검증으로 발견하면 수정할 수 있음

실무적으로는 제외 인원수만 기록해서는 원인을 판단하기 어렵다. 무작위 제외라면 난수 생성 기록과 제외 기준을 남기고, 특정 집단의 무응답이라면 연령별 선정 인원·응답 인원·응답률을 나란히 제시해야 한다. 무엇을 관찰할 수 있고 무엇을 추정에 의존해야 하는지 구분해야 수정 가능한 오류를 찾을 수 있다.

조사 결과를 읽을 때 확인할 다섯 가지

조사표의 첫 숫자를 보기 전에 모집단의 정의를 확인할 필요가 있다. 전국 성인을 말하는지, 특정 서비스 이용자만 말하는지에 따라 같은 비율의 의미가 달라진다. 그다음에는 표본을 뽑은 명단인 표집틀이 모집단을 충분히 포함하는지 살핀다. 오래된 고객 명단이나 특정 연락 수단만 사용한 명단은 신규 고객이나 해당 수단을 쓰지 않는 사람을 놓칠 수 있다.

응답률은 전체 수치뿐 아니라 연령·지역처럼 결과와 관련될 수 있는 집단별 차이를 함께 봐야 한다. 질문의 정확한 문구, 선택지, 질문 순서와 조사 방식도 중요하다. 전화 면접과 익명 온라인 조사는 민감한 질문에서 서로 다른 응답을 얻을 수 있으며, 유도적인 표현은 실제 태도 대신 질문에 대한 반응을 측정할 수 있다.

가중치를 사용했다면 어떤 변수로 조정했는지, 조정 전후의 표본 구성이 어떻게 달라졌는지 확인한다. 가중치는 알려진 인구 구성의 차이를 보완하지만 관찰하지 못한 특성이나 잘못된 응답까지 자동으로 고치지는 않는다. 통계청의 국가통계 품질관리 자료처럼 조사 과정 전체를 점검하는 공신력 있는 기준을 참고하면 표집, 수집, 처리 단계의 설명이 충분한지도 비교할 수 있다.

표본오차는 반복 표집에서 나타나는 우연한 흔들림이므로 설계와 표본 규모를 통해 비교적 정량화하기 쉽다. 비표본오차는 누가 빠졌고 무엇을 잘못 측정했는지에 따라 방향과 크기가 달라 자료 밖에서는 발견하기 어려울 수 있다. 좋은 통계 해석은 오차범위만 인용하는 데서 끝나지 않는다. 어떤 사람이 포함되지 않았는지, 무응답이 특정 집단에 몰렸는지, 질문과 처리 절차가 결과를 어느 방향으로 움직일 수 있는지 묻는 데서 시작한다.