설문 문항 편향, 유도 질문 고치기

설문 결과는 질문을 통과해 만들어집니다

설문 결과가 달라지면 연령이나 지역 같은 응답자 구성부터 의심하기 쉽습니다. 그러나 같은 사람에게 물어도 질문에 평가가 섞이거나 선택지의 범위와 순서가 달라지면 응답 비율은 움직입니다. 이는 사람을 잘못 뽑은 표본 오류와 구별되는 측정 단계의 오류입니다.

유도 질문은 특정 답을 상식적이거나 바람직하게 보이게 합니다. “낭비를 줄이기 위해 계획적으로 소비하고 있습니까?”라는 문장에는 절약이 옳다는 평가가 들어 있습니다. 응답자는 실제 행동보다 책임감 있는 사람으로 보이는 답을 고를 수 있습니다.

숨은 전제도 문제입니다. “늘어난 충동구매를 줄이기 위해 무엇을 합니까?”는 충동구매가 실제로 늘었다고 가정합니다. 변화가 없거나 줄어든 사람에게 맞는 답이 없다면 결과는 행동보다 문항의 가정을 반영하게 됩니다. “자주”, “합리적”, “과소비”처럼 기준이 사람마다 다른 말도 기간과 관찰 가능한 행동으로 바꾸는 편이 낫습니다.

유도 질문을 중립형 문항으로 고치는 기준

문항을 고치기 전에는 측정 대상을 한 문장으로 정리합니다. 확인할 내용이 ‘최근 한 달간 계획하지 않은 물건을 산 횟수’라면 절약 의지나 소비 태도를 함께 물을 이유가 없습니다. 한 문항에는 하나의 행동을 담고, 회상 기간과 판단 기준을 분명히 제시해야 합니다.

문제 유형	수정 전 문항	수정 후 문항
바람직한 답 암시	현명한 소비자라면 구매 전에 가격을 비교해야 한다고 생각합니까?	최근 30일 동안 물건을 사기 전 두 곳 이상의 가격을 비교한 적이 있습니까?
사실을 미리 가정	늘어난 충동구매를 줄이기 위해 어떤 노력을 하고 있습니까?	최근 30일 동안 계획하지 않았던 물건을 구매한 횟수는 몇 회입니까?
두 행동을 함께 질문	예산을 세우고 지출 내역도 기록합니까?	다음 달에 쓸 예산을 미리 정합니까?
모호한 빈도 표현	온라인 쇼핑을 자주 이용합니까?	최근 30일 동안 온라인 쇼핑으로 결제한 날은 며칠입니까?

수정 후 문항은 성격이나 태도를 평가하기보다 기억할 수 있는 행동을 묻습니다. 다만 구체적인 질문도 완벽하지는 않습니다. 결제 기록을 확인했는지 기억에 의존했는지에 따라 정확도가 달라지고, ‘계획하지 않은 구매’의 기준 역시 응답자마다 조금씩 다를 수 있습니다. 통계는 문항을 다듬어 오류 경로를 줄일 수 있지만 측정의 한계까지 없애 주지는 않습니다.

선택지의 범위와 순서도 응답을 바꿉니다

질문이 중립적이어도 선택지가 실제 상황을 담지 못하면 결과가 한쪽으로 몰립니다. 월간 충동구매 횟수를 ‘없음, 1회, 2회, 3회 이상’으로 나누면 구매가 잦은 사람들의 차이가 모두 마지막 구간에 묶입니다. 반대로 지나치게 잘게 나누면 정확히 기억하지 못하는 응답자에게 추측을 요구합니다.

범주끼리는 겹치지 않아야 합니다. 연령을 ‘20세 이하, 20~29세, 30~39세’로 제시하면 20세가 두 곳에 포함됩니다. ‘19세 이하, 20~29세, 30~39세’처럼 경계를 바로잡아야 합니다. 필요한 문항에는 ‘해당 없음’, ‘모르겠음’, ‘답변하고 싶지 않음’을 두어 억지 선택을 줄입니다.

고정된 배열에서 앞쪽 항목이 더 쉽게 선택되는 순서 효과도 살펴야 합니다. 브랜드나 정책 목록은 가능하면 응답자마다 순서를 무작위로 바꿉니다. 무작위 배열이 어렵다면 순서가 다른 두 설문지를 소수에게 배포해 분포가 달라지는지 확인할 수 있습니다. 미국여론조사협회는 질문 표현과 순서, 응답 선택지가 측정에 미치는 영향을 설계 단계에서 검토하도록 안내합니다.

같은 소비 습관을 두 문장으로 물어보는 장면

가상 설문지를 절반씩 나눠 배포한다고 가정해 보겠습니다. A안은 “불필요한 지출을 막기 위해 장바구니 상품을 신중하게 검토합니까?”라고 묻습니다. B안은 “최근 30일 동안 온라인 장바구니에 담은 뒤 구매하지 않은 상품이 있었습니까?”라고 묻습니다.

A안에는 ‘불필요한 지출을 막는다’와 ‘신중하다’는 긍정적 평가가 들어 있어 ‘그렇다’가 더 많아질 가능성이 있습니다. B안은 기간과 행동이 구체적이지만 구매하지 않은 이유가 절약인지, 품절인지, 단순 변심인지는 알 수 없습니다. 따라서 B안의 ‘있다’를 신중한 소비 태도의 증거로 단정해서는 안 됩니다.

두 문항의 차이를 보려면 응답자를 임의로 나누고 질문 외의 배포 조건을 같게 해야 합니다. 차이가 나타났을 때도 응답자 수와 배정 방식, 우연한 변동을 함께 검토합니다. 이 장면의 목적은 예상 비율을 만들어 내는 것이 아니라 문장 하나가 무엇을 더 측정하고 무엇을 놓치는지 확인하는 데 있습니다.

배포 전 점검은 짧고 구체적으로

1단계에서는 평가어, 숨은 전제, 한 문장에 묶인 두 질문을 표시합니다. 2단계에서는 기간과 행동 기준을 넣고 선택지의 중복과 빈틈을 확인합니다. 3단계에서는 실제 조사 대상과 비슷한 소수에게 문항을 읽힌 뒤 “어떤 뜻으로 이해했습니까?”라고 묻습니다. 응답자가 자기 말로 질문을 설명하고 답을 고른 이유를 말하게 하는 인지 면담입니다.

인지 면담에서는 정답을 알려주지 않습니다. 어떤 단어에서 멈췄는지, 떠올린 기간은 언제부터인지, 맞는 선택지가 없었는지를 기록합니다. 미국 질병통제예방센터의 설문 문항 평가 자료도 이런 인지 면담을 통해 질문의 이해·회상·판단·응답 과정을 점검하는 근거를 제공합니다.

결과를 공개할 때는 응답 비율만 떼어 놓지 말고 문항 원문, 선택지, 조사 방식도 함께 제시해야 합니다. 설문 숫자는 생각을 그대로 꺼낸 값이 아니라 질문과 선택지, 조사 환경을 거쳐 만들어진 값입니다. 잘 고친 문항은 편향을 완전히 제거하지는 못해도 숫자가 의미하는 범위와 해석의 책임을 훨씬 선명하게 만듭니다.

참고한 설문 설계 자료

미국여론조사협회(AAPOR), Best Practices for Survey Research — 질문 표현, 문항 순서, 응답 선택지와 조사 결과 공개 원칙을 확인할 수 있습니다.

미국 질병통제예방센터(CDC), Q-Bank — 인지 면담을 포함한 설문 문항 평가 자료와 문항별 검토 사례를 제공합니다.