설문 응답률 계산, 이탈 단계 찾기

응답률과 완료율은 왜 같은 숫자가 아닌가

설문을 1,000명에게 보냈고 240명이 최종 제출했다고 가정해 보겠습니다. 단순히 계산하면 24%지만, 이 숫자만으로는 참여 자체가 저조했는지 설문 도중 이탈이 많았는지 판단하기 어렵습니다. 발송 인원, 정상 전달 인원, 접속자, 시작자, 완료자는 서로 다른 집단이기 때문입니다.

이 글에서는 실무 흐름을 점검하기 위해 최종 응답률을 ‘완료자 수 ÷ 정상 발송 인원 × 100’으로 정의합니다. 이는 전달에 성공한 사람 중 완료 응답을 얼마나 확보했는지 보여 주는 운영 지표입니다. 공식 조사에서 사용하는 응답률과는 구별해야 합니다. 공식 응답률은 조사 대상의 적격 여부, 적격 여부를 확인하지 못한 사례의 추정, 부분 응답과 무응답의 처리 기준에 따라 분모와 분자가 달라질 수 있습니다.

미국여론조사학회 AAPOR의 Standard Definitions도 응답 결과를 완료, 부분 응답, 거절, 비접촉, 적격 여부 미확인 등으로 나누고 여러 응답률 공식을 제시합니다. 따라서 이 글의 계산값을 공식 조사 응답률로 일반화하지 말고, 보고서에는 ‘정상 발송 기준 운영상 최종 응답률’이라고 정의를 밝혀야 합니다.

지표	분자	분모	판단할 수 있는 단계
접속률	설문 페이지 접속자	정상 발송 인원	초대 메시지를 받은 뒤 링크에 들어오는 단계
시작률	첫 문항 응답자	설문 페이지 접속자	첫 화면을 본 뒤 실제 응답을 시작하는 단계
운영상 최종 응답률	마지막 문항까지 제출한 사람	정상 발송 인원	전달 성공자 중 완료 응답을 확보한 정도
완료율	마지막 문항까지 제출한 사람	첫 문항 응답자	응답을 시작한 뒤 끝까지 진행하는 단계

가상 조사 기록에서는 어떻게 계산하는가

한 기관이 안내 메시지를 1,000명에게 발송했는데 주소 오류 등으로 100건이 전달되지 않은 조사 기록을 펼쳐 놓았다고 해보겠습니다. 정상 발송은 900명, 설문 접속자는 450명입니다. 첫 문항에 답한 시작자는 400명이고 마지막 문항까지 제출한 완료자는 240명입니다. 이 네 숫자를 한 줄로 배열하면 계산의 기준이 눈에 들어옵니다.

접속률은 450 ÷ 900 × 100으로 50%입니다. 시작률은 400 ÷ 450 × 100으로 약 88.9%이고, 운영상 최종 응답률은 240 ÷ 900 × 100으로 약 26.7%입니다. 완료율은 240 ÷ 400 × 100이므로 60%입니다. 모두 같은 조사에서 나온 값이지만 답하는 질문은 각각 다릅니다.

최초 발송 1,000명을 분모로 삼으면 완료자 비율은 24%가 됩니다. 그러나 전달되지 않은 100명은 설문에 참여할 기회가 없었으므로 정상 발송 기준 26.7%와 의미가 다릅니다. 어느 쪽이 무조건 옳다는 뜻이 아니라, 수치를 읽는 사람이 분모를 알 수 있도록 기준을 정확히 표시해야 한다는 뜻입니다.

이동 구간	앞 단계 인원	다음 단계 인원	줄어든 인원과 비율
정상 발송에서 접속	900명	450명	450명, 50.0%
접속에서 시작	450명	400명	50명, 11.1%
시작에서 완료	400명	240명	160명, 40.0%

인원 감소가 가장 큰 곳은 정상 발송 후 접속하지 않은 구간으로 450명입니다. 비율로 보면 접속자의 88.9%가 시작했으므로 첫 화면보다 초대 확인과 접속 단계의 개선 여지가 큽니다. 한편 시작자의 40%인 160명이 완료 전에 나갔으므로 설문 내부 이탈도 작다고 할 수 없습니다. 참여 저조와 중도 이탈이 동시에 존재하되 규모가 다른 사례입니다.

어느 단계가 문제인지 어떻게 진단하는가

접속률이 낮을 때

접속률이 낮다면 문항을 고치기에 앞서 전달 과정을 확인할 필요가 있습니다. 안내 문구에 조사 목적과 예상 시간이 분명한지, 링크가 모바일에서도 열리는지, 대상자가 메시지를 확인하기 어려운 시간에 발송되지는 않았는지 살펴봅니다. 다만 낮은 접속률 하나만으로 제목이나 발송 시간이 원인이라고 단정할 수는 없습니다. 발송 시점이나 안내 문구를 나누어 시험한 기록이 있어야 원인에 가까이 갈 수 있습니다.

접속 후 시작률이 낮을 때

접속자는 충분한데 시작자가 적다면 첫 화면의 길이, 개인정보 이용 설명, 필수 동의 절차, 첫 질문의 부담을 점검합니다. 접속만 해도 시작으로 기록하는 시스템이 있는 반면 첫 문항을 제출해야 시작자로 집계하는 시스템도 있습니다. 같은 80%라도 기록 규칙이 다르면 직접 비교할 수 없으므로 시작 행동의 기준을 남겨야 합니다.

완료율이 낮을 때

완료율이 낮으면 설문 내부에서 응답 부담이 커졌을 가능성을 살펴봅니다. 예상보다 긴 문항 수, 민감한 질문, 반복되는 서술형 입력, 모바일에서 누르기 어려운 선택지, 느린 페이지 로딩이 후보가 될 수 있습니다. 완료율 60%만으로 문제 문항을 특정할 수는 없으므로 문항별 도달자 수가 필요합니다.

문항별 이탈은 어떤 방식으로 좁혀 가는가

문항별 이탈률은 ‘해당 문항 도달자 중 다음 단계로 넘어가지 않은 사람 ÷ 해당 문항 도달자 × 100’으로 계산할 수 있습니다. 8번 문항에 320명이 도달했고 9번 문항에는 256명이 도달했다면 이탈자는 64명이며 이탈률은 20%입니다. 전체 완료율만 볼 때보다 수정 후보를 구체적으로 찾을 수 있습니다.

이탈률이 높은 문항을 발견했다고 해서 질문 내용만 탓해서는 곤란합니다. 앞선 문항에서 피로가 누적됐거나 그 페이지에서 기술 오류가 발생했을 수 있습니다. 분기 설정에 따라 일부 응답자가 정상적으로 조기 종료된 경우도 있습니다. 정상 종료를 중도 포기로 집계하면 이탈률이 부풀려지므로 종료 코드와 이동 경로를 함께 확인해야 합니다.

자료를 정리할 때는 발송 인원, 전달 실패, 접속자, 시작자, 문항별 도달자, 완료자를 시간 순서대로 놓습니다. 각 단계에서 바로 앞 단계 대비 비율과 정상 발송 인원 대비 누적 비율을 나란히 계산하면 특정 구간의 문제와 전체 결과에 미친 영향을 함께 볼 수 있습니다. 표본이 작을 때는 한두 명만 달라져도 비율이 크게 움직이므로 백분율 옆에 실제 인원을 적는 습관이 중요합니다.

보고서에는 무엇을 적어야 재현할 수 있는가

“응답률 26.7%”라고만 쓰기보다 “정상 발송 900명 중 최종 제출 240명으로 계산한 운영상 최종 응답률 26.7%”라고 적는 편이 정확합니다. 집계 기간, 중복 접속 제거 방식, 시작자의 판정 기준, 부분 응답 포함 여부, 정상 종료 처리 방식도 함께 남겨야 다른 사람이 같은 계산을 재현할 수 있습니다.

공식 조사 결과를 보고한다면 적용한 응답률 표준과 공식 번호 또는 산식을 별도로 밝혀야 합니다. 적격 대상자만 분모에 넣었는지, 적격 여부가 확인되지 않은 사례를 어떤 비율로 추정했는지, 부분 응답을 응답자로 인정했는지가 결과에 영향을 줍니다. 운영 지표와 공식 조사 지표는 목적이 다르므로 이름을 구분해 제시하는 것이 안전합니다.

응답률이 높다고 표본의 대표성이 자동으로 확보되는 것도 아닙니다. 특정 연령대나 의견이 강한 사람만 주로 참여했다면 모집단과 응답 집단의 구성이 다를 수 있습니다. 응답률과 완료율은 조사 운영을 진단하는 지표이지 답변의 정확성이나 대표성을 단독으로 보증하는 점수가 아닙니다.

이탈 단계는 하나의 백분율이 아니라 연결된 분모를 비교해 찾습니다. 정상 발송 대비 접속률은 참여 유입을, 접속 대비 시작률은 첫 화면의 진입을, 시작 대비 완료율은 설문 내부의 지속을 보여 줍니다. 숫자의 크기보다 그 숫자가 누구를 기준으로 만들어졌는지 확인하는 일이 해석의 출발점입니다.