결측치 처리 방법, 빈칸 판단하기

빈칸과 0은 왜 다른가

조사표나 엑셀 파일에서 빈칸을 발견하면 0을 입력하거나 해당 행을 지우기 쉽습니다. 그러나 0은 실제로 관측된 값이고, 빈칸은 값을 알 수 없다는 표시입니다. 월 지출액 0원은 지출하지 않았다는 뜻이지만 빈칸에는 응답 거부, 기록 누락, 질문 비해당, 장비 오류처럼 서로 다른 사정이 숨어 있을 수 있습니다. 결측치 처리 방법은 계산 편의가 아니라 그 사정과 분석 목적을 기준으로 정해야 합니다.

자료를 받으면 빈 셀뿐 아니라 ‘모름’, ‘응답 거부’, 하이픈, 999처럼 결측을 대신한 코드도 찾아야 합니다. 프로그램이 999를 정상적인 큰 수로 읽으면 평균이 엉뚱하게 높아질 수 있습니다. 결측 표시는 하나로 통일하되 원래의 누락 사유는 별도 변수로 보존하는 편이 안전합니다. 원자료는 수정하지 않고 복사본에서 처리해야 기준을 바꾸더라도 처음 상태로 돌아갈 수 있습니다.

누락은 누구에게 몰려 있는가

전체 결측률 하나만으로 삭제 여부를 판단해서는 안 됩니다. 문항별 누락 수를 센 뒤 연령대, 지역, 조사 방식 같은 주요 집단별 결측률을 비교해야 합니다. 결측 여부를 1과 0으로 표시한 변수를 만들고 두 집단의 직업, 소비액, 교육 수준 등 이미 관측된 값이 다른지도 살펴볼 수 있습니다.

점검 항목	계산하거나 확인할 내용	알 수 있는 위험
문항별 결측 수	질문마다 빈칸의 수와 비율을 계산합니다.	어렵거나 민감한 질문에 누락이 집중됐는지 파악할 수 있습니다.
집단별 결측률	연령대·지역·조사 방식별 누락 비율을 비교합니다.	특정 집단이 분석에서 과소 대표될 가능성을 확인할 수 있습니다.
결측 여부별 관측값	응답자와 미응답자의 직업·소비액 등 남아 있는 값을 비교합니다.	완전 응답자만으로 전체를 설명하기 어려운지 판단할 수 있습니다.
누락 사유	응답 거부·비해당·입력 오류·측정 실패를 가능한 범위에서 구분합니다.	삭제, 대체, 별도 범주 가운데 타당한 방식을 고를 근거가 생깁니다.

통계학에서는 누락이 다른 관측값이나 누락된 값 자체와 어떤 관계를 갖는지에 따라 결측 메커니즘을 구분합니다. 관측된 변수에서 두 집단이 비슷해 보여도 누락 원인이 정작 비어 있는 결과값과 관련될 수 있습니다. 따라서 결측률이 낮거나 눈에 띄는 집단 차이가 없다는 사실만으로 행 삭제를 정당화할 수 없습니다. 어떤 가정 아래 삭제했는지 밝히고 처리 방식을 바꿔도 결론이 유지되는지 민감도 분석을 병행해야 합니다. 이 구분과 주의점은 결측자료 분석의 표준 교재인 Little과 Rubin의 Statistical Analysis with Missing Data에서 체계적으로 설명됩니다.

행을 삭제하면 표본은 어떻게 달라지는가

가상의 소득 조사표에 20대, 40대, 60대가 각각 40명씩 참여했다고 가정해 보겠습니다. 소득을 밝히지 않은 사람이 20대 2명, 40대 6명, 60대 18명이라면 전체 120명 가운데 결측은 26명입니다. 소득이 적힌 행만 남기는 순간 연령별 인원은 38명, 34명, 22명으로 바뀝니다.

연령대	조사 참여자	소득 미응답자	삭제 후 남은 사람	삭제 후 표본 비중
20대	40명	2명	38명	40.4%
40대	40명	6명	34명	36.2%
60대	40명	18명	22명	23.4%

조사 당시에는 세 연령대가 각각 33.3%였지만, 삭제 후 60대 비중은 23.4%로 줄었습니다. 행 삭제를 검토할 때는 삭제 전후의 연령 구성표를 나란히 놓아야 이런 변화를 바로 볼 수 있습니다. 이때 계산한 전체 평균소득은 처음 조사한 120명의 평균이 아니라 ‘소득에 응답한 94명의 평균’입니다. 연령과 소득 수준이 관련돼 있다면 표본 구성 변화가 평균의 방향까지 바꿀 수 있습니다.

삭제와 대체는 무엇을 기준으로 고르는가

분석에 쓰지 않는 변수에만 빈칸이 있다면 해당 변수를 제외하고 나머지 응답은 활용할 수 있습니다. 필요한 변수의 결측 사례를 삭제하려면 누락 원인, 집단별 편중, 삭제 전후 표본 구성, 분석 목적을 함께 검토해야 합니다. 연락처 누락, 민감한 소득 질문의 응답 거부, 장비 고장으로 생긴 측정 실패를 같은 규칙으로 처리할 이유는 없습니다.

평균이나 중앙값을 넣는 단순 대체는 표본 수를 유지하지만 실제로 관측하지 않은 사람들에게 비슷한 값을 부여합니다. 그 결과 값의 다양성이 줄고 분산, 상관관계, 표준오차가 왜곡될 수 있습니다. 미국 국립연구위원회의 The Prevention and Treatment of Missing Data in Clinical Trials도 단일한 값으로 채우는 방식이 결측으로 인한 불확실성을 충분히 반영하지 못한다고 지적합니다.

회귀 예측이나 다중대체는 관측된 여러 정보를 활용한다는 장점이 있지만 자동으로 정답을 만들어 주지는 않습니다. 특히 다중대체는 빈칸마다 여러 개의 가능한 값을 생성하고 각각의 분석 결과를 결합해 대체 과정의 불확실성을 반영하는 방법입니다. 사용할 변수, 결측 메커니즘에 관한 가정, 생성한 자료의 수와 결합 절차를 공개할 수 있을 때 선택해야 합니다. 단순 대체와 다중대체의 차이 역시 Little과 Rubin의 교재에서 상세히 다룹니다.

결과를 공개할 때 무엇을 남겨야 하는가

작업 기록에는 원자료 보존 여부, 결측으로 인정한 코드, 문항별 결측 수와 비율, 집단별 편중, 제외 또는 대체 조건을 남겨야 합니다. 완전 응답만 사용한 결과와 합리적인 다른 처리 결과를 함께 계산해 방향과 크기가 유지되는지도 확인할 필요가 있습니다. 결론이 크게 달라지면 어느 수치 하나를 확정적으로 제시하기보다 결측 처리에 민감한 결과라고 설명하는 편이 정확합니다.

빈칸은 지워야 할 잡음이 아니라 자료가 어디까지 말할 수 있는지를 알려 주는 표시입니다. 좋은 분석은 빈칸을 감추지 않습니다. 누가 빠졌고, 그 누락이 표본과 결론을 얼마나 바꾸는지 독자가 판단할 수 있도록 드러냅니다.

참고 문헌

Little, R. J. A. & Rubin, D. B. (2019), Statistical Analysis with Missing Data, 3rd Edition, Wiley.

National Research Council (2010), The Prevention and Treatment of Missing Data in Clinical Trials, National Academies Press.