생활속 기초 통계 이해
평균 회귀 뜻, 성적 반등 판단법 본문
평균 회귀는 왜 나타날까요?
첫 시험에서 40점을 받은 학생이 다음 시험에서 60점을 받으면 보충수업이 효과를 냈다고 생각하기 쉽습니다. 반대로 95점이 85점으로 내려가면 집중력이나 실력이 떨어졌다고 해석하기도 합니다. 그러나 한 번의 시험 점수에는 평소 실력뿐 아니라 당일 컨디션, 문항 구성, 실수, 우연히 익숙한 문제가 나온 정도가 함께 반영됩니다. 극단적인 결과 뒤의 변화를 교육이나 훈련의 성과로 단정하기 전에 이 일시적 변동을 살펴야 합니다.
평균 회귀란 한 번의 측정에서 평균보다 유난히 높거나 낮은 값이 관찰됐을 때, 다음 측정값이 이전보다 평균에 가까워지는 경향을 말합니다. 모든 학생의 점수가 결국 같아진다는 뜻은 아닙니다. 첫 결과를 극단적으로 만든 행운이나 불운이 다음 시험에서도 같은 방향과 크기로 반복될 가능성이 낮기 때문에 나타납니다.
시험 점수를 ‘비교적 안정적인 실력’과 ‘일시적으로 달라지는 요인’이 합쳐진 결과로 보면 이해하기 쉽습니다. 평소 65점 안팎인 학생도 잠을 설쳤거나 답을 밀려 쓰면 45점을 받을 수 있습니다. 반대로 익숙한 문제가 많이 나오면 80점을 받을 수 있습니다. 다음 시험에서 특별한 악재나 행운이 줄어들면 점수는 평소 수준에 가까워집니다. 점수가 변했다는 사실과 그 원인이 교육이었다는 판단은 구분해야 합니다.
별도 개입 없이도 점수가 반등할까요?
가정형 성적표로 확인해 보겠습니다. 두 시험의 학급 평균은 모두 70점이고, 난이도와 채점 기준도 비슷하다고 가정했습니다. 첫 시험에서 유난히 낮거나 높은 점수를 받은 학생 여섯 명을 골랐으며, 두 시험 사이에 보충수업이나 별도 훈련은 시행하지 않았습니다. 각 행은 집단 평균이 아니라 학생 한 명의 점수이고, 숫자는 원리를 설명하기 위한 예시이지 실제 조사 결과가 아닙니다.
| 학생 | 첫 시험 점수 | 다음 시험 점수 | 70점과의 거리 변화 |
|---|---|---|---|
| 낮은 점수 학생 A | 42점 | 58점 | 28점에서 12점으로 감소 |
| 낮은 점수 학생 B | 47점 | 61점 | 23점에서 9점으로 감소 |
| 낮은 점수 학생 C | 51점 | 63점 | 19점에서 7점으로 감소 |
| 높은 점수 학생 D | 91점 | 82점 | 21점에서 12점으로 감소 |
| 높은 점수 학생 E | 94점 | 84점 | 24점에서 14점으로 감소 |
| 높은 점수 학생 F | 97점 | 86점 | 27점에서 16점으로 감소 |
표에서는 낮은 점수를 받은 세 학생이 모두 올랐고 높은 점수를 받은 세 학생은 모두 내려갔습니다. 특별한 개입이 없는데도 여섯 명의 다음 점수가 학급 평균에 가까워졌습니다. 첫 시험의 극단값을 기준으로 학생을 골랐기 때문에 자연스러운 되돌림이 두드러져 보인 것입니다. 실제 성적표를 검토할 때도 전체 학생이 아니라 최저점자나 최고점자만 선별해 추적했는지 확인할 필요가 있습니다.
왜 교육이나 훈련의 효과로 오해할까요?
학교와 가정에서는 성적이 가장 낮아진 시점에 상담, 보충수업, 학습 계획 변경을 시작하는 일이 많습니다. 그 뒤 점수가 오르면 개입 직후의 변화가 눈에 잘 띄어 원인과 결과로 연결하기 쉽습니다. 하지만 개입 시점이 학생의 일시적인 최저점과 겹쳤다면 아무 조치가 없어도 일부 반등이 나타날 수 있습니다. 실제 교육 효과와 평균 회귀가 동시에 섞였을 가능성을 열어 두어야 합니다.
칭찬과 꾸중의 효과를 판단할 때도 같은 문제가 생깁니다. 아주 좋은 성과 뒤에 칭찬했는데 다음 결과가 낮아지고, 아주 나쁜 성과 뒤에 꾸중했는데 결과가 좋아졌다고 해보겠습니다. 이 두 장면만 보면 꾸중이 더 효과적인 듯하지만, 칭찬과 꾸중이 각각 극단적인 결과 뒤에 이루어졌다는 차이가 있습니다. 전후 점수 두 개만으로 지도 방식의 우열을 정하면 자연스러운 변동까지 지도 효과에 포함하게 됩니다.
이 현상은 교육에만 한정되지 않습니다. 매출이 급감한 지점에 지원 인력을 투입한 뒤 매출이 회복되거나, 기록이 나쁜 선수에게 특별 훈련을 실시한 뒤 성적이 오르는 장면에도 같은 질문이 필요합니다. 지원과 훈련이 실제로 도움이 됐을 수 있지만, 가장 나쁜 시점을 출발점으로 골랐다는 사실만으로도 어느 정도 회복은 예상할 수 있습니다.
성적 반등이 실제 효과인지 어떻게 판단할까요?
한 학생의 직전 점수 하나보다 여러 차례의 기록을 함께 보는 것이 출발점입니다. 이전 다섯 번의 점수가 58점에서 64점 사이였는데 한 번 40점을 받은 뒤 61점으로 돌아왔다면, 새로운 실력 향상보다 평소 범위의 회복으로 해석할 여지가 큽니다. 반면 개입 후 여러 시험에서 70점대가 이어지고 같은 수준의 과제 수행도 좋아졌다면 지속적인 변화라는 근거가 강해집니다.
가능하다면 비슷한 출발점을 가진 비교 집단을 두는 편이 좋습니다. 낮은 점수를 받은 학생들을 무작위로 두 집단에 나누고 한쪽에만 프로그램을 적용하면, 두 집단에서 공통으로 나타난 자연 반등과 프로그램 집단의 추가 변화를 나누어 볼 수 있습니다. 무작위 배정이 어렵다면 이전 성적, 학습 시간, 시험 난이도가 비슷한 학생들을 같은 기간 관찰해야 합니다. 완벽한 실험이 아니더라도 비교 기준을 밝혀 두면 단순한 전후 비교보다 판단의 한계가 분명해집니다.
예를 들어 첫 시험에서 45점을 받은 학생에게 보충수업을 제공했다고 가정해 보겠습니다. 다음 시험의 62점만 보고 결론을 내리지 않고, 개입 전 네 차례 점수와 학급 평균, 비슷한 성적이었지만 수업을 받지 않은 학생들의 변화까지 한 화면에 놓습니다. 이어지는 시험과 과제에서도 개선이 유지되는지 표시하면, 일시적인 반등인지 학습 방식의 변화인지 훨씬 구체적으로 논의할 수 있습니다.
실제 성적표에서 무엇을 점검해야 할까요?
원점수가 올랐더라도 다음 시험이 쉬웠다면 실력이 같은 폭으로 향상됐다고 말하기 어렵습니다. 시험 범위와 문항 난이도, 채점 기준, 결시자 처리 방식이 비슷했는지 확인해야 합니다. 학급 평균과 점수 분포, 백분위를 함께 보면 개인 점수의 위치를 더 정확히 읽을 수 있습니다. 다만 응시 집단이 달라진 백분위끼리는 직접 비교하기 어렵다는 한계도 있습니다.
| 점검 항목 | 확인할 질문 | 해석에 미치는 영향 |
|---|---|---|
| 대상 선정 | 첫 시험의 최저점자만 골랐는가? | 극단값으로 선별했다면 자연 반등이 크게 보일 수 있음 |
| 이전 기록 | 개입 전 여러 차례의 평소 점수는 얼마였는가? | 평소 범위로 돌아온 것인지 새 수준에 도달한 것인지 구분 가능 |
| 시험 조건 | 난이도와 채점 기준이 비슷했는가? | 시험 조건의 차이를 실력 변화로 오해하는 위험을 줄임 |
| 비교 대상 | 비슷한 학생에게도 같은 반등이 나타났는가? | 공통된 자연 변동과 개입의 추가 효과를 비교 가능 |
| 변화의 지속성 | 다음 시험과 과제에서도 개선이 이어졌는가? | 한 번의 반등보다 안정적인 변화에 더 무게를 둘 수 있음 |
자료가 충분하지 않다면 “프로그램 효과가 입증됐다”보다 “점수 반등은 관찰됐지만 자연 변동과 구분하기 어렵다”라고 표현하는 편이 정확합니다. 평균 회귀는 다음 점수를 정확히 예언하는 법칙도, 모든 교육 효과를 부정하는 논리도 아닙니다. 극단적인 출발점을 기준으로 효과를 평가할 때 생길 수 있는 착시를 알려 주는 점검 도구입니다.
변화와 원인을 구분하는 것이 핵심입니다
40점이 60점이 된 것은 분명한 변화입니다. 그러나 20점의 차이만으로 원인이 결정되지는 않습니다. 실력 향상, 시험 난이도, 컨디션 회복, 측정 오차와 자연스러운 되돌림이 함께 작용할 수 있기 때문입니다. 통계는 반등의 의미를 깎아내리는 공식이 아니라 그 반등에 어느 정도의 확신을 둘 수 있는지 판단하게 하는 생활의 도구입니다.
여러 번의 측정, 조건이 비슷한 비교 대상, 후속 시험에서의 지속성을 함께 확인하면 교육과 훈련의 효과를 더 신중하게 평가할 수 있습니다. 특히 가장 낮거나 높은 결과가 나온 사람만 골라 전후를 비교했다면 평균 쪽으로 움직이는 현상을 예상하고 해석해야 합니다. 숫자가 달라졌다는 관찰과 무엇이 숫자를 바꾸었는지에 대한 설명 사이에는 추가 근거가 필요합니다.
참고 자료
평균 회귀의 개념과 극단적인 측정값을 기준으로 대상을 선택했을 때 생기는 연구 설계상의 문제는 Barnett, van der Pols, Dobson의 논문 Regression to the mean: what it is and how to deal with it에서 자세히 다룹니다.
단순한 전후 비교에서 자연 변동을 효과로 잘못 해석할 수 있다는 설명은 Bland와 Altman의 논문 Regression towards the mean도 참고할 수 있습니다.
