게시일 · · 최종 검토일 · · 6분
한국어 · English
1,000명으로 수천만 명을 말하는 법
"전국 성인 1,000명을 조사했습니다. 신뢰수준 95%에 오차범위 ±3.1%p입니다." 뉴스에서 자주 듣는 문장입니다. 인구가 수천만 명인데 1,000명으로 어떻게 전체를 말할 수 있을까요? 그리고 "A 42%, B 38%, 오차범위 안의 접전"이라는 표현은 정확히 무슨 뜻일까요? 이 글은 오차범위가 어디서 나오는지를 계산하고, 표본이 크다고 해서 해결되지 않는 문제까지 짚습니다. 이 글의 모든 사례는 설명을 위해 만든 가상의 조사이며 실제 여론조사가 아닙니다.
오차범위는 이렇게 나온다
모집단에서 어떤 답을 한 사람의 실제 비율이 p이고, 서로 독립적으로 무작위로 고른 n명에게 물었다고 합시다. 조사에서 나온 비율은 p 근처에서 흔들리고, 그 흔들림의 크기(표준오차)는 √(p(1−p)/n)입니다. 95% 신뢰수준이라는 것은 표준오차의 약 1.96배 안에 실제 값이 들어올 몫이 95%라는 뜻이므로, 오차범위는 1.96 × √(p(1−p)/n)입니다. p를 모르면 가장 큰 값을 주는 p = 50%를 쓰는데, 이때 n = 1,000이면 1.96 × √(0.25/1000) = 3.1%p가 됩니다. 뉴스의 "±3.1%p"가 그 계산입니다.
| 표본 크기 n | 오차범위 |
|---|---|
| 100 | ±9.8%p |
| 400 | ±4.9%p |
| 1,000 | ±3.1%p |
| 2,500 | ±2.0%p |
| 10,000 | ±1.0%p |
오차범위를 절반으로 줄이려면 표본을 네 배로 늘려야 합니다(제곱근 법칙). 1,000명에서 ±3.1%p이던 것이 ±1.5%p가 되려면 약 4,270명, ±1%p가 되려면 9,604명이 필요합니다. 목표 오차범위별 필요한 표본은 다음과 같습니다(비율 50%, 95% 신뢰수준).
| 목표 오차범위 | 필요한 표본 크기 |
|---|---|
| ±5%p | 385명 |
| ±3%p | 1,068명 |
| ±2%p | 2,401명 |
| ±1%p | 9,604명 |
왜 모집단이 커도 상관없나
오차범위 공식에는 모집단의 크기가 들어 있지 않습니다. 국수 한 냄비의 맛을 보려면 한 숟가락이면 충분하고, 냄비가 두 배 커져도 숟가락의 크기는 같습니다. 중요한 것은 국을 잘 저었는지(무작위인지)입니다. 모집단이 5천만이든 5억이든 1,000명의 표본은 같은 오차범위를 가집니다. 모집단이 작아져 표본이 그 몫을 꽤 차지할 때만 오차가 줄어듭니다. 가령 학생이 300명인 학교에서 100명을 무작위로 물으면 보정 계수 √((300−100)/(300−1)) = 0.82 때문에 ±9.8%p가 ±8.0%p로 줄어듭니다.
"오차범위 안의 접전"의 뜻
A 42%, B 38%, n = 1,000이라고 합시다. 각각의 오차범위는 ±3%p쯤이니 42±3과 38±3이 겹쳐서 "접전"이라고 말하곤 합니다. 정확하게는 두 비율의 차이(4%p)의 불확실성을 따져야 합니다. 같은 응답자에게서 나온 두 비율의 차이는 표준오차가 √((pₐ + p_b − (pₐ−p_b)²)/n)이므로, 이 예에서는 1.96 × √((0.42+0.38−0.0016)/1000) = 5.5%p입니다. 4%p의 차이는 오차 5.5%p 안에 있어서, A가 앞선다고 단정하기 어렵습니다. 반대로 B의 우세를 말할 수도 없습니다. 이 조사로는 앞서 있는지 뒤처져 있는지 알 수 없다는 것이 정확한 해석입니다.
하위 집단은 더 거칩니다. 1,000명 중 20대가 200명이면 20대만의 오차범위는 ±6.9%p로 커집니다. 연령, 지역, 성별로 쪼갠 숫자를 읽을 때는 그 칸의 표본이 몇 명인지부터 확인해야 합니다.
직접 조사해 보기
표본 크기와 실제 비율을 넣고 가상의 조사를 2,000번 반복하면, 조사 결과가 오차범위 안에 들어오는 비율이 약 95%로 나옵니다.
위 도구를 돌려 보면 결과가 오차범위 안에 드는 비율이 95% 근처로 나옵니다. 95%는 "100번 중 95번쯤은 조사 결과가 실제 값에서 ±오차범위 안에 있다"는 뜻입니다.
구간을 어떻게 읽나
가상의 조사에서 어떤 정책에 찬성하는 사람이 38%였다고 합시다(n = 1,000). 오차범위는 ±3.0%p(p = 38%에서는 3.01)이므로 구간은 35.0%~41.0%입니다. "실제 찬성률이 이 구간 안에 있을 확률이 95%"라고 말하고 싶지만, 엄밀한 의미는 조금 다릅니다. 같은 방식의 조사를 계속 되풀이하면 그렇게 만든 구간의 약 95%가 실제 값을 포함한다는 것입니다. 이 한 번의 구간이 실제 값을 포함하는지는 알 수 없고, 다만 구간을 만드는 방법이 95%의 성공률을 가졌다고 말할 수 있을 뿐입니다. 일상에서는 "실제 값은 대략 35%에서 41% 사이일 것"이라고 읽어도 크게 어긋나지 않지만, 구간의 가장자리와 가운데가 똑같이 그럴듯한 것은 아닙니다. 가운데에 가까울수록 더 가능성이 높습니다.
변화를 읽을 때
3주 뒤 같은 조사를 다시 했더니 찬성이 41%가 되었다고 합시다(n = 1,000, 서로 다른 사람들). "3%p 올랐다"고 말하고 싶지만 두 조사의 차이에도 오차가 있습니다. 두 독립 조사의 차이의 표준오차는 √(0.38×0.62/1000 + 0.41×0.59/1000)이므로 오차범위가 1.96 × 0.0219 = 4.3%p입니다. 3%p의 변화는 4.3%p 안에 있어서, 찬성이 올랐는지 그대로인지 구별할 수 없습니다. 각각의 조사가 ±3%p라고 해서 차이의 오차가 ±3%p인 것도 아니고, 차이의 오차는 그보다 큽니다(약 √2배). 조사 결과가 "올랐다/내렸다"로 보도될 때는 그 변화가 이 4.3%p 같은 값을 넘었는지를 확인해야 합니다.
무작위로 뽑는다는 것
오차범위 공식은 "모두가 같은 확률로 뽑힌다"는 단순 무작위 표본을 전제하지만 실제로는 다른 설계도 쓰입니다. 모집단을 연령·지역 같은 층으로 나누어 층마다 무작위로 뽑는 층화 추출은, 층 안의 사람들이 서로 비슷할수록 같은 표본 크기에서 오차를 줄입니다. 각 층의 비율을 모집단에 맞춰 놓고 그 안에서 조건에 맞는 사람을 채우는 할당 방식은 편리하지만, 채워 넣을 사람을 조사원이 고르면 무작위가 아니어서 오차범위 공식을 그대로 쓸 수 없습니다. 표본이 어떻게 뽑혔는지가 오차범위의 의미를 정합니다. 보도에서 "무작위 추출"이라고 했는지, "할당"이나 "온라인 패널"이라고 했는지가 뉴스를 읽는 열쇠입니다.
표본이 커도 해결되지 않는 문제
오차범위가 알려 주는 것은 무작위로 뽑는 데서 오는 우연한 오차뿐입니다. 아래의 문제는 표본이 아무리 커도 사라지지 않고, 오차범위에도 들어 있지 않습니다.
표본이 무작위가 아닌 경우. 복권 판매점 앞에서 손님 1,000명에게 "복권을 자주 사십니까?"를 물으면 오차범위 ±3.1%p라는 숫자를 계산할 수는 있지만, 대답한 사람이 전체 성인을 대표하지 않으므로 그 숫자는 의미가 없습니다. 오차범위는 모든 사람이 뽑힐 기회를 알려진 확률로 가졌다는 전제 위에서만 뜻이 있습니다.
응답하지 않은 사람. 전화를 받지 않거나 거절한 사람이 많을수록, 응답한 사람과 응답하지 않은 사람이 다르다면 결과가 치우칩니다. 이 글에서는 응답률별로 얼마나 치우치는지에 대한 수치를 주장하지 않습니다.
질문 방식. 같은 내용도 문항의 표현과 순서에 따라 답이 달라질 수 있습니다(큰 숫자를 읽는 법과 비슷하게, 같은 사실의 표현이 판단을 바꾸는 문제입니다).
가중치와 보정. 실제 조사는 표본의 구성을 인구 구성에 맞춰 가중치로 보정합니다. 가중치를 쓰면 유효 표본 크기가 줄어 오차범위가 단순 무작위 표본의 값보다 커집니다. 뉴스에 나오는 ±3.1%p가 이 효과를 포함하는지 아닌지는 조사 보고서를 봐야 알 수 있습니다.
숫자를 읽을 때 확인할 것
조사 결과를 만나면 이렇게 묻습니다. 표본은 어떻게 뽑았나(무작위인가, 임의로 모은 사람들인가)? 몇 명에게 물었고 몇 명이 답했나? 두 값을 비교한다면 차이 자체의 오차범위는 얼마인가? 하위 집단의 표본은 몇 명인가? 이 질문들은 숫자가 정확한지가 아니라 숫자가 무엇을 말할 자격이 있는지를 가리는 데 쓰입니다.
이 공식이 맞지 않게 되는 때
이 글의 공식은 단순 무작위 표본과 정규 근사를 가정한 것이며, 비율이 0이나 100에 가깝거나 표본이 아주 작을 때는 다른 구간 추정법이 필요합니다. 한국의 선거 여론조사에 적용되는 공식 기준이나 조사 기관의 방법은 이 글에서 다루지 않았고, 인용한 실제 조사 사례도 없습니다. 모든 계산은 스크립트로 확인했고 테스트로 고정되어 있습니다.
출처와 확인 상태
- LottoFlick: 큰 숫자 앞에서 판단이 흐려지는 이유(표현과 숫자의 크기) — LottoFlick 자체 계산
- LottoFlick: 검사 양성 결과의 진짜 의미(가상의 숫자를 쓴 조건부 확률) — LottoFlick 자체 계산