11. 여론조사에서 표집오차란 무엇인가?
과학적으로 선정한 1,000명의 표본이라면 4천만이 넘는 한국인들의 의견을 거의 정확히 반영할 수 있다. 이것은 말하자면 1,000명을
대상으로 제대로 이루어진 조사라면 4천만명 모두를 대상으로 한 조사와 비슷한 결과를 얻는다는 것이다.
그러나 만일 1,000명을 대상으로 제대로 실시한 다른 조사가 처음 조사와 조금 다른 결과를 보여준다면 어떻게 되는가? 그 둘 중
어느 조사도 틀린 것은 아니다. 이처럼 있을 수 있는 차이의 범위를 표집에 의한 오차라고 하는데, 흔히 오차한계라고 부른다.
여기서 '오차'는 실수를 범한다는 의미의 오류가 아니다. 그보다는 표본을 사용하는 여론조사에서 그 결과는 근사치일 수 밖에 없는데
그 근사치의 가능한 범위를 나타낸다.
여론조사자는 표본에 입각한 조사 결과의 확실성 정도를 "신뢰도 수준"으로 표현한다. 이것은 말하자면 표본을 통해 얻은 결과가
전체 모집단을 대상으로 조사했을 경우 얻게 될 결과의 일정한 범위 내에 속할 확률을 의미하는데, 보통은 95%의 신뢰도를 사용해 그러한
판단을 내린다.
예를 들어, 전국적 규모의 어떤 여론조사에서 오차한계가 ±3%라는 말은 만일에 전국의 모든 성인을 대상으로 같은 시기에 같은 방법으로
동일한 질문을 조사했다면, 그 여론조사의 결과가 모집단 값의 ±3%내에 속할 가능성이 95%임을 의미한다.
이는 응답자들이 여론조사에 협조적이었는지, 질문을 잘 이해했는지, 또는 다른 방법론적 문제가 있는지 등과는 아무런 상관이 없다.
표집오차는 전체모집단 대신 표본을 사용하는데서 오는 오차로, 여론조사의 온갖 잠재적인 오류 가운데 하나일 뿐이다. 표집오차는 응답거부나
인터뷰가 여의치 않는 사람들에 대한 정보는 전혀 제공하지 않는다. 또 질문을 어떻게 하느냐에 따라서 그리고 인터뷰 도중에 조사원이 어떻게
하느냐에 따라서 응답이 달라질 수 있는데, 표집오차는 이런 것에 대해서는 아무 것도 말해 주지 않는다.
표집오차는 조사결과의 모든 수치에 각각 적용된다는 사실을 명심해야 한다. 위의 예를 들면, 수치 하나 하나에 대해 적어도 ±3%의
오차가 있다는 것이다. 그래서 대통령선거에 관한 여론조사에서 후보자가 2명이면 표집오차는 두 사람 모두에게 적용되는 것이다.
12. 누가 선두인가?
표집오차는 여론조사결과 보도에서 가장 성가신 문제 중의 하나를 제기한다. 즉, 경마식 보도에서 언제 한 후보가 다른 후보를
정말로 앞섰다고 할 수 있는가이다.
만일 두 후보간 격차가 오차한계보다 작다면 한 후보가 다른 후보를 앞섰다고 말해선 안 된다는 것이 확실하다. 대신에 '접전을 벌인다',
'대체로 비슷하다', '후보들간에 별로 큰 차이가 없다'고는 말할 수 있다. 그렇지만 그 두 후보의 지지율이 같지 않는 한, 결승점에 동시에
도착한다고 말 할 수는 없다.
한편 확실한 것은, 후보자가 두 명이고 부동층이 없을 경우 두 후보간의 격차가 오차한계의 두 배(위의 예를 들면 6%) 이상이면
한 후보가 다른 후보를 확실히 앞섰다고 자신있게 말할 수 있다.
두 후보간의 격차가 오차한계보다는 크지만 두 배 미만일 경우는, 한 후보가 '앞서고 있다'거나 '유리하다'고 말해야 할 것이다.
또한 다른 후보가 앞설 약간의 가능성도 있다고 언급해야 한다.
그러나 실제 현실에서 보듯이 후보자가 둘 이상이고 부동층이 있을 경우, 문제는 좀 더 복잡해진다. 해결책은 통계적으로는 복잡하지만
오차한계를 예측함으로써 상황을 상당히 쉽게 평가할 수 있다. 이는 각 후보의 지지율을 전체응답자 수로 (적절하다고 판단되면 투표의사가
있는 유권자들만의 수로) 곱함으로써 가능하다. 이를 통해 얻은 숫자가 판단을 하게 될 새로운 표본의 크기이다. 통계표에서 이 작은 표본에
해당하는 표집오차를 찾아서 해당 후보의 지지율에 적용하라. 이렇게 새로운 오차를 적용한 각 후보자의 지지율이 서로 겹치면, 어느 한 후보가
앞섰다고 말할 수 없다. 그러나 겹치지 않으면 한 후보가 앞섰다고 판단할 수 있다.
또한 주의해야 할 것은 여자, 농민, 청년 등 하위집단의 결과를 보고할 때에는 그 수치들에 대한 표집오차가 전체표본을 대상으로 한
오차보다 더 크다는 사실이다.
13. 조사 결과를 왜곡시키는 요인으로는 또 어떤 것이 있는가?
표집오차는 여론조사를 부정확하게 만드는 한가지 요인일 뿐이다. 그것이 반드시 여론조사의 오류를 가져오는 가장 큰 원인은
아니다. 표집오차를 사용하는 이유는 그것이 수량화할 수 있는 유일한 오차이기 때문이다. 또한 다른 조건이 동일하다면 여론조사
결과들 간의 차이가 통계적으로 의미있는지를 판단하는데 유용하다.
질문유형과 질문순서도 흔히 왜곡의 원인이 된다. 부적합한 조사원 훈련과 관리, 자료처리상의 오류, 그리고 다른 운영상 문제들
또한 오류를 야기한다. 일반적으로 이런 문제는 전문적인 여론조사보다 일반 지원자들에 의해 이루어지는 신뢰도가 낮은 조사에서
나타날 가능성이 많다.
한편, 여론조사결과에 가중치가 적용되었는지를 꼭 물어 보아야 한다. 표본의 선정 확률이 동등하지 않은 경우에, 또 표본의 인구통계적
특성을 전체모집단의 분포와 비슷하도록 하기 위해 약간의 조절이 필요한 경우에는 가중치가 적용된다. 그러나 가중치를 부당하게 적용함으로써
여론조사 결과를 원하는 방향으로 조작할 수도 있음을 알아야 한다. 어떤 경우에는 가중치 적용이 적절하지만 어떤 경우에는 그렇지 않다.
과학적 여론조사에 가중치를 부여하는 것은 불균등한 확률을 반영하기 위한 경우와 독립적 수치 즉 상수로 조절하기 위한 경우에만 적용해야 한다.
14. 어떤 질문을 사용했는가?
여론조사 질문의 정확한 어법과 표현방식을 알아야 한다. 왜냐하면 질문의 어법과 표현방식에 따라 결과가 크게 다를 수 있기 때문이다.
아마도 여론조사 질문을 검증하는 가장 적절한 방법은 그 질문에 대한 자신의 반응일 것이다. 그 질문이 공정하고 편견이 없는가? 질문에 대한
답이 빠짐없이 제시되어 있는가? 대부분의 사람들이 그 질문에 응답할 수 있는가? 등을 물어 본다.
질문내용이 아주 민감한 것이라면 질문 전체를 기사 속에 포함하는 것이 좋다. 그런 민감한 문제들은 다른 기관의 조사 결과와 비교해
보는 것도 가치가 있다. 이때 질문의 정확한 표현과 질문에 대한 결과를 모두 주의깊게 검토해야 한다.
15. 어떤 순서로 질문했는가?
때때로 질문순서가 결과에 영향을 미칠 수 있다. 그 영향은 종종 의도적인 경우도 있고 그렇지 않은 경우도 있다. 질문순서의 영향은
대개 포착하기 힘든 경우가 많다.
예를 들어, 경제적으로 어려운 시기에 대통령의 인기도를 묻기 전에 경제에 관해 어떻게 생각하는지 물었다면, 그 반대의 순서로 질문했을
경우보다 대통령의 인기도는 아마 낮게 나올 것이다. 반대로 경제적 호황기에는 그 반대의 결과가 나올 수 있다.
여기서 중요한 것은 핵심질문 앞에 제시된 질문들이 조사결과를 좌우할 수 있는가 하는 점이다. 만일 성범죄자의 공개 여부를 묻는 질문에
앞서 미성년자 매춘에 대한 질문을 한다면 이것은 다음 질문의 결과에 영향을 줄 수 있을 것이다.
16. 여론조사를 가장한 "푸시 폴"(Push Poll)은 어떻게 해야 하는가?
최근에 일부 정치집단이나 이익집단이 반대자에 대한 소문이나 심지어는 공공연한 거짓을 퍼뜨리기 위해 "푸시 폴"(Push Poll)이라는
기법을 사용하는 경우가 많아졌다. 이것은 여론조사가 아니라 여론조사를 가장한 정치적 조작이다.
'푸시 폴' 조사는 많은 사람들에게 전화를 걸어 어떤 목적을 지닌 조사에 참여할 것을 요구하는 것이다. 그 조사의 질문들이란 알고 보면
경쟁자에 대한 비난이거나 개인적 또는 직업적 행위에 관한 소문들이다. 여기서는 응답자의 의견을 구하는 것이 목적이 아니라 질문을 통해서
응답자들이 그러한 비난과 소문을 분명히 듣고 알도록 하는 것이 목적이다.
'푸시 폴' 조사는 비윤리적인 것으로서, 선거캠페인의 일환으로 행해지는 다른 합법적인 여론조사와는 구분해야 한다. 선거캠페인 조사에서
때로는 후보자들의 상반된 정치적 입장을 묻는 질문도 할 수 있고, 또 때로는 한 후보에 대해 부정적인 측면을 포함해서 다양한 질문들을 물을 수
있다. 이러한 질문들은 특정 후보의 입장이나 경력에 대해서 일반 공중의 반응을 알아내고자 하는 정당한 질문들이다.
합법적인 여론조사와 '푸시 폴' 조사는 일반적으로 다음과 같이 구별할 수 있다.
1) 전화의 횟수: '푸시 폴' 조사는 대부분의 여론조사에 비해 엄청나게 많은 전화를 한다.
2) 전화 송신자의 정체: 과학적 여론조사는 대개 여론조사 회사가 맡아 하지만,
'푸시 폴' 조사는 텔레마케팅 회사나 선거캠페인 당사자들이 실시한다.
3) 허위 정보를 퍼뜨리는 것이 목적인 '푸시 폴' 조사에서는 당연히 진실한 자료 수집이 있을 수 없다.
17. 동일한 주제에 관한 다른 조사들이 있었는가? 그 조사들도 같은 결과를 보여주는가? 다르다면, 왜 다른가?
신문사나 방송국, 여론조사 회사, 또는 심지어 상대 후보자에 의해 시행된 여론조사의 결과도 점검하고 자신이 얻은 조사결과와 대조해 보아야 한다.
만일 조사결과가 다르다면 우선 조사시기를 확인하라. 조사시기가 다르다면 그 상이한 결과는 여론의 변화를 나타내는 것일 수도 있다.
만일 조사시기가 같다면 각각의 조사기관에 그 차이에 관한 설명을 요구하라. 상반된 조사결과는 종종 좋은 기사를 만든다.
18. 묻고자 하는 질문은 모두 물었다. 대답 또한 매우 그럴 듯 해 보인다. 그렇다면 그 조사는 정확한 것이라고 생각할 수 있나?
대체로 그렇다. 그러나 확률이론에 따르면 스무 번의 조사결과 가운데 한번은 바로 표집오차 때문에 공중의 실제 의견과는 다른 결과를
얻을 수 있다는 점을 명심하라.
또한 조사가 아무리 잘 되고, 후보간의 차이가 크게 나고, 표본이 크다 할지라도 특정 후보의 승리가 확실해진 것은 아니라는 사실을
명심해야 한다. 정치란 살아 있는 생물로서 상황은 자주 그리고 극적으로 바뀐다. 선거에 출마한 후보자들이 끝까지 선거운동을 하는 이유도
여기에 있다.
19. 잠재적 문제가 있음에도 불구하고 조사결과를 보도해야 하는가?
그렇다. 왜냐하면 명성있는 조사기관이라면 대체로 일을 믿을 수 있게 하기 때문이다. 여러 가지 어려움에도 불구하고 제대로만 실시된다면
여론조사는 여전히 공중의 의견을 객관적으로 측정하는 최고의 방법이다.
20. 이 여론조사 결과는 보도할 만한 가치가 있는가?
조사가 올바르게 수행되었고 지금까지 여기서 설명한 정보를 귀하가 입수할 수 있다면, 다른 기사와 마찬가지로 귀하와 편집책임자의
뉴스 판단기준을 여론조사에도 적용해야 할 것이다.
|
