▲조사방법·표본 따라 ‘천차만별’

▲믿을 수 없는 문대통령 지지율 32.4, 37.9, 39% 논쟁…여론조사의 허구

▲연령대별, 성별, 소득별, 지역별 표본의 특성 제대로 반영 못해

▲여론조사기관은 집권 정부·여당에 유리한 ‘꼼수 설문’ 끼워 넣어 장난치기도

서옥식 전 연합뉴스 편집국장(政博)

여론조사 신뢰성 논란이 ‘조국 사태’를 계기로 다시 불거졌다. 조국 법무장관 임명에 대한 찬반 여론이 조사기관마다 첨예하게 엇갈렸을 뿐 아니라 동일기관의 조사에서도 들쭉날쭉 하기 때문이다.

△ 리얼미터가 전국 남녀 1천 502명을 대상으로 5월 13-15일 실시해 16일 발표한 주간 정례 여론조사 

리얼미터가 전국 남녀 1천 502명을 대상으로 지난 5월 13-15일 실시해 16일 발표한 주간 정례 여론조사 따르면 문재인 대통령의 지지도는 48.9%였다. 하지만 이는 표본 표집에서 큰 오류가 지적되고 있는 만큼 실제 지지도는 29%라는 것이 중립적인 여론조사 전문가들의 분석이다. 전체 응답자 1천 502명 중 지난 2017년 대선에서 문재인 후보를 찍었다고 답한 응답자가 전체의 53.3%인 800명이나 포함돼 공정하지 못하다는 것이다. 표본 표집을 제대로 하려면 문재인 후보를 찍은 자는 475명(득표율 41%를 감안한 구성비율 31.6%)으로 해야 한다는 것이 이들의 주장이다. 

또 이 조사에서 정당 지지도는 더불어민주당이 43.3%의 지지율로 자유한국당(30.2%)을 13.1%포인트 차이로 따돌린 것으로 나타났지만, 전체 응답자 1천 502명 중 문재인 후보를 찍었다고 답한 사람이 53.3%나 돼 이 역시 심각한 공정성 논란이 일고 있다는 것이다. 앞선 주(5월 6-8일) 같은 조사에서 민주당 36.4%, 한국당 34.8%로 불과 1.6%포인트 차이밖에 나지 않았지만 한 주만에 13.1% 포인트나 벌어진 것이다. 이해찬 더불어민주당 대표의 ‘한마디’에 1주일 사이 지지도가 춤을 췄다는 지적이 나왔다.

리얼미터는 지난 9월 4일 조 장관 임명 반대가 51.5%, 찬성이 46.1%로 격차가 오차 범위 내인 5.4%포인트로 좁혀졌다고 발표했다. 닷새 전인 8월 30일 발표에서는 반대(54.3%)와 찬성(42.3%)의 격차가 12%포인트로 벌어졌다. 두 조사는 법무장관 임명(9월 9일) 전인 9월 3일과 8월 29일에 각각 실시됐다. 리얼미터의 이같은 조사 결과는 시간이 흐를수록 조 장관 일가에 대한 비리 의혹이 본격적으로 드러나고 있던 시점(9월 3일) 조사에서 오히려 닷새 전 조사 보다 장관 지명 찬성 의견이 3.8%(46.1-42.3%)포인트 늘어나고 반대 의견은 2.8%(54.3-51.5%)포인트 줄어들었다는 것을 의미하는 것으로, 보통의 상식을 지닌 사람이라면 도저히 신뢰할 수 없는 황당한 조사내용이라고 지적할 수밖에 없을 것이다. 8월 30일 또 다른 여론조사 전문기관인 한국갤럽이 발표한 조사에서는 ‘조 장관이 법무장관으로 부적절하다’(57%)는 응답이 ‘적절하다’(27%)를 무려 30%포인트 앞섰다.

이같은 결과에 대해 리얼미터 측은 여론조사 하루 전인 9월 2일 진행된 조 장관의 기자간담회가 찬성 여론 확대에 긍정적 영향을 미쳤다는 분석을 내놓았다. 하지만 누가 봐도 합리적 의구심이 가는 수많은 혐의점들에 대해 “잘 모른다” “사실과 다르다” “개입하지 않았다” 등 무책임한 변명, 괴변, 거짓말로 일관된 간담회 답변이 국민들의 의구심과 분노를 더욱 증폭시킨 점을 고려한다면 시간이 경과할수록 장관 임명 찬성의견이 오히려 더욱 늘어났다는 것은 여론조사가 아니라 여론조작이란 지적을 면치 못할지 모른다. 설사 조국 장관의 답변이 진솔했다고 가정하더라도 간담회 다음날인 9월 3일 하루 조사한 결과로 여론이 급반전했다고 보기 어렵다는 지적이다. 전문가들에 따르면 통상 어떤 사건이 벌어진 뒤 여론이 형성되려면 최소한 사흘 이상 닷새 정도 걸린다는 것이다.

한국의 여론조사는 조사업체의 신뢰성과 공정성, 조사방법, 낮은 응답률, 정치권력으로부터의 유형무형의 압력, 특정 결론을 얻기 위한 ‘꼼수 설문’ 등 여러 문제점으로 인해 민심의 지표로 삼기에 한참 모자란다. 그렇다면 우리 여론조사의 이러한 문제점은 왜 발생하는 것인가?

첫째로, 대표성의 문제이다. 대표성이란 <조사대상 집단이 모집단(母集團, population)의 의견을 대표할 수 있는가>의 문제로 요약된다. 이는 표본표집(標本標集)틀(또는 표본추출틀, Sampling frame) 자체가 국민 또는 유권자 전체를 대표할 수 있는가의 문제이다. 이는 가장 보편적인 여론조사의 방법인 전화여론의 한계로 나타나는 문제이기도 하다. 가구 전화를 대상으로 하면 낮 시간에 실제 재택중인 노인이나 주부 응답자들만 주로 표집되기 때문에 일을 하러간 젊은이들이 여론조사에 응답할 확률이 적다. 따라서 연령대별, 성별, 소득별, 지역별 등 대표성의 문제가 발생하게 된다.

이런 대표성의 문제를 해소하는 방안으로는 RDD(Random Digit Dialing, 무작위 전화걸기)와 유·무선 병행조사가 있다. RDD는 전화번호부에 없는 번호를 컴퓨터가 자동 추출해 전화를 거는 방식이다. 하지만 무선(mobile, 이동전화)의 경우 조사 대상자의 거주지를 알 수 없다는 문제가 발생할 수 있다. 실제 우리나라 여론조사 전문기관들의 여론조사는 연령대별, 성별, 소득별, 지역별 표본의 특성을 제대로 반영하지 못하는 등 조사대상 전체의 대표성이 현격히 결여돼 조사결과의 객관성과 신뢰성, 타당성을 담보하지 못하는 심각한 문제가 있는 것으로 지적되고 있다.

자유한국당 김종석 의원이 여론조사 결과에 대한 국민적 의구심을 확인하기 위해 2017년 5월부터 2019년 9월까지 실시된 ‘리얼미터’ 조사 237개와 ‘갤럽’ 조사 108개의 결과를 대상으로 표본의 대표성을 분석한 결과 “두 여론조사 기관의 여론조사 결과는 집권 정부·여당에 유의미한 ‘편향성’을 갖고 있었으며, 따라서 표본이 모집단 전체를 대표할 수 없다는 결론에 도달했다”고 밝혔다. 김의원은 이런 분석을 지난 10월 10일 보도자료를 통해 공개하고 “특히 이슈가 되는 사안에 대해서는 답을 정하고 조사하는 경우가 많다”고 밝혔다.

여론조사 전문가들은 “국을 끓일 때 모든 국물을 다 마셔보지 않아도, 한 숟가락만 먹어 보면 국의 간을 알 수 있다”는 비유를 들어 설명한다. 여론조사의 표본 구성이 충분히 무작위로 잘 되었고, 조사 과정이 정상적으로 잘 이뤄지기만 했다면, 표본 1000명 정도는 조사 결과 도출에 충분하다는 것이다. 일례로 인구가 3억 2천만 명에 달하는 미국에서도 정치 여론조사를 할 때 1000명 내지는 1500명 조사를 대부분 시행한다.

추출된 표본이 모집단 전체를 대표하지 못한 심각한 사례로는 1936년 미 공화당의 알프레드 랜던(Alfred M. Landon)후보와 민주당의 프랭클린 루스벨트(Franklin D. Roosevelt) 후보가 맞붙은 대선 여론조사가 자주 인용된다. 당시 설문조사는 각각 대중 인기잡지인 <리터러리 다이제스트(Literary Digest)>와 여론조사기관 <갤럽(Gallup)>에 의해 실시됐다. <리터러리 다이제스트>는 전화 가입자와 자동차 소유자 1천만 명에게 우편으로 설문지를 보내 236만 명에게서 답변을 받았다. 그 분석 결과를 토대로 공화당의 랜던 후보가 57%대 43%로 루스벨트 후보를 누르고 당선될 것이라고 예측했다. 반면 갤럽은 1500명을 대상으로 면접조사를 실시한 결과 민주당의 루스벨트 후보가 56%대 44%의 지지율로 당선할 것이라고 발표했다.

결과는 갤럽의 승리였다. 루스벨트는 62%라는 압도적인 지지를 받으며 38%를 얻은 랜던을 물리치고 대통령에 당선됐다. 왜 <리터러리 다이제스트>는 236만 명이라는 엄청난 표본을 대상으로 조사를 했는데도 예측에 실패했을까? <리터러리 다이제스트>는 236만 명으로 표본 수는 많았지만 표본이 모집단의 특성과 비슷해야 하는 대표성을 갖추지 못했고, 갤럽은 1500명으로 표본 수는 적었지만, 상대적으로 표본의 대표성이 뛰어났던 셈이다. 당시 전화 가입자와 자동차 소유자란 중산층 이상의 부유층을 의미하는 것으로, 서민층이 거의 배제됐기 때문에 이러한 왜곡된 표본추출이 어떤 결과를 초래하는지를 보여준 대표적인 사례였다.

둘째로, 응답률의 문제다. 여론조사를 믿을 수 없다는 이유로 응답률이 너무 떨어진다는 점을 지적하는 사람이 적지 않다. 현재 문재인 대통령 지지도 조사에서는 통상 2-5%(가끔은 10% 안팎)의 응답률이 나오는 데 이것이 무슨 의미가 있느냐는 지적이다. 그래서 자유한국당은 지난해 응답률 10% 이상인 조사만을 공표할 수 있도록 하는 입법안을 검토 중이라고 발표했을 정도다. 하지만 이런 문제 제기는 절반은 맞고 절반은 틀린 소리다. 현실적으로 응답률 10% 이상인 여론조사 자체가 힘들기 때문에 응답률이 낮다고 신뢰할 수 없다고 단정할 수도 없는 노릇이다.

이를테면 오마이뉴스가 조국 전 장관의 사퇴 다음날인 지난 10월 15일 여론조사 전문기관 리얼미터에 의뢰해 전국 성인남녀 502명을 대상으로 사퇴에 대한 여론조사를 실시한 결과 62.6%가 ‘잘한 결정’이라고 긍정 평가했다. 반면 ‘잘못한 결정’이라는 부정 평가는 28.6%에 그쳐, 두 응답의 격차는 34%포인트로 두 배가 넘었다. 모름과 무응답은 둘을 합쳐 8.8%였다. 전국 만 19세 이상 남녀 9327명에게 전화를 걸어 응답한 502명(응답률 5.4%)을 대상으로 실시(표본오차는 95% 신뢰수준에서 ±4.4% 포인트)했는데도 비교적 정확한 의견을 반영한 결과라는 지적이다.

이번 조사는 무선 전화면접(10%), 무선(이동전화 70%)·유선(집전화 20%) 자동응답(ARS)혼용 및 RDD방식으로 진행했다. 설문 내용은 “어제 조국 법무부 장관이 사퇴했습니다. 선생님께서는 조 장관의 사퇴 결정에 대하여 어떻게 생각하십니까? 1번. 잘한 결정이다 2번. 잘못한 결정이다 3번. 잘 모르겠다(선택지 1-2번 무작위 배열)”였다.

△여론조사 결과가 조작임을 보여주는 조국 법무장관 임명 찬반 조사. 지난 8월 9일 법무장관에 임명된 후 기자간담회와 국회청문회에서 숱한 증거인멸성 거짓말과 함께 오히려 각종 비리 의혹이 산더미처럼 드러남에 따라 국민 여론이 나빠진 것이 사실인 데도 리얼미터 조사 결과는 오히려 시간이 흐를수록 임명 찬성 의견이 39.2(8.28) → 42.3(8.30) → 46.1(9.3)로 늘어나는 코메디 같은 결과를 보여주고 있다

셋째로, ‘무엇을 묻느냐?’ 에 따라 달리지는 결과의 문제이다. 교묘한 내용의 질문 방식이나 단어 선택 등으로 여론조사 단체와 의뢰인이 원하는 결과를 얼마든지 얻어낼 수 있다는 게 오늘날의 여론시장이라고 냉소적으로 말하는 전문가들이 적지 않다. 이를테면 “질문이 답을 정한다”는 게 여론조사 업계와 여론조사 시장의 불문율이다.

그런 사례는 한둘이 아니다. 예컨대 미국의 경우 총기류 판매와 관련, <미국인은 자기 집에 침투하는 사람들에 대해 스스로를 방어할 권리가 있다고 믿습니까? 아닙니까?>라고 묻는다면 총기 찬성론자들은 전자(前者)를 답변으로 택할 것이다. 반대론자들은 <총기사고(사건)로 매년 수백 명이 죽어나가는데, 총기류 판매를 계속 허용하겠습니까? 불허하겠습니까?>라고 질문을 던질 경우 후자(後者)를 택할 것이다.

이른바 초두효과(primacy effect)도 여론을 왜곡시키는 장난의 하나다. 대중은 원하는 단어를 앞에 배치하면 그것부터 덥석 문다. 일례로 <공기오염의 책임은 교통이 더 큽니까? 공장이 더 큽니까?>라고 물어보니 교통이 45%, 공장이 32%로 나온다. 그걸 앞뒤만 바꿔 물어본다. <공기오염의 책임은 공장이 더 큽니까? 교통이 더 큽니까?> 이번엔 공장 57%, 교통 24%였다.

조사내용에 이른바 ‘중립점(中立點, Neutral Point)’을 넣고 빼고에 따라 결과는 춤을 추기 일쑤다. <매우 잘한다> <잘하는 편이다>, <못하는 편이다>, <매우 못한다> 등 4개의 답을 제시하는 것과, 이 4개 사이에 <보통이다>를 넣는 건 결과가 판이하다. 희한하게도 대통령 지지도의 경우 4개의 답을 제시하면 5개 답 제시 때보다 지지도가 훨씬 높게 나온다. 우리나라의 대통령 지지도 조사는 통상 4개의 답을 제시한다. 대통령 지지도가 높게 나오는 이유다.

한국갤럽이 지난 10월 15-17일 전국 성인 1004명에게 문재인 대통령의 직무수행에 대해 조사(신뢰 수준 95%, 표본오차 ±3.1%포인트)한 결과, ‘잘하고 있다’는 응답이 전주보다 4%포인트 하락한 39%를 기록했다고 밝혔다. ‘잘못하고 있다’는 응답은 전주보다 2%포인트 상승한 53%로, 긍&#8226;부정률 격차는 14%포인트까지 벌어졌다. 갤럽 여론조사에서 문 대통령의 국정 수행에 대한 긍정 평가가 40% 아래로 떨어진 것은 이번이 처음이다.

하지만 한국리서치가 내일신문과 서강대 현대정치연구소의 의뢰로 지난 10월 8일 발표한 여론조사에 의하면 문 대통령의 지지율은 32.4%에 불과했다. 이 조사는 4개의 답 사이에 <잘 모르겠다>를 끼어 넣어 실시했다. 전국 성인 1200명을 대상으로 유·무선 혼합 RDD 면접방식(응답률 4.4%, 신뢰수준은 95% 표본오차 ±2.8%포인트)으로 진행된 이 조사는 서베이 시점이 오히려 한국 갤럽보다 15-19일 앞선 9월 26-10월 2일이었지만 ‘문재인 정부가 국정운영을 잘하고 있다’ 32.4%, ‘잘하지 못하고 있다’ 39.3%, ‘잘 모르겠다’ 18.3%의 응답을 보였다. 한편 중앙일보는 지난 9월 23-24일 전국 남녀 성인 1000명을 상대로 자체 여론조사를 실시한 결과, 문 대통령이 ‘국정 운영을 잘하고 있다’는 답변은 37.9%로 나타났으나 이를 은닉한 것으로 모 일간지에 의해 확인됐다.

질문 내용이 결과를 왜곡시킨 대표적인 사례로 지난 5월 9일 환경운동연합과 대한하천학회가 내놓은 <(정부의) 4대강 보 해체 방안 발표에 따른 국민 여론조사>란 것을 들 수 있다. 두 단체는 정부가 지난 2월 발표한 보(洑) 처리방안에 동의한다는 응답자가 81.1%를 넘었고, 그 이유로 수질개선에 대한 기대(41.0%), 보의 용도가 없기 때문(13.6%), 보의 경제성이 낮기 때문(10.7%), 기타(15.8%) 등이라고 밝혔다.

그러나 “4대강에 설치된 보가 홍수방지, 가뭄 대처, 고갈되고 있는 농업용수와 공업용수, 생활용수 등 수자원 확보 및 이용, 수자원을 통한 고도의 환경정화 등 생태계의 광범한 보전을 위해 4대강 보가 필요하다고 보는 데 어떻게 생각하느냐”고 물었다면 결과는 정반대로 나왔을 것이라는 게 다수 전문가들의 한결 같은 지적이다. 탈원전 여론조사도 마찬가지다. 원자력의 각종 이점은 제쳐두고 위험성만 부각시킨 조사란 지적이 나온다. 리얼미터는 지난 5월 전국교직원노동조합(전교조)의 위법 사실은 언급하지 않고 전교조 합법화 찬반 여론조사를 벌여 52.9%가 찬성한다는 결과를 내놓아 편향성 논란에 휩싸이기도 했다.

여론조사 결과가 널뛰기를 하면서 정당들도 아전인수격 해석을 내놓고 있다. 금년 추석 연휴가 끝난 뒤 ‘무당층’이 늘어났다는 여론 조사 결과에 대해 더불어민주당은 “야당이 국민을 도외시한 정쟁을 벌인 결과”로 해석했다. 반면 자유한국당은 “국민들이 ‘조국 사태’로 문재인 정권에 등을 돌리고 있기 때문”이라고 주장했다.

여론조사기관은 어느새 한국 정치를 좌지우지할 수 있는 괴물로 커지고 말았다. 정치권은 한편으로 여론조사 업체에 불만을 표시하지만 한편으로는 자신들에게 유리한 결과를 달라고 간청하고 있을지 모른다. 하지만 여론조사를 못 믿겠다는 국민(유권자)이 늘어나는 것은 민주주의의 위기다. 여론 조작이 드러난 조사기관에 대해서는 국민이 감시하여 그에 상응하는 엄중한 처벌과 함께 문을 닫게 만들어야 한다.