여론조사 신뢰도, 과연 못 믿을 수준일까

[배종찬의 민심풍향계] ‘착한’ 여론조사의 3가지 조건…대표성·객관성·과학성 확보해야

2019-10-28 배종찬 인사이트케이 연구소장

정치권을 향한 민심을 파악하는 데 여론조사는 매우 중요한 도구로 사용된다. 필자의 칼럼 역시 매번 여론조사 데이터를 바탕으로 민심의 풍향을 전하고 있다. 조사 결과에 정치권에서도 민감할 수밖에 없다. 그렇다면 과연 여론조사의 신뢰도는 얼마나 될까. 대통령의 국정수행이나 정당의 인기 순위를 알아보기 위해 하루가 멀다 하고 여론조사가 실시되고 있다. 대통령으로서 일을 잘하고 있는지 또는 잘못하고 있는지에 대한 결과가 대통령 지지율로 발표된다. 대통령 국정수행에 대한 조사뿐만이 아니다. 각 정당에 대해 얼마나 지지하고 있는지 또는 어떤 정당이 조금이라도 더 낫다고 생각하는지 묻는 조사도 실시되고 있다. 정기적으로 실시하는 대통령과 정당 지지율 조사뿐만 아니라 각종 중요한 정치 현안에 대한 여론조사가 빈번하게 진행되고 있다. 이러한 조사 결과는 대통령과 정치권 전반에 큰 영향을 미친다. 심지어 미국의 경우, 퇴임할 때 대통령 지지율이 얼마나 되느냐에 따라 성공적인 대통령 또는 성공적이지 못한 대통령의 평가 기준으로 삼기까지 한다. 그런데 최근 들어 이 여론조사의 결과를 못 믿겠다는 세간의 반응이 늘어나고 있다. 현재 실시되고 있는 여론조사의 방법이나 질문의 내용이 과거와 달라졌기 때문일까. 그렇지 않다. 기술의 진보와 시대 변화에 따라 여론조사 기법이 조금씩 달라지기는 했지만, 근본적인 변화가 있었던 것은 아니다. 그렇지만 비슷한 시기에 실시된 조사인데도 서로 다른 결과가 나오면서 여론조사에 대한 신뢰도는 위태로운 지경이다. 신뢰도의 문제를 넘어 특정 정권에 유리하거나 또는 불리한 여론조사를 실시한다는 오해까지 뒤집어쓰고 있는 실정이다. 과연 최근 우리 국민들에게 공개된 여론조사 결과들에 어떤 정치적 의도나 여론조사 기관의 이념적 편향이 개입되어 있었던 것일까. 아니라면 조사방법이나 질문과 보기 구성이 다른 데서 나타나는 불가피한 차이였을까. 신뢰 위기에 봉착해 있는 여론조사에 대한 의심을 풀기 위해서는 정확한 조사를 위한 방법인 ‘착한’ 여론조사의 조건이 무엇인지를 확인하면 된다.

문재인 대통령이 10월22일 내년도 예산안에 대한 시정연설을 위해 국회를 방문하고 있다. ⓒ 국회사진취재단

전화면접과 전화자동응답 조사방식의 차이

먼저 ‘착한’ 여론조사를 위한 첫 번째 조건은 대표성이다. 대통령의 국정수행에 대한 평가는 국민 전체의 의견을 물어야 하는 조사 성격을 가지고 있다. 대통령 지지층만을 대상으로 해서도 안 되며 대통령의 반대층 의견만 물어서도 안 된다. 국민 전체의 의견이 골고루 대표성 있게 반영되도록 해야 한다. 만 19세 이상 유권자를 대상으로 한 조사를 실시하는데 인구비례에 맞도록 표본이 추출되어야 한다. 특정 지역, 특정 세대, 특정 성별에 치우치지 않도록 표본이 선정되어야 한다. 그래서 마치 잘 섞인 국물처럼 무작위로 표본이 섞일 수 있도록 구성한다. 정기적인 대통령 국정수행 평가 조사를 실시하고 있는 한국갤럽과 리얼미터 모두 성·연령·지역 인구비례에 맞게 무작위로 표본을 추출한다. 그럼에도 비슷한 시기에 실시된 두 조사기관의 대통령 국정수행에 대한 긍정 평가 결과는 다르게 나타났다. 한국갤럽이 지난 10월15~17일 실시한 조사(자세한 개요는 그래프에 표시)에서 ‘문재인 대통령이 대통령으로서의 직무를 잘 수행하고 있는지 또는 잘못 수행하고 있는지’ 물어보았다. 긍정 평가는 39%, 부정 평가는 53%였다. 비슷한 시기에 실시된 리얼미터 조사(자세한 개요는 그래프에 표시)에서 ‘문재인 대통령의 국정수행에 대해 어떻게 생각하는지’ 물어본 결과 긍정 평가는 45%로 나타났다. 부정 평가는 52.3%였다. 두 조사의 부정 평가는 거의 비슷했고 정치 성향이 중도층인 응답자들의 평가 결과 역시 두 조사에서 크게 다르지 않았다. 그러므로 두 조사 모두 ‘착한’ 여론조사가 되기 위한 ‘대표성’ 확보는 크게 문제가 되지 않는 것으로 분석된다. 두 조사의 긍정 평가 차이는 ‘대표성’ 문제보다는 조사방법(전화면접과 전화자동응답)의 차이 또는 보기 구성의 차이로 이해된다. 실제로 리얼미터와 유사한 조사 설계로 실시된 알앤써치의 10월21~22일 조사(자세한 개요는 그래프에 표시)의 결과는 거의 같은 수준으로 나타났다. 다만 대통령 국정수행 지지율 40%가 갖는 상징성 탓에 한국갤럽의 결과(39%)에 대해 언론이 지나치게 ‘40% 선이 무너졌다’는 점을 강조한 측면이 있었고, 이런 요인이 두 기관의 결과 차이를 더욱 두드러져 보이게 한 점도 간과할 수 없다.

평가 척도의 차이가 결과 값 다르게 하기도

‘착한’ 여론조사가 되기 위한 두 번째 조건은 ‘객관성’이다. 조사의 객관성이란 응답에 영향을 줄 수 있는 질문이나 보기가 최대한 중립적이어야 한다는 의미다. 대통령 국정수행에 대한 평가를 묻는 질문은 대동소이하다. 그렇다면 평가 수준을 답하는 보기에는 어떤 차이가 있을까. 대통령의 국정수행에 대해 잘하고 있는지 또는 잘못하고 있는지 긍정과 부정으로만 딱 잘라서 물어보는 방식이 있다. 한국갤럽은 대체로 이 방식에 가까워 보인다. 이와는 달리 대통령의 국정수행에 대해 매우 잘하고 있는지, 대체로 잘하는 편인지를 묻는 방식이 있다. 물론 부정 평가는 매우 잘못하고 있는지 또는 대체로 잘못하는 편인지를 묻게 되는 것이다. 이런 평가 척도의 차이가 결과 값을 다르게 만드는 원인이 된다. 한국리서치가 9월26일~10월2일 실시한 조사(자세한 개요는 그래프에 표시)는 완전히 똑같지는 않지만 대체적으로 한국갤럽 쪽에 가깝다. 두 조사의 결과가 완벽하게 같지는 않지만 비슷한 수준이다. ‘객관성’은 결국 어느 쪽이 가장 중립적으로 대통령의 평가를 질문하고 응답하는 방법인지를 찾아내는 것이다. 어느 쪽이 정답이라고 단정하기는 어렵다. 하지만 대통령 국정수행에 대한 조사뿐만 아니라 많은 정치 및 사회 현안 조사에서 ‘객관성’ 있는 질문은 ‘착한’ 여론조사의 기본이다. 마지막으로 ‘착한’ 여론조사가 가져야 하는 조건은 ‘과학성’이다. 여론조사는 과학적인 조사방법과 과학적인 통계 처리를 통해 얻어지는 최종 값이다. 조사방법론에 맞는 질문 구성과 대표성 있는 표본 추출, 면접원의 특성이 최소화되는 조사 진행(면접원에 의한 전화조사), 조사방법에 따른 오차가 최소화되는 진행(질문 녹음을 통한 자동응답조사)이 되어야 한다. 마무리된 조사 결과는 목표한 인구비례할당에 맞는지 확인되어야 하고 필요시 가중 처리 후 최종적인 결과가 구해져야 한다. 이 모든 과정에서 조사에 영향을 주는 행위는 전혀 없어야 하거나 최소화되어야 한다. 과학적인 방법에 따른 검증된 결과라야 조사에 대한 신뢰도가 조금이라도 더 높아지게 된다. 쉽지는 않지만 대표성, 객관성, 과학성을 최대한 확보해야 국민들에게 조금이라도 더 믿음을 주는 ‘착한’ 여론조사가 되는 것이다.