Date | 25/01/24 11:11:57 |
Name | 매뉴물있뉴 |
Subject | 한때는 샤이(shy), 지금은 과표집? |
데일리 오피니언 제601호(2025년 1월 4주) - 장래 정치 지도자 선호도, 대선 결과 기대, 대통령 탄핵, 정당별 신뢰 여부, 부동산 집값·임대료 전망, 집 소유 인식 (1월 통합 포함) https://www.gallup.co.kr/gallupdb/reportContent.asp?seqNo=1539 한국갤럽은 이번주 갤럽리포트에서 여론조사라는 툴의 한계와 그 의미에 대해 매우 상세한 칼럼을 함께 제시했습니다. ──────────── 한때는 샤이(shy), 지금은 과표집? ──────────── - 여론조사는 현재 유권자 이념 지형 가늠할 수 있는 유일의 방법 - 방법론상 한계 숙지하고 수치 아닌 추세로 민심 읽어야 ──────────── 전화조사 콜백, 응답률, 정치 관심도 ──────────── - 확률 원칙에 따라 추출된 조사 대상 반복 접촉해 접촉률·응답률 제고 노력 - 정치 고관심층에 집중된 자동응답(ARS) 방법론 지양해야 최근 여조상의 큰 변동으로 많은 분들이 혼란하셨을 것이고 또 그때문에 여조 그 잡채에 대한 관심도 매우 높아진것으로 생각됩니다. 이틈에 한국갤럽이 매우 우수한 칼럼을 써서 본인들의 갤럽리포트에 넣었습니다. 하지만 킹차넷 뉴게는 저작권상 두문단 이상의 인용을 지양하는 정책을 갖고 있습니다. 그러니까 네, 선생님들이 직접 들어가서 읽어보시란 얘깁니다. 한국갤럽 갤럽리포트는 광고도 없고요, 매우 쾌적합니다. 꼭 꼭 한번 읽어보십시오. 제가 대충 요약해서 제시해보려 했으나 포기했습니다. 한국갤럽의 칼럼 그 잡채가 이미 너무 휼륭한 요약입니다. 뭘 더 빼기도 그렇고 뭘 더 넣기도 어려울 정도로 매우 컴팩트하게 매우 잘 적혔으니 요즘 여조에 관심이 폭증한 이 시기에, 읽어보시면 좋으실것 같아서 굳이 뉴게 게시물을 하나 더 팠읍니다. 해당 칼럼의 맨 아랫쪽에는 한국갤럽이 그동안 제시해왔던 여론조사 관련 칼럼들이 링크되어 있습니다. 다들 일반인도 이해하기 쉬울만큼 어휘도 간결하면서 컴팩트하고 우수한 칼럼들이니 관심 많으신분들은 꼭 츄라이 츄라이 6
이 게시판에 등록된 매뉴물있뉴님의 최근 게시물
|
"최근 비상계엄·탄핵 국면에서 전화조사 응답률이 전반적으로 높아졌다(데일리 오피니언 기준 11월 평균 11.6%, 12월 14.4%, 1월 16.3%; 제22대 총선 앞둔 작년 1분기 평균 14.6%). CATI, ARS 공통된 현상이다. 혼란한 정국에 적극적으로 의견 표명하려는 이들의 조사 참여 의지가 강해진 것으로 보인다. 그러나 [평소보다 조사 진행이 잘된다 하여 콜백을 소홀히 하면 지역·성별·연령대가 주민등록인구분포와 일치하더라도 응답자 특성이 정치 고관심층에 더 편향될 가능성]이 크다. 이럴 때는 적은 수의 번호로 충실하게 콜백하여 사태 이전의 접촉률(전체 투입 유효 번호 대비 통화 연결, 데일리 오피니언 기준 40% 내외) 수준을 유지하도록 조사 과정을 관리해야 한다."
믿고 보는 갤럽
믿고 보는 갤럽
갤럽이야 전화면접을 채택한 기관이니까 ARS 지양하자는 얘기할 법 하고, 리얼미터쪽 얘기는 다를 겁니다. ㅎㅎ
저는 개인적으로 전체 여론 지형을 좀 더 가깝게 반영하는 것에는 전화면접이 더 적합하지만, 전화면접에서는 확실히 샤이한 상태에 놓여있는 의견이 과소반영될 여지도 상당하다고 생각합니다. 이를테면 같은 전화면접인 갤럽과 nbs의 대통령 국정수행 지지율을 보면 여권 대형 악재가 터졌을 때 갤럽이 nbs보다 낙폭이 크게 나오는데, 이는 갤럽은 대통령 국정지지율을 긍정/부정의 양자택일로 묻는데, nbs는 매우잘함/어느정도잘함/... 더 보기
저는 개인적으로 전체 여론 지형을 좀 더 가깝게 반영하는 것에는 전화면접이 더 적합하지만, 전화면접에서는 확실히 샤이한 상태에 놓여있는 의견이 과소반영될 여지도 상당하다고 생각합니다. 이를테면 같은 전화면접인 갤럽과 nbs의 대통령 국정수행 지지율을 보면 여권 대형 악재가 터졌을 때 갤럽이 nbs보다 낙폭이 크게 나오는데, 이는 갤럽은 대통령 국정지지율을 긍정/부정의 양자택일로 묻는데, nbs는 매우잘함/어느정도잘함/... 더 보기
갤럽이야 전화면접을 채택한 기관이니까 ARS 지양하자는 얘기할 법 하고, 리얼미터쪽 얘기는 다를 겁니다. ㅎㅎ
저는 개인적으로 전체 여론 지형을 좀 더 가깝게 반영하는 것에는 전화면접이 더 적합하지만, 전화면접에서는 확실히 샤이한 상태에 놓여있는 의견이 과소반영될 여지도 상당하다고 생각합니다. 이를테면 같은 전화면접인 갤럽과 nbs의 대통령 국정수행 지지율을 보면 여권 대형 악재가 터졌을 때 갤럽이 nbs보다 낙폭이 크게 나오는데, 이는 갤럽은 대통령 국정지지율을 긍정/부정의 양자택일로 묻는데, nbs는 매우잘함/어느정도잘함/별로못함/아주못함 의 4점 척도로 묻는 것 때문일 가능성이 큽니다. 정말 쉴드 치기 어려운 대세 국면이 형성되고 나면 여당 지지자들은 전화면접 조사에 응하는 걸 꺼리기도 하고, 수화기 너머 있는 '사람'에게 대통령이 잘한다/못한다 중에 차마 잘한다는 선택을 하기가 너무 어려워지거든요. 하지만 '어느정도 잘한다'는 이야기는 할 수 있는 사람도 상당할 거에요. 그래서 전화면접으로 양자택일을 하게 하면 샤이 의견이 과소평가되기가 더 쉽습니다. 그러다가 악재 국면이 서서히 다른 이슈로 희석되면 언제 그랬냐는 듯이 원래의 긍정 비율이 회복되는 거고요. 계엄 직후 민주당 지지율이 치솟았을 때는 여론조사 결과가 '정상'이었을까요? 저는 그렇지 않을 거라고 생각합니다. 그때는 민주당쪽 '샤우트'가 과다반영되고 국힘쪽 '샤이'가 과소반영되었을 가능성이 높아요.
ARS의 문제는 고관여층의 응답이 너무 많이 반영되어 저관여층의 응답이 과소평가될 가능성이 높다는 것 외에, 응답자가 자기 나이, 지역 등을 속이고 응답하는 것을 걸러내기가 더 어렵다는 문제가 있습니다. 더구나 ARS는 전화면접보다 비용을 줄이기 위해 더 많이 활용되기 때문에, 통신사 가입정보를 바탕으로 추출한 가상번호를 구입하지 않고 무작위로 전화번호를 추출해 조사를 돌리는 경우가 많아서 응답자의 인적 정보가 더 부정확할 가능성이 높습니다. 조사는 나이, 성별, 지역별 숫자에 인구비례로 할당을 나눠서 먼저 할당이 찬 집단은 조사를 마무리하게 되는데, 정치적으로 매우 활성화된 집단이 여론조사를 해킹하려 한다면 손쉽게 조사결과 왜곡이 가능하기도 합니다. 예를 들면 20대는 여론조사 참여율이 저조해서 샘플수 확보를 위해 마지막까지 기다려야 하는데 과활성된 70대 일부가 20대로 응답하는 전략을 사용하면 70대의 목소리가 과다반영되는 결과가 나오기가 쉬워요.
그래서 두 가지 방식 모두 한계가 있고 또 나름의 의미가 있습니다. 전화면접은 '샤이'에 취약하고, ARS는 '샤우트'에 취약하죠. 개인적으로 두 가지 수치를 아예 다른 지표로 보는 게 나을 것이라고 생각해요. ARS는 민감 여론지표, 전화면접은 후행 여론지표 뭐 이런 식으로 의미를 다르게 봐서 해석하는 게 낫지 않나 싶어요. 올초 ARS 조사에서 국힘 지지율 급상승했을 때 ARS 조사라 그렇다며 욕을 먹었지만, 전화면접인 NBS, 갤럽에서도 같은 결과가 나오자 전체 여론조사가 무의미하다며 같이 욕을 먹었죠. 이건 해석을 잘못했기 때문이지 방법론 자체가 문제가 있는 게 아닙니다. 여론조사의 결과는 여론의 향방을 가늠하는 일부의 지표일 뿐이지 진짜 여론의 절대적 수치를 나타내는 게 아니라는 걸 아는 게 중요합니다. 여론조사는 그림자의 그림자 같은 것이고 지금 같이 정국이 불안정하면 노이즈가 더 많이 끼기 마련입니다. 그렇지만 개인적으로는 노이즈 자체에서도 얻을 수 있는 정보는 있을 것이고 그걸 잘 해석하는 게 중요하다고 생각해요.
저는 개인적으로 전체 여론 지형을 좀 더 가깝게 반영하는 것에는 전화면접이 더 적합하지만, 전화면접에서는 확실히 샤이한 상태에 놓여있는 의견이 과소반영될 여지도 상당하다고 생각합니다. 이를테면 같은 전화면접인 갤럽과 nbs의 대통령 국정수행 지지율을 보면 여권 대형 악재가 터졌을 때 갤럽이 nbs보다 낙폭이 크게 나오는데, 이는 갤럽은 대통령 국정지지율을 긍정/부정의 양자택일로 묻는데, nbs는 매우잘함/어느정도잘함/별로못함/아주못함 의 4점 척도로 묻는 것 때문일 가능성이 큽니다. 정말 쉴드 치기 어려운 대세 국면이 형성되고 나면 여당 지지자들은 전화면접 조사에 응하는 걸 꺼리기도 하고, 수화기 너머 있는 '사람'에게 대통령이 잘한다/못한다 중에 차마 잘한다는 선택을 하기가 너무 어려워지거든요. 하지만 '어느정도 잘한다'는 이야기는 할 수 있는 사람도 상당할 거에요. 그래서 전화면접으로 양자택일을 하게 하면 샤이 의견이 과소평가되기가 더 쉽습니다. 그러다가 악재 국면이 서서히 다른 이슈로 희석되면 언제 그랬냐는 듯이 원래의 긍정 비율이 회복되는 거고요. 계엄 직후 민주당 지지율이 치솟았을 때는 여론조사 결과가 '정상'이었을까요? 저는 그렇지 않을 거라고 생각합니다. 그때는 민주당쪽 '샤우트'가 과다반영되고 국힘쪽 '샤이'가 과소반영되었을 가능성이 높아요.
ARS의 문제는 고관여층의 응답이 너무 많이 반영되어 저관여층의 응답이 과소평가될 가능성이 높다는 것 외에, 응답자가 자기 나이, 지역 등을 속이고 응답하는 것을 걸러내기가 더 어렵다는 문제가 있습니다. 더구나 ARS는 전화면접보다 비용을 줄이기 위해 더 많이 활용되기 때문에, 통신사 가입정보를 바탕으로 추출한 가상번호를 구입하지 않고 무작위로 전화번호를 추출해 조사를 돌리는 경우가 많아서 응답자의 인적 정보가 더 부정확할 가능성이 높습니다. 조사는 나이, 성별, 지역별 숫자에 인구비례로 할당을 나눠서 먼저 할당이 찬 집단은 조사를 마무리하게 되는데, 정치적으로 매우 활성화된 집단이 여론조사를 해킹하려 한다면 손쉽게 조사결과 왜곡이 가능하기도 합니다. 예를 들면 20대는 여론조사 참여율이 저조해서 샘플수 확보를 위해 마지막까지 기다려야 하는데 과활성된 70대 일부가 20대로 응답하는 전략을 사용하면 70대의 목소리가 과다반영되는 결과가 나오기가 쉬워요.
그래서 두 가지 방식 모두 한계가 있고 또 나름의 의미가 있습니다. 전화면접은 '샤이'에 취약하고, ARS는 '샤우트'에 취약하죠. 개인적으로 두 가지 수치를 아예 다른 지표로 보는 게 나을 것이라고 생각해요. ARS는 민감 여론지표, 전화면접은 후행 여론지표 뭐 이런 식으로 의미를 다르게 봐서 해석하는 게 낫지 않나 싶어요. 올초 ARS 조사에서 국힘 지지율 급상승했을 때 ARS 조사라 그렇다며 욕을 먹었지만, 전화면접인 NBS, 갤럽에서도 같은 결과가 나오자 전체 여론조사가 무의미하다며 같이 욕을 먹었죠. 이건 해석을 잘못했기 때문이지 방법론 자체가 문제가 있는 게 아닙니다. 여론조사의 결과는 여론의 향방을 가늠하는 일부의 지표일 뿐이지 진짜 여론의 절대적 수치를 나타내는 게 아니라는 걸 아는 게 중요합니다. 여론조사는 그림자의 그림자 같은 것이고 지금 같이 정국이 불안정하면 노이즈가 더 많이 끼기 마련입니다. 그렇지만 개인적으로는 노이즈 자체에서도 얻을 수 있는 정보는 있을 것이고 그걸 잘 해석하는 게 중요하다고 생각해요.
목록 |
|