2021/07/03 17:09

KBS 세대인식 집중조사; 개인 감상 Views by Engineer

LINK; KBS 세대인식 집중조사④ 세대가 아니라 세상이 문제다

  논란의 KBS 설문조사.  특히 문제가 된 것은 다음 그래프였다.

  
  내가 이 그래프를 이상하다 생각한 이유는

  1) 사회과학 분야에서 경향이 이렇게 깔끔하게 나오는 경우가 거의 없다.
  2) 그러면 신뢰도는 어떠한가?  기사 밑에 보면 기본적인 신뢰구간 등의 수치가 나와 있긴 하다.  
     그런데 위 그래프에서 '점 하나'를 찍는 데 몇 명이 필요했을까?  점 수는 40인데 분석에 사용한 
     사람 수는 1200이다.  하나당 30명.  여기서 최상층 9,10 단계에 필요한 청년 남성 60명을 모
     을 수 있었을까?  그리고 그게 어느 정도나 대표성이 있었을까?
  3) 그래프에서 Y축 차이를 과장해 놓았다.  0~1이 아니라 0.4~1까지인 것.
     그래프에서 Y축 scale까지 확인해 볼 독자가 얼마나 되겠는가?

  나는 사회과학과 통계의 전문가하곤 거리가 멀다.  하지만 다른 분들도 비슷한 생각은 하셨나 보다.


  위 링크에 고대 경영학과 이한상 교수의 페북 얘기가 나온다.  나는 지금 여기보다는 페북에 시간을 더 많이 쓰는데, 재미있는 것은 이 조사에 참여했다고 위 기사에 언급된 서강대 하상응 교수와 서울대 임동균 교수 등이 직접 comment한 것을 볼 수 있었다는 점이다.
  거두절미하고, 여러 학자분들이 이 문제에 '참전'하여 대략 정리된 모양이다.  따라서 내가 새로 알았거나, 이 논란의 결과에 대해 이해한 것만 요약하겠다.

 0) point 하나당 20명 정도면 분석엔 충분하다는 것.  위의 조선일보 기사에도 나와 있다.
 1) 신뢰도 평가에 많이 쓰는 parameter에는 R2나 p-value가 있다.  
   - R2는 특정 모형(model)을 전제한다.  예를 들어, 선형회귀는 'linear line'을 전제하지 않는가.
     따라서 R2를 쓰려면 모형을 언급해야 하는데 KBS 기사에는 없다.  당연히 R2도 언급 없다.
   - p-value는 어떤가?  박준석 박사의 좋고 쉽게 설명한 article이 몇 년 전에 이미 나왔었다.  
     어차피 KBS 기사에 없지만 이 특정 환경에서 신뢰도 평가에 크게 도움이 될지는 의문임.
 2) R2나 p-value가 신뢰도 확보에 중요하지 않다면 대중을 위해 오해 없을 수단이 있었을까?  
    아마 이런 방식이 좀 나았을 거다.  파란 선이 위의 청년층 데이터고, 위아래 선은 내가 멋대로 
    만든 에러 범위다.  (물론 여기서 X좌표는 정수였을 테지만, 점도 내가 대충 찍은 것이니 봐주시길)

    중요한 것은 이것이 더 오해가 적을지는 몰라도 "대중이 싫어한다"는 것이다.  한 눈으로도 '지저분'하다.
    위 그래프의 모든 선을 이런 식으로 제시하면 내가 보기에도 어렵다.  방송사 주관 조사에서 이런 선호가 없었으리라고 보긴 힘들다.

     문제는 내가 접하거나 의견을 볼 수 있던 많은 전문가분들께서 (비단 이 건뿐이 아니라) 자신이 의도한 제대로 방송사가 발표하지 않는다고 말씀하신다는 것이다.  주의를 충분히 주고 전달해도 마찬가지라는 것.

  3) 이렇다면 원래 그래프는 실제가 아니라 모형에 맞춘 추세선이라 의심할 수 있다.  실제 그랬다.
     내가 처음 봤을 때는 이게 분명하지 않았다 기억하는데, 지금은 설명이 제대로 들어가 있음.

  4) 심리학에서는 전통적으로 '자기보고(self-report)' 검사를 많이 활용한다.  신뢰도가 떨어진다고 공격을 
     받는 수가 있는데, Judith Harris 선생은 "이것 없이는 연구를 해나갈 수가 없다"고 단언하신다.
     더 구체적으로 [지금은 활동을 안 해 아쉬운] 아이추판다 님께서 자기보고 검사에 대해 하는 말씀은

     "잘 설계된 설문지는 생리적 측정치보다 훨씬 일관성있고 안정된 측정치를 제공한다"

  5) 같은 통계를 쓰더라도, 학문 분야에 따라 구체적인 방식(tool)과 해석(e.g.의미 판단 기준 등)이 같으리라
     는 법은 없다.  이 포스팅에서 말했듯이 R2=0.09라면 내가 종사해 온 업계에서는 의미가 없다고 진즉에 기
     각했겠지만, 심리학 하부 분과인 발달심리학에선 '쾌재를 부른다'니까.  

      '업계인'끼리도 통계의 일상적인 개념과 범주가 달라서 논쟁이 붙는 것을 이번에 생생하게 체험했다.

  =====================

  대중에게 과학의 결과를 전달할 때 문제가 많을 수밖에 없다.  어차피 원래 학자들이 원하는 모습 그대로 전하기는 불가능한 이상, 어디까지 '변화'를 허용해야 하나?  나는 이것이 훌륭한 대중 해설가들이 일반적 생각보다 훨씬 중요한 이유라 생각한다.  가끔 교수 자신이 쓴 교양서들이 쉽게 이해하기 어려운 경우를 보았기 때문이다.[1]

  漁夫

  ps. 개인적으로는 정말 이 KBS의 보도가 진실을 많이 번영한다 해도, 이걸로 뭘 하냐가 훨씬 중요하다 생각한다.  즉 '이대남 ㅋㅋㅋ'보다 '이들이 이렇게 생각하게 만든 동기가 무엇이냐'고 질문해야 훨씬 바람직하다.

[1] 그러면 "네가 쉽게 이해하기 어렵다고 하는데, '쉽게 이해한 것'이 진실하고 거리가 멀 수 있다는 점은 아냐"는 질문을 할 수 있다.  하지만 '너무 많이 틀리지 않는다면' 일반인들에게 어느 정도 정확한 개념을 주는 편이 일반적으로는 득이 더 크다 생각한다.

덧글

  • 채널 2nd™ 2021/07/04 06:54 # 답글

    원래 설문지는 자기가 알고 싶어하는 문제를 설계하는 것이 아니라 자기가 원하는 대답을 찾아내기 위해서 설계하는 것이라는.... << 그래서 '히틀러'도 찬성율이라든가 지지율이 하늘을 찌르....

    다만,,,, 링크된 글을 보다가

    >> 물체에 초음파를 쏘는데 파장이 달라지면 결과가 달라지는 것을 두고 '믿을 수 없다'고 하지 않는다.

    흠...... 파장을 다르게 하는 것은 -- 적어도 내가 알기에는 -- 반사 특성이 달라지므로 필요에 따라서 파장을 다르게 하는 것일 뿐이고, 말하자면 파장을 다르게 한다고 '거리'가 달라지는 일은 있을 수 없는 일인데..... << 갑자기 신뢰도가 뚝~ 떨어지는..
  • 漁夫 2021/07/04 10:10 #

    제대로 된 설문지라면 정확한 정보를 얻기 위해 설계하죠....

    그 포스팅에서 레이저가 아니라 초음파라 언급했기 때문에, 거리 측정용이라 단정할 수가 없어서 딱히 틀렸다고 말하기는 어렵습니다.
댓글 입력 영역
* 비로그인 덧글의 IP 전체보기를 설정한 이글루입니다.


내부 포스팅 검색(by Google)

Loading

이 이글루를 링크한 사람 (화이트)

833

통계 위젯 (화이트)

159
341
1288797