국회뉴스온

[서평]증거의 오류: 데이터, 증거, 이론의 구조를 파헤친 사회학 거장의 탐구 보고서

기사 작성일 2020-05-27 09:28:00
최종 수정일 2020-05-27 09:28:00

[국회도서관 금주의 서평]이론은 데이터가 아닌 증거가 뒷받침 한다

"데이터의 유용성이 그 데이터의 생산을 위한 사회적 합의에 좌우되고 결정된다는 사실을 고려해야 한다. 데이터의 정확성에 악영향을 끼칠 수 있는 요소에 주의를 기울인다는 전제 하에 데이터를 그대로 쓸 수 있긴 하지만, 이때 사회학자는 반드시 데이터가 어떠한 이론이나 아이디어의 증거로서 타당한지를 거듭 생각해야 한다."(228∼229페이지)

사회 곳곳에서 놀라운 속도로 축적되고 있는 디지털 데이터는 현 시대 사회과학자들을 '증거 기반(evidence-based) 연구'로, 정책관계자들을 '증거 기반 정책'으로 눈 돌리게 했다. 이러한 흐름에는 데이터가 넘쳐나면 증거도 넘쳐날 것이라는 순진한 전망이 깔려있는데, 이 책은 이러한 전망이 어떻게 비과학적 오류로 흘러갈 수 있는지 잘 보여준다. 좀 더 솔직히 고백하자면, 나는 이 책을 읽고서야 내가 그러한 순진한 전망을 하고 있었다는 것을 의식하게 되었다. 비록 저자는 디지털 데이터나 증거 기반 연구의 흐름에 대해서는 언급조차 없지만, 이 책의 핵심 메시지는 데이터가 넘쳐나는 현 시대에 매우 중요하다. 그 메시지는 바로, 증거는 데이터와 이론을 연결해주는 핵심적 고리이며 이론은 데이터가 아닌 증거로 뒷받침된다는 사실이다.

사회학의 역사에서 사회조사 데이터는 이런저런 잘못된 방식으로 증거로 활용되어 왔다. 그러한 방식은 참으로 다양한 사회적 원인들에 의해 유발되기에, 저자는 데이터와 증거 간의 간극 자체가 사회학적 연구대상이어야 한다고 주장한다. 책의 4장부터 8장까지 보여주는 다양한 오류의 일부는 이미 사회연구자들에게는 잘 알려져 있다. 사회조사를 통해 민족이나 인종을 분류하는 방식이 그런 예인데, 이 책은 그러한 오류를 재지적하는 것을 넘어서, 동료 학자들의 다양한 연구를 소개하면서 오류가 발생하는 사회적 메커니즘을 생생하게 보여준다. 지금은 미국의 '라티노(Latino)'라는 인구집단이 사회적으로 자연스럽게 통용되고 있지만, 이 범주는 실은 배경이 전혀 다른 멕시코, 푸에르토리코, 쿠바 이민 집단이 1970년대 이후 정치적 목적에 의해 창출한 '범민족적인 정체성'(4장)이었다.

사회조사 데이터의 증거로서의 유동성은 정치사회학적 요인에 의해서만 유발되지 않는다. 면접조사원의 이해관계가 조사해야 하는 질문의 특성과 충돌할 때에도 발생한다. 미국의 종합사회조사가 1985년과 2004년 조사에서 반복 질문한 문항들을 비교한 결과 미국인의 사회적 관계는 크게 감소했고, 이는 당시 미국인의 사회적 자본이 감소하고 있는지에 대한 논쟁과 맞물려 큰 주목을 끌었다. 그러나 면밀한 후속 검토에 따르면 2004년 조사에서 발견된 감소한 사회적 관계는 유독 일부 조사원의 면접지에서 나왔다. 그 조사원들은 응답자의 지인 관계를 열심히 알아내기 위한 복잡한 보충질문들을 제대로 하지 않은 것으로 의심(6장)된다.

사회조사보다 빅데이터의 활용에 관심이 있는 연구자라면 7장을 주목할 만하다. 사실 빅데이터를 활용해 사회를 연구하는데 필요한 기술과 전략은 통계적 분석기법보다는 정성적 연구방법과 공통점이 많다. 빅데이터는 관찰대상의 의식을 물어 측정하기보다는 대상이 남긴 흔적을 기록한다는 점에서 현장 연구를 닮았다. 현장연구가 관찰한 바를 코딩하고 표로 정리하는 과정(7장)은 데이터 사이언스에서 텍스트를 분석하고 정리하는 방식의 모범을 보여준다. 데이터와 증거 간 간극을 줄이려는 현장연구자의 집념을 체득한 데이터 과학자라면 믿을 수 없을 만큼 훌륭한 사회 연구자가 될 것이다.

이 정도까지 책을 읽은 독자라면, 저자가 현장연구자이기 때문에 정량적인 연구만 편파적으로 비판하고 있다고 생각할 수 있다. 아마도 사실이다. 그러나 저자는 이러한 자신의 관점을 잘 인식하고 있으며(1장·2장), 본인 연구의 결함을 예로 들며 정성적인 현장연구에서 발생할 수 있는 오류도 지적(8장)하고 있다. 저자는 1930년대 미국의 마약과의 전쟁이 주요 의사결정자의 문화적 편향에서 비롯된 것이라 믿고 몇 십 년 후까지 연구를 진행했으며 다른 연구자들도 그렇게 믿었다. 그러나 최근 연구는 이 시절 마약과의 전쟁이 마약류 의약품이 유통되는 합법적 시장에서 이익을 추구하기 위한 노력과 밀접함을 밝혔고, 저자는 이 연구를 접하고서야 본인의 문화적 설명이 틀렸음을 알았다고 고백한다.

이 책은 의도적으로 화려한 문체를 구사하지는 않지만 책의 곳곳에 저자의 유머가 녹아있다. 1928년생인 저자가 미국 사회학계의 역사와 갈등을 엿보는 장면(2장)이나, 연주자로서의 자신이 어느새 '꼰대의 반열'에 오른 과정(8장)을 서술하는 과정은 위트가 넘치며, 과학적 오류를 분석하는 과정 못지않게 성찰적이다. 한 가지 아쉬운 점은 번역본에 참고문헌 목록과 색인이 누락되어 있다는 점이다. 다음 인쇄본에서는 이 점이 보강되어 한국 독자와 미래 사회과학 연구자들에게 이 책의 가치를 온전히 전달하기를 기대한다.

저자: 하워드 S. 베커(사회학자, 前 워싱턴대학교 사회학과 교수 겸 음악학 부교수)
역자: 서정아
출판사: 책세상
출판일: 2020. 2.
쪽수: 427
서평자: 강정한(연세대학교 사회학과 교수, 미국 시카고대학 대학원 사회학 박사)

◆함께 읽으면 좋은 책

매튜 살가닉 지음 / 강정한, 김이현, 송준모, 윤다솜 옮김 / 동아시아, 2020 /535p

'바르고 공정한 국회소식' 국회뉴스ON

이 저작물은 크리에이티브 커먼스 코리아 표시
라이센스에 의해 이용하실 수 있습니다.
저작자 표시 : 적절한 출처와 해당 라이센스 링크를 표시하고 변경이 있을 경우 공지해야 합니다.
비영리 : 이 저작물은 영리 목적으로 이용할 수 없습니다.
변경금지 : 이 저작물을 리믹스, 변형하거나 2차 저작물을 작성하였을 경우 공유할 수 없습니다.

국회 관련 홈페이지	처리 목적
국회사무처 홈페이지	총장과의 대화, 자유게시판에서의 민원사항 확인 및 통계분석 등
위원회 홈페이지	자유게시판에서의 민원사항 확인 및 통계분석 등
대한민국 어린이국회 홈페이지	연구회원 및 지도교사 관리
국회 방문자센터 홈페이지	참관신청처리 및 관리
국회방송 홈페이지	시청자소감, 의견및제안, 문의에서의 민원사항 확인 및 통계분석 등
국회의정연수원 홈페이지	교육, 연수 신청 처리 및 관리
맞춤입법콘텐츠검색시스템	서비스 이용자 관리
국회뉴스ON	이벤트 신청, 댓글작성 등
국회 문화행사 홈페이지	문화행사 예약 신청처리 및 관리
국회 입법예고시스템	의견 제출
국민동의청원	청원업무처리, 서비스 제공 등
열린국회정보	정보공개청구 업무처리, 서비스 제공 등

수집근거		정보주체의 동의
보유기간		회원 탈퇴 시까지
수집항목	필수항목	이름, 생년월일, 이메일, 본인인증기관으로부터의 인증결과값
수집항목	선택항목	전화번호, 휴대폰 번호, 주소, 학교

수집근거		「민원사무처리에 관한 법률」
보유기간		10년
수집항목	필수항목	이름, 주소, 본인인증기관으로부터의 인증결과값
수집항목	선택항목	이메일, 전화번호, 휴대폰 번호

대한민국국회

국회사무처

국회정보나침반

발행물 및 보고서

[서평]증거의 오류: 데이터, 증거, 이론의 구조를 파헤친 사회학 거장의 탐구 보고서

재미있고 유익한 국회소식

개인정보 처리방침

제1조(개인정보의 처리 목적)

제2조(개인정보의 처리 및 보유 기간, 처리하는 개인정보 항목)

제3조(개인정보의 제3자 제공)

제4조(개인정보의 처리 위탁)

제5조(정보주체의 권리·의무 및 행사방법)

제6조(개인정보 파기 절차 및 방법)

제7조(개인정보의 안전성 확보조치)

제8조(권익침해 구제방법)

제9조(홈페이지 개인정보 보호책임자)

제10조(개인정보 자동 수집 장치의 설치·운영 및 그 거부에 관한 사항)

제11조(개인정보 처리방침 변경)

홈페이지 이용약관

제1장 총칙

제2장 서비스 제공 및 이용

제3장 손해배상 등

<부 칙>

저작권정책