참가 순서에 따라 점수가 달라지는 이유

김윤지 한국수출입은행 해외경제연구소 연구위원

▲ 2019년 11월 서울 종로경찰서에서 시청자 투표 조작 혐의를 받는 엠넷의 아이돌 오디션 프로그램 <프로듀스엑스(X) 101> 프로듀서들이 검찰에 송치되고 있다. 연합뉴스

투표 조작으로 떠들썩했던 아이돌 오디션 프로그램 ‘프로듀스’ 시리즈 사건의 항소심이 진행되고 있다. 1심에서는 투표 조작 혐의가 유죄로 인정돼 담당 PD, 제작진에게 징역 1년8개월과 벌금 1천만원이 선고됐다. 제작진에게 접대한 연예기획사 임직원에겐 벌금 500만~700만원이 선고됐다. 검찰과 피고인들이 각각 항소한 상태다.
몇 년 전부터 시청자 투표에 기반한 공개 오디션, 경연 프로그램이 우후죽순으로 늘어났다. 시청자가 직접 우승자나 그룹 멤버를 결정할 수 있는 점 때문에 시청률과 팬덤을 모두 이끌어낼 수 있어서다.

초두효과 vs 최신효과
무엇보다 오디션 프로그램은 ‘투표’라는 시스템을 통해 ‘공정한 경쟁’이라는 판타지를 심어줘 높은 인기를 누렸다. 과거 세대보다 공정성에 대한 감수성이 높아진 청소년에게 공정한 경쟁과 선발이 의미하는 바는 사뭇 달랐기 때문이다.
따라서 제작진이 투표 결과를 조작하고 선발 멤버를 미리 정해뒀다는 것이 밝혀지자 이들은 큰 충격을 받았다. 마치 시대정신을 부정당한 것과 다름없었기 때문이다.
만약 제작진이 원래 표방한 대로 국민 프로듀서들의 문자 투표로만 멤버를 선발했다면 공정성이 완벽히 보장됐을까? 안타깝게도 많은 경제학, 심리학 연구에 의하면 이 방법 역시 완벽하지 못하다. 심판이나 대중의 판정으로 순위를 매기는 많은 스포츠 게임, 경연 제도는 인간이 가진 여러 편향과 오류로 어느 정도 한계를 갖기 때문이다.
가장 많이 거론되는 오류는 순서로 평가가 달라지는 ‘서열위치효과’다. 일정 순서로 사건이 배치될 때 처음과 마지막 항목을 잘 기억하고 중간은 그렇지 못한 편향이다. 보통 ‘최신효과’와 ‘초두효과’로 많이 이야기한다. 가장 잘 떠올리는 것이 마지막일 때 최신효과, 맨 처음이면 초두효과다. 둘 다 사람들이 많은 기억량을 처리하면서 나타내는 편향이다.
투표로 순위를 가르는 경연 프로그램에선 최종 후보자까지 겨룬 뒤 득표 집계에 들어가곤 한다. 이때 마지막 혹은 뒷번호의 경연자로 갈수록 좋은 점수를 받는 경향이 크다. 시청률을 끝까지 유지하고 쇼의 완성도를 높이기 위해 PD가 강력한 우승 후보를 뒷순서에 배치하는 탓도 있다. 가왕 조용필은 언제나 쇼의 마지막에 등장하는 것과 같은 이치다.
제작자의 인위적 배치 없이 무작위 순서로 진행돼도 뒷번호에서 우승자가 많이 나올까? 많은 연구가 그런 경향이 실제 있다는 점을 입증한다. 영국 웨스트민스터대학 비즈니스스쿨의 페이지 교수 연구진은 TV 실시간 경연 프로그램을 분석해 뒷번호로 갈수록 높은 전화 득표와 심사 점수를 받는 경향을 밝혀냈다. 미국 <아메리칸 아이돌>과 이 포맷을 따른 영국, 오스트레일리아, 네덜란드, 브라질 등 8개국 경연 프로그램의 2003~2007년 데이터를 분석한 결과였다.
특히 이 연구진은 순서에 따른 평가 결과 차이를 두 차원에서 검증하려 했다. 하나는 평가자의 기억 편향 영향으로 순서에 따라 평가 점수가 달라지는지다. 이것은 평가자의 기억 오류에 기인하는데, 앞서 언급한 서열위치효과 등으로 나타난다.
또 하나는 앞 경연자 공연의 영향으로 다음 경연자의 평가 기준 자체가 달라지는지다. 보통 평가자는 경연자들로부터 새로운 것을 찾고 싶어 한다. 이에 따라 비슷한 수준의 공연이더라도 앞사람이 어땠는지에 따라 평가가 달라지기도 한다. 특이한 게 돋보여 더 높은 평가를 받기도 하고, 차이가 있었는데도 비슷해 보여 점수가 별로 다르지 않은 경향도 있다.
페이지 교수 연구진은 맨 앞번호와 뒷번호 경연자가 높은 점수를 받는 경향이 크다는 점을 확인했다. 특히 제작자의 인위적 배치에 따른 효과를 제거한 다음 통계 검증을 해도 그렇다는 결과를 얻었다. 효과 강도는 조금 달랐다. 맨 처음보다는 뒷번호로 갈수록 고득점 효과가 강했다. 경연 순서대로 점수 분포를 그래프로 그리면 J자 형태와 유사했다. 순서로 가장 손해를 보는 건 2, 3번쯤이라는 이야기다.

평가 인플레이션
앞 경연자 평가에선 차별화보다는 동조화가 두드러지는 것으로 나타났다. 점수가 낮은 경연자들이 이어진 뒤에는 계속 낮은 점수를, 높은 점수가 이어진 뒤에는 유사한 고득점을 받는 경향이 있었다. 참가자 실력을 통계적으로 통제해도 나타나는 결과였다. 이 현상은 뒷번호로 갈수록 점수가 높아지는 점과 맞물려 ‘뒷순서 고득점’ 경향을 강화했다.
영국의 노팅엄트렌트대학 경제학과 콜린스 교수 연구진이 최근 발표한 연구도 비슷하다. 연구진은 2004~2017년 영국과 미국의 댄스경연 프로그램 데이터를 분석했다. 이 프로그램에선 각 참가자의 경연이 끝날 때마다 심사위원이 점수를 준다.
모든 경연이 끝나면 시청자 전화 투표 점수를 집계해 합산하는 형태로 순위를 매겼다. 이 연구진은 페이지 교수 팀의 연구에서 한발 더 나아가 시청자 투표와 심사위원 점수에 차이가 있는지도 살펴봤다.
분석 결과, 전문가 심사위원 평가와 시청자 투표 모두 뒷순서 경연자에게 후한 것으로 나타났다. 양쪽을 비교했을 때 일반 시청자 투표가 더 그랬다. 콜린스 교수 연구진은 심사위원들이 경연 무대가 끝날 때마다 평가했기에 평가자 기억 오류는 완화된 것으로 보았다.
그럼에도 심사위원 점수가 뒷순서에서 높은 것은 경연장 열기에 압도됐기 때문으로 분석했다. 프로그램 후반으로 갈수록 경연장 관객의 환호와 열광이 높아지곤 한다. 심사위원들이 이런 분위기에 영향받아 뒤로 갈수록 ‘평가 인플레이션’에 빠지게 된다는 것이다.
평가 방식을 바꿔 이런 오류를 교정할 수는 없을까? 최근 고려대학교 경제학과 김범수 교수와 박상수 교수 연구진은 한국방송(KBS) 프로그램 <불후의 명곡> 경연 데이터를 분석한 연구 결과를 내놓았다. 2011년부터 시작된 이 프로그램은 가수들이 경연을 펼치는데, 경연 규칙이 조금 특이하다. 최근 방식이 조금 달라졌으나, 분석 대상이 된 2012~2017년에는 공개 추첨으로 경연 순서를 무작위로 정한 뒤 둘씩 대결하는 구조였다.
평가는 경연자의 노래를 들을 때마다 방청석 판정단이 누른 호감 득표수로 집계된다. 1라운드에선 첫 두 경연자가 대결한 뒤 득표수로 승자를 가린다. 다음 라운드에선 세 번째 경연자가 대결에 나서고, 그와 1라운드 우승자의 득표수를 비교해 2라운드 승자를 가린다. 이렇게 라운드를 거듭해 최종 라운드에서 더 많이 득표한 사람이 최종 우승자가 된다.
즉, 도전자는 앞 라운드 승자보다 더 많이 표를 얻어야 현재 라운드에서 이길 수 있다. 최종 우승을 위해선 앞에 나온 모든 경연자보다 득표수가 많아야 한다. 이론적으로는 앞 라운드 승자가 다음 라운드에서 이길 확률이 더 높다. 예컨대 1라운드 승자와 세 번째 경연자가 대결하는 2라운드라면, 1라운드 승자가 이길 확률은 3분의 2다. 이미 한 번 상대를 꺾은 상황이기 때문이다.

▲ <불후의 명곡> 조용필 편에 출연한 경연자들이 기념사진을 찍고 있다. 한국방송

<불후의 명곡> 방식은?
반면 세 번째 경연자가 2라운드에서 이길 확률은 3분의 1에 지나지 않는다. 앞 라운드까지 승자와 새 도전자의 대결이 계속 펼쳐져 맞붙는 두 사람의 승리 확률이 동등하지 않다는 것이다.
실제 경연 데이터를 분석해보니 모든 라운드에서 앞 라운드 승자와 도전자의 승리 확률이 같았다. 이론적으로는 1라운드를 제외하고는 뒷번호 도전자가 앞 라운드 승자를 이길 확률이 낮아야 정상이다. 그런데 이 확률이 같다는 이야기는 뒷순서 도전자가 평가에서 혜택을 얻었다는 것으로 볼 수 있다.
연구진은 이 또한 서열위치효과가 작용한 결과로 분석했다. 판정단이 항상 직전에 본 경연에 더 후한 평가를 주는 경향을 보였다는 것이다. 뒤로 갈수록 평가 인플레이션이 작용했을 수도 있다. <불후의 명곡> 방식에서도 뒷번호는 유리했던 것이다.
이 연구들은 심리학자와 함께 수행한 것도 있지만, 대부분 경제학자들의 업적이었다. 경제학이 왜 ‘경연 순서’ 같은 것에 관심을 가질까 궁금한 독자도 있을 터이다. 경제학은 자원의 효율적 배분을 추구하는 학문이다. 따라서 가장 필요한 분야에 적절한 사람과 자원이 선발되고 배치되는 방식을 찾기 위해 노력한다.
만약 사람들의 심리적 편향으로 공정하지 못한 판단이 이어지면 이 목표를 이룰 수 없다. 입사 면접, 대학 선발, 대선 토론, 스포츠 등 오디션 외에 순서가 영향을 끼치는 분야는 많다. 이런 연구가 축적되면 더 공정한 경쟁 방식이 도입될 수 있다. 경제학이 우리 사회를 더 공정하게 하는 데 기여하는 것이다.

* 김윤지 연구위원은 한겨레신문사에서 발행한 경제주간지 <Dot21> <Economy21>에서 산업부·경제부 기자를 했고 서울대 경제학과에서 한국 중소기업의 대기업 종속성과 관련한 논문으로 박사 학위를 받았다. 현재 한국수출입은행 해외경제연구소에서 정보기술(IT) 산업, 문화콘텐츠 산업, 중소기업 연구를 담당하고 있다. 연재를 통해 문화산업을 경제학의 관점에서 새롭게 분석하고 접근해갈 계획이다.

ⓒ 이코노미 인사이트 2020년 11월호