예전에 올린 포스팅 중에 '능력 없는 직원들이 더 많이 착각한다'란 글이 있습니다. 그 글에서 자신의 능력이 다른 사람에 미치지 못하는 데도 자신이 평균 이상의 실력을 지녔다고 인식한다는 실험 증거를 들며 '자기평가(Self-Assessment)'의 무용함을 지적했습니다. 오늘은 그 글을 확장하여 자기평가의 결과가 행동경제학에서 말하는 '닻 효과(Anchoring Effect)'을 일으킴으로써 평가자들로 하여금 피평가자의 진정한 역량을 올바로 판단하지 못하도록 유도한다는 점을 이야기하며 자기평가의 무용함을 강조하고자 합니다.

'닻 효과'란 사전에 노출된 정보에 의해 의사결정의 결과가 영향을 받는 현상을 가리키는 말입니다. 행동경제학의 선구자인 대니얼 카네만과 아모츠 트버스키가 수행한 실험을 통해 유명해진 개념이죠. 피실험자들에게 아프리카 국가 중 유엔(UN) 가입국은 몇 퍼센트일지를 맞혀보라고 질문을 던지기 전에 룰렛에 나온 수를 보여주면, 피실험자들이 어림짐작으로 내놓은 답은 룰렛 수에 근접해집니다. 피실험자들은 룰렛에 나온 숫자가 10이면 25%로, 룰렛 수가 65이면 45%로 답했습니다. 아프리카 국가의 유엔 가입률과 아무 상관 없는 숫자가 피실험자들의 판단이 멀리 가지 못하도록 닻이 됐던 겁니다.

뉴질랜드 캔터베리 대학교의 제 첸(Zhe Chen)과 사이먼 켐프(Simon Kemp)는 승진심사를 할 때 지원자들의 자기평가 결과가 평가자들의 판단을 잡아두는 닻이 됨을 실험을 통해 규명했습니다. 그들은 학부생 80명을 모집하여 무작위로 네 그룹으로 나눴습니다. 학생들에게는 승진을 원하는 가상의 대학 강사가 제출한 2~3페이지짜리 지원서를 읽고 그 사람의 승진 여부를 결정하는 학과장의 역할이 주어졌습니다. 지원서는 크게 지원자 신상정보, 강의 경력 및 연구 성과, 자기평가로 구분되었는데, 자기평가 부분에는 지원자가 스스로 자신의 강의 능력, 연구 성과, 기여도를 10단계로 평가한 표가 들어 있었습니다.

첸과 켐프는 지원자의 '강의 경력 및 연구 성과'를 '좋다', '별로다'의 2가지 경우로 조작하고, 자기평가 결과를 '높다', '낮다'의 2가지 경우로 꾸밈으로써 모두 4가지 종류의 지원서를 만들어 각 그룹의 학생들에게 하나씩 배포했습니다. 그런 다음, 지원자의 자기평가 표와 동일한 포맷의 표에 평가 점수를 기입하도록 했습니다. 그 결과, '좋다-높다'라고 조작된 지원서를 읽은 학생들은 평균 8.8점(10점 만점)이라고 평가한 반면, '별로다-낮다'란 지원서를 본 학생들의 답은 6.8점으로 나타났습니다. 지원자가 자기평가를 어떻게 했든 지원자의 강의 경력과 연구성과를 보고 평가해야 함에도 불구하고, 2점이라는 차이는 평가자의 평가가 지원자의 자기평가에 크게 영향을 받았다는 걸 뚜렷하게 보여줍니다. 

첸과 켐프는 이와 같은 닻 효과가 평가 초보자인 학생들 때문에 나타난 것은 아닌지 확인하기 위해 전문성을 갖춘 교수들을 차출하여 평가자의 역할을 맡겼습니다. 교수들을 두 그룹으로 나눠 자기평가 결과가 '높다'인 지원서와 '낮다'인 지원서를 검토한 후 평가하도록 하니, 이번에도 닻 효과가 뚜렷하게 나타났습니다. 지원자의 자기평가 점수가 높은 지원서를 본 교수들은 평균 6.4점으로, 자기평가 점수가 낮은 지원서를 검토한 교수들은 평균 4.7점으로 평가했던 겁니다. 전문성이 닻 효과를 줄이지 못한다는 걸 증명한 셈입니다. 흥미로운 것은 교수들이 초보자인 학생들에 비해 지원자에게 박한 점수를 주었다는 것입니다. 전문성이 높을수록 상대방에게 높은 기준을 요구하기 때문이겠죠. 하지만 그런 냉정한 판단 기준은 지원자의 자기평가가 유도하는 닻 효과 앞에서 무력해졌습니다. 교수들도 지원자의 강의 및 연구 성과보다는 자기평가 점수에 끌어당겨지고 말았습니다.

지원자가 1명이 아니라 2명이면 닻 효과는 어떻게 나타날까요? 첸과 켐프는 지원자별로 4가지 종류의 지원서(강의/연구성과와 자기평가가 각각 '좋다-높다', '좋다-낮다', '별로다-높다', '별로다-낮다')를 만든 다음, 두 지원자의 지원서를 짝을 지어 네 그룹의 평가자들에게 평가하도록 했습니다. 이때에도 역시 닻효과가 뚜렷하게 나타났습니다. 평가자들이 전체적으로 강의 및 연구 성과가 좋은 지원자에게 높은 점수를 주었다는 점에서 긍정적으로 볼 수 있었지만, 그래도 여전히 지원자의 자기평가가 평가 결과를 좌우했습니다. '별로다-높다'인 지원자(7.3점)가 '좋다-낮다'인 지원자 만큼(7.5점)의 점수를 받았으니 말입니다.

일련의 실험으로 증명된 변하지 않는 사실은 지원자가 스스로 자신의 실력을 측정한 자기평가 점수가 평가자의 평가에 상당한 영향을 미친다는 것입니다. 이 실험의 결과는 기업에서 이루어지는 평가 관행에 직접적인 시사점을 줍니다. 평가제도를 설계할 때 평가자가 피평가자의 자기평가 결과를 참조해야 하는지의 여부, 2차평가자가 1차평가자의 평가를 열람해야 하는지의 여부, 점수로 자기평가를 내려야 하는지의 여부 등을 놓고 논쟁이 벌어지곤 합니다. 첸과 켐프의 실험은 확실한 결론을 내리도록 해 줍니다. 점수로 쓰인 자기평가 결과는 무용하거니와 평가자에 의해 참조될 경우 평가 결과를 왜곡시키고 맙니다. 평가자가 전문성을 갖춘 사람이라 해도, 비교가 가능한 다른 피평가자가 있다 하더라도 닻 효과는 떨어질 줄 모릅니다. 자기평가 점수를 평가 점수에 반영하지 않는다고 해도 자기평가 결과를 참조(혹은 열람)하도록 하면 결국 자기평가 점수는 최종 평가 점수에 반영되는 꼴입니다.

자기평가를 수행하는 조직에서는 지금부터라도 닻 효과의 개입을 최소화하는 방향으로 여러 평가(승진, 인사, 채용 등) 프로세스를 개선할 필요가 있습니다. 평가 지표를 만드는 지난한 과정보다 쉽고 빠르고 효과적인 방법이니까요.

(*참고논문)
Self-Assessments Produce Anchoring Effects in Promotion Decisions
Anchoring effects on performance judgments