---

어떤 컨설팅 회사가 자기네들의 컨설팅 능력을 과시하면서 여러분에게 이렇게 말합니다. "우리의 컨설팅 서비스를 받은 고객들이 그렇지 않은 고객들보다 주가가 훨씬 올랐습니다. 무려 4배나 높은 주가수익률을 보였습니다. 대단하지 않습니까? 그러니, 우리의 컨설팅을 받으세요."  이런 말을 전하는 컨설턴트는 자기 말이 진짜임을 분명하다면서 주가 그래프를 여러분에게 보여주겠죠. 그렇게 말할 만큼 자신들의 전문 컨설팅 서비스가 우수함을 자랑하면서 말입니다. 여러분은 그 사람의 말을 믿어야 할까요, 아니면 의심해야 할까요?

여러분이 이 블로그를 자주 방문했다면 어떤 답을 해야 할지 알 겁니다. 맞습니다. 여러분은 자랑스레 말하는 그 컨설턴트의 말을 무시하고 "그건 그렇고, 당신네들이 제공하는 서비스가 뭡니까?"라고 말해도 무방합니다. 그 사람의 말은 완전히 엉터리이기 때문입니다.

그런데 그렇게 엉터리로 선전하는 컨설팅 사가 어딘지 궁금할 겁니다. 바로 세계적인 규모를 자랑(?)하는 '베인 앤 컴퍼니'입니다. 그들은2006년에 자신들의 웹사이트에 이렇게 올렸습니다. "베인의 고객들은 시장수익률보다 4배나 높은 주가수익률을 올렸습니다."  그들이 제시하는 근거는 1980년에서 2004년까지의 S&P 500 지수였습니다. S&P 500 지수는 그 기간 동안 15배 상승했지만, 베인의 고객들은 같은 기간 동안 60배가 상승했습니다. 고로 시장보다 4배나 높게 주가가 올랐다고 주장했던 겁니다.

그들이 자랑스럽게 올린 이 문구에서 무엇이 문제일까요? 첫 번째 치명적인 결함은 주가 상승을 비교한 기간에 있습니다. 베인이 근거로 내세운 S&P 500 지수의 상승 기간은 25년이었습니다. 하지만 한 고객이 25년 동안 컨설팅 서비스를 받지는 않습니다. 길어 봤자 2~3년이죠. 기껏 2~3년 간 컨설팅 서비스를 제공하면서 주가 상승 비교는 25년 간의 데이터를 사용하다니, 이것만 봐도 정말 엉터리입니다. 자기네 컨설팅 서비스가 유용하고 해도 그 효과가 그렇게 오래 갈까요? 갈수록 환경이 급변하는 시기에?

두 번째 문제점은 상관관계를 인과관계로 헷갈렸다는 데 있습니다. 베인의 주장을 받아 들여서 그들의 고객이 다른 기업보다 시장수익률을 초과하는 성과를 달성했다고 치죠. 그래도 그것이 베인의 컨설팅 서비스가 고객사에게 높은 실적을 가져다 준다고 해석해서는 안 됩니다. 컨설팅 서비스가 아니라 다른 요인 때문에 베인의 고객들이 우연히 더 높은 실적을 보였는지 모르기 때문입니다. 게다가 베인의 고객들이 컨설팅을 받을 만큼 자금의 여력이 있기 때문에, 즉 다른 기업보다 주가수익률이 높아서 베인에게 컨설팅을 해달라고 요청했는지도 모릅니다. 이것이 더 타당한 이유겠죠.

아마도 베인은 자신들의 주장에 이런 치명적인 두 가지의 결함이 있다는 것을 알면서도 홈페이지에 그런 이야기를 올렸는지도 모릅니다. 아무 생각 없이 홈페이지를 방문한 사람들을 현혹시킬 목적으로 말입니다. 더욱 놀라운 것은 아직도 홈페이지에 올라와 있다는 것입니다. 여기를 클릭하면 페이지 하단에 다음과 같은 그래프를 볼 수 있습니다. 자신들의 고객이 4배나 더 큰 수익을 올렸다는 말이 자랑스레 써 있군요.

(출처 : Bain & Company 홈페이지)

아마도 베인이 아니라 다른 컨설팅 사에서도 자기네 고객들의 주가수익률 그래프를 그려 보면 위의 그래프와 거의 같은 패턴이 나올 겁니다. 베인 측에서는 자신들의 주장이 옳다고 말하려면 이렇게 단순한 비교 그래프가 아니라, 자신들의 서비스를 받기 전과 받은 후의 성과 차이를 근거로 내세워야 합니다. 그래야 베인의 컨설팅 서비스가 기업의 성과에 도움이 된다는 인과관계의 설명력을 높일 수 있죠(그렇다고 해서 완전하게 인과관계를 증명할 수 있는 것은 아닙니다). 명확한 근거를 가지고 자신들의 주장이 거짓말이 아님을 주장해야 합니다. 그냥 위의 그래프만 달랑 보여주는 것은 고객들을 기만하는 것과 다르지 않습니다.

우리는 누군가가 무엇을 주장할 때 그 주장의 진위 여부를 비판적인 사고를 통해 판단해야 합니다. 그럴 듯하게 들리는 말일수록 철저하게 따져야 합니다. 안 그러면 컨설팅에 돈을 썼다가 아무런 소득 없이 '그래도 효과가 있겠지'하는 자기 위안에 빠질지 모를 일입니다.

(*참고도서 : 헤일로 이펙트)

        

한 마디로 그의 결론은 엉터리입니다. 술주정꾼이 많아진 사건이나 침례교 목사가 늘어난 현상이나 모두미국 인구의 증가가 원인이기 때문입니다. 술주정꾼과 목사 수 사이에는 강한 상관관계가 존재하지만, 그것을 가지고 바로 인과관계가 존재한다고 말하지 못합니다. 상관관계가 있으나 인과관계도 있다고 주장한다면 "목사 수가 많아진 시대상황을 개탄(?)하느라 술주정꾼도 많아졌다"는 말도 우스꽝스럽게 성립돼 버립니다.

유명한 통계학자가 데이터를 분석해 본 결과, 놀라운(?) 사실을 알게 됐다. 바로 술주정꾼 검거 건수와 침례교 목사 수 사이에 '정(+)'의 상관관계가 있다고 나왔기 때문이다.

이를 본 통계학자는 이렇게 결론 내린다. "술주정꾼이 많아져서 그들을 계도하려고 목사들이 많아졌다"라고 말이다. 목사가 많아진 원인이 술주정꾼이 늘어서 그렇다는 소리다. 과연 그럴까?

한마디로 그의 결론은 엉터리다. 술주정꾼이 많아진 것이나 침례교 목사가 많아진 것이나 둘 다 미국 인구의 증가로 인해 나타난 현상이기 때문이다. 술주정꾼과 목사 수 사이에는 강한 상관관계가 존재하지만, 그것을 가지고 바로 인과관계가 있다고 단정하기 어렵다. "목사 수가 많아져서 그런 시대상황을 개탄(?)하느라 술주정꾼이 많아졌다"고는 왜 말하지 않는지 모르겠다.

위의 일화는 실제가 아니라, 진화생물학자인 스티븐 제이 굴드가 자신의 저서 '풀 하우스(Full House)'에서 상관관계를 인과관계로 오인하는 경향을 비꼬기 위해 쓴 내용이다.(각색했음)


전문가들이라고 별 수 없다. 그들도 상관관계를 인과관계로 받아들이는 오류에 쉽게 빠지고 만다. 어떤 분이 보내 주시는 뉴스레터를 보니, 이런 제목이 눈에 띈다.

발표 내용은 성과배분제를 도입해야 기업 성과가 좋아진다, 라는 말로 요약된다. 이를 통해 경총은 기업이 성과를 높이려면 성과배분제를 도입하라고 주장한다. 언뜻 보면 옳은 말 같다. 명제 형식으로 바꾸어 보면 아래와 같다.

                                      "성과배분제 도입 --> 기업 성과 향상 "

통계분석이라는 어려운 도구를 써야 권위가 있다고 생각할런지 모르겠지만, 전문가들은 사람들을 헛갈리게 해서 잘못된 인식을 심어주려는 행위를 하곤 한다. 이런 식의 보고서가 딱 그런 경우이다.

기업성과를 달성하기 위한 요소는 성과배분제 이외에 무수히 많다. 어쩌면 성과배분제 도입 때문이 아니라 제품이 좋거나 시장 상황이 좋아서 기업의 성과가 높아졌을지도 모른다. 혹은 기업성과가 좋기 때문에 성과배분제를 도입할 만한 여유가 있었는지도 모른다. 그것도 아니면, 별 이유없이 우연히 그런 결과가 나왔을 수도 있다.

이런 보고서를 볼 때마다 분석의 내용이 상관관계를 말하는지, 인과관계를 말하는지 정확히 파악할 줄 알아야 한다. 성과배분제를 기업성과를 높이는 '도깨비 방망이'로 오해하지 않으려면 말이다.