1921년 통신판매업체 몽고메리워드(Montgomery Ward)의 영업담당 부사장이었던 로버트 우드(Robert E. Wood)는  100만 달러의 영업손실이 무엇 때문인지 고심하던 중이었습니다. 어느 날 그는 한 가지 중요한 변화를 감지했습니다. 바로 자동차 등록대수가 급격히 증가한다는 패턴이었습니다. 그는 고객들이 집에 앉아 물건을 받아보기보다는 자기가 원하는 물건을 직접 보고 고르기 위해 차를 몰고 가는 수고를 기꺼이 즐기리라고 간파했습니다. 실제로 여기저기에서 다양한 형태의 쇼핑몰들이 빠르게 증가하던 중이라서 우드는 머지않아 통신판매업이 사양산업되리라는 결론을 내렸죠.
 
우드는 ‘대형 쇼핑몰’이라는 해법을 사장인 테오도어 머셀스에게 제안했습니다. 그러나 머셀스는 통신판매업이 전도유망한 산업이라 굳게 믿은 터라 회사를 통신판매업체에서 쇼핑몰업체로 변모시키자는 우드의 해법이 눈에 들어올 리가 없었습니다. 영업손실은 그저 운이 나빴기 때문이라고 가볍게 치부했죠. 자동차 등록 대수의 급증은 대단히 중요한 변화이지만 당시에는 우드 이외에 그것으로부터 전략적 의미를 찾아낸 사람은 별로 없었던 모양입니다. 결국 머셀스는 눈엣가시처럼 끈질기게 주장하던 우드를 쫓아내 버립니다.


 
신념을 굽힐 수 없었던 우드는 경쟁사인 시어즈 로벅(Sears Robuck)에 입사하여 자신의 아이디어를 제안합니다. 다행히 사장인 줄리어스 로젠월드는 우드에게 기회를 주었습니다. 하지만 우드의 제안을 전적으로 수용한 것은 아니었죠. 로젠월드는 실질적인 검증을 원했습니다. 통신판매업을 버리고 쇼핑몰사업을 전환하는 전략은 회사의 존폐에 결정적일 수 있음을 우려했기 때문이었죠. 우드의 생각도 로젠월드와 같았습니다.
 
우드는 쇼핑몰사업이 회사의 새로운 도약을 위한 훌륭한 해법인지 검증하기 위해 실험을 해보기로 결정했습니다. 그는 한꺼번에 많은 점포를 오픈하는 ‘융단폭격’식 전략을 지양하고, 일단 현재 사무소(지역별로 통신판매를 총괄하는 사무소)가 위치한 곳에 순차적으로 다섯 곳에 쇼핑몰을 열었습니다. 어느 정도 시간이 흐른 후에는 사무소가 없는 외곽 지역에 3개의 점포를 개설했습니다.

사무소가 위치한 곳에서는 직원들과 공간을 쉽게 확보할 수 있어서 점포 운영이 수월했지만, 사무소가 없는 지역에서는 처음부터 ‘맨땅에서’ 시작해야 하는 어려움이 있었죠. 우드가 주목한 부분은 바로 사무소가 없는 외곽 지역의 점포들이었습니다. 그 점포들이 기반시설이나 지원인력이 충분하지 않은 곳에서도 성공을 거둔다면, 쇼핑몰 사업으로 전환한다는 우드의 해법이 고객들의 라이프 스타일 변화(자동차 소유 증가)에 대처하기 위한 최고의 전략임이 증명되기 때문이었죠.

우드는 이렇게 실험을 설계했습니다. 그는 사무소가 위치한 곳에 세운 점포를 대조군으로 삼았고, 사무소가 없는 외곽지역에 개설한 점포를 실험군으로 설정했습니다. 두 군데 모두 쇼핑몰이라는 동일한 사업구조를 가지게 한 다음, 기반시설과 인력이 충분한가 그렇지 않은가를 두 군의 차이로 두고 실험을 한 것이죠. 기반시설과 인력이 충분치 않음에도 외곽지역에 위치한 쇼핑몰이 상대적으로 높은 매출을 달성한다면, 자동차로 인해 행동반경이 넓어진 고객들의 라이프 스타일 변화가 쇼핑몰이란 새로운 형태의 소비 공간을 강력하게 지지하리라고 간주했기 때문입니다.
 
결과는 대성공이었습니다. 쇼핑몰 실험의 성공에 고무된 시어즈는 이후 통신판매업에서 쇼핑몰사업으로 완전히 체질을 변모시켜 유통업의 최강자로 우뚝 섰습니다. 그리고 이를 성공적으로 이끈 우드는 1939년에 시어즈의 CEO로 승진하여 15년 동안 회장으로 활약했죠. 그와 시어즈의 성공에는 ‘실험’이란 지렛대의 힘이 컸습니다. 

전략이 어려운 이유는 그것을 수립하기가 까다롭기 때문이기보다는 그것을 실행하는 데에 위험부담을 떠안아야 하기 때문입니다. 좋은 전략을 짜놓고도 주저하는 바람에 타이밍을 놓치고 경쟁사들이 앞서가는 모습을 부러운 듯 바라보는 일이 종종 있습니다. 반대로, 경영진의 신념이나 근거 없는 믿음이 가해지는 바람에 결코 좋다고 말할 수 없는 전략이 감행되기도 합니다. 근거 없는 전략은 실패할 확률이 클 수밖에 없겠죠. 제가 이 블로그를 통해 여러 번 강조한 바 있듯이, 믿음이 사실을 대체할 때 전략이 실패하고 그로인해 조직이 몰락할 수 있습니다.

우드처럼 실험을 통해 전략이 과연 효과가 있는지 따져 본다면, 좋은 전략을 빨리 실행시키기 위한 확실한 근거를 얻을 수 있고 나쁜 전략을 사전에 차단할 수 있습니다. 여러분의 사업을 둘러싼 문제의 심각성이 크고 전략을 실행하는 데 여러 가지(비용, 시간, 인력 등)로 부담이 크다면 전략의 타당성을 실험을 통해 검증해야 합니다. 마치 과학자가 자신의 가설을 실증하고 이론을 정립하기 위해서 실험을 수행하듯이, 여러분도 우드처럼 실험을 잘 설계하면 전략의 타당성을 미리 가려냄으로써 실행의 부담을 덜 수 있겠죠.

전략은 책상 서랍 속에 고이 모셔놓을 보고서가 아닙니다. 전략은 의지도 아닙니다. 전략은 과학입니다. 전략을 실행하기 전에 실험을 수행할 방법이 있는지 찾아보는, 과학적인 전략가가 되기 바랍니다.


inFuture 아이폰 앱 다운로드       inFuture 안드로이드 앱 다운로드


  
,

지난 번 포스트에서 "문제해결 과정에서의 '분석'과 과학에서의 '실험'은 모두 '실증'을 위한 활동이므로 개념적으로는 동일하지만 완전히 똑같지는 않다"고 언급한 적이 있습니다. 인과관계를 밝히기 위한 과학 실험들은 일반적으로 실험군과 대조군을 설정한 후에 실험군에게는 어떤 조치를 취하고 대조군에는 취하지 않는 방법으로 진행됩니다. 

인과관계를 증명하기 위한 과학 실험
1) 실험 대상을 실험군과 대조군으로 나눈다
2) 실험군에는 계획된 조치를 취하고, 대조군은 그대로 유지되도록 통제한다
3) 실험군과 대조군에서 보이는 결과를 서로 비교한다
4) 통계적으로 유의한지의 여부를 따져 가설의 증명 여부를 판단한다

문제해결 과정에서도 과학 실험처럼 분석을 할 수 없을까요? 예를 들어 "직급체계가 너무나 세분되어 의사결정 속도가 느리다"는 가설을 분석을 통해 실증한다고 가정하겠습니다. 과학에서 하듯이 실험군과 대조군으로 나눈 다음에 실험군에는 직급체계를 3단계(이를 테면, 주니어-시니어-매니저)로 단순화해서 운영하고 대조군은 예전과 동일하게 유지해서 어떤 일이 벌어지는지 살펴보면 가설을 실증할 수 있습니다. 

직급체계를 3단계로 단순화한 실험군에서는 하나의 결재가 완료되는 평균시간을 따져보니 예전에 비해 30%나 향상된 반면, 대조군은 변화가 거의 없다는 결과를 얻었다고 해보죠. 만약 그 차이가 통계적으로 유의하다면, "세분된 직급체계가 의사결정 속도를 늦춘다"는 가설이 멋지게 입증됩니다. 이런 결과를 얻으면 실험군 뿐만 아니라 전사적으로 직급체계를 단순화하자는 전략을 곧바로 실행할 수 있습니다.

문제해결력이 솟구치지 않습니까?


그러나 아쉽게도 실험군의 의사결정 속도가 빨라지기는커녕 오히려 더 느려졌다는 결과를 얻었다면 어떻게 될까요? 과거(세분된 직급체계)에는 결재 건에 대한 자기책임이 덜해서 바로바로 윗사람에서 넘겨버리고 다른 일에 집중하면 그만이었는데, 직급단계가 줄다보니 결재 건의 리스크 부담 때문에 검토하고 또 검토하다가 의사결정이 오히려 느려질 가능성도 배재할 수 없습니다.

만약 이런 결과를 얻었다면 여러분은 어떻게 하시겠습니까? "실험이 실패했으니 축소된 직급체계를 원래대로 되돌리자" 라고 간단히 말할 사안일까요? 아마도 그렇지 않을 겁니다. 탄력적으로 조직을 운영하는 것도 좋지만 확증되지 않은 가설을 증명하기 위해 매번 이랬다저랬다를 반복하면 경영시스템이 누더기가 될 뿐더러 구성원의 신뢰와 로열티를 얻지 못합니다.

이렇듯 문제해결 과정의 분석은 과학의 실험처럼 실제의 세계를 마음대로 조치하고 조작하기 어렵다는 한계를 지녔습니다. 만약 과학 실험처럼 여러 가지의 시도가 가능하면 최고의 분석 결과를 얻을 수 있겠지만, 문제해결사가 취할 수 있는 최선의 방법은 직급체계를 줄여서 의사결정 속도를 빠르게 한 타사의 사례를 실험군으로 설정해서 우리 회사(대조군)의 경우와 비교하는 것입니다.

그러나 경우에 따라서는 과학의 실험 방법을 들여오는 것이 분석의 효과를 높이는 좋은 방법이 되기도 합니다. 이를 의류 회사의 사례를 들어 설명하겠습니다. 다음의 예시를 읽어보기 바랍니다(상세한 내용은 생략했습니다).

상황 : 이 회사는 각 점포의 매출액이 급감하는 문제에 봉착해 있다. 반면에 경쟁사들의 매출액은 지속적으로 성장하고 의류시장 전체의 규모도 커지는 상황이기 때문에 경영진들은 문제의 원인이 외부가 아니라 내부에 있다는 판단을 내렸다.

가설 : 문제해결사는 이 회사의 매출이 줄어드는 원인으로 "매장의 디스플레이가 통일적이지 못해서 내점 고객들의 시선을 끌지 못한다"라는 가설을 내놓았다. 이를 해결하기 위한 대안으로 문제해결사는 통일적이지 못하고 난삽한 디스플레이를 개선하면 매출액이 늘어나거나 적어도 더이상 떨어지지 않으리란 새로운 가설을 수립했다.

분석
1) 이 가설의 참/거짓 여부를 증명하기 위해 문제해결사는 전국에 흩어진 매장들 중 20개를 골라서 실험군(10개)과 대조군(10개)으로 구분했다. 또한 각각에 포함되는 매장은 서로 규모나 지역이 비슷하도록 적절하게 안배했다.

2) 문제해결사는 실험군에 속한 매장의 디스플레이를 통일성 있게 교체하는 작업을 진행했다. 이 작업을 진행하기 위해 외부에서 VMD(visual merchandise) 전문가를 영입했다. 반면, 대조군에게는 아무런 조치를 취하지 않았다.

3) 디스플레이 교체 후에 3개월 간 실험군과 대조군의 매출액 증가율을 각각 수집하고 비교했다.

결과 : 실험군이 디스플레이 교체 이후에 25%의 매출액 증가율을 기록했다. 이 기간 동안 대조군의 매출액은 5% 증가에 그쳤다. 이 차이는 통계적으로 매우 유의했다. 따라서 "디스플레이가 통일적이지 못한 것"이 매출액 감소의 원인 중 하나임이 입증됐다.

문제해결사가 실험을 통해 이런 결과를 내놓는다면 의뢰인을 충분히 설득시킬 수 있습니다. 조치를 취한 실험군과 그렇지 않은 대조군 사이의 차이가 크고 명확할수록 분석의 설득력은 커집니다. 아마도 많은 문제해결사들은 "이런 방식으로 가설을 입증하면 논란도 반론도 없으니 얼마나 좋을까" 란 생각이 들 겁니다.

하지만 설득력을 높이는 데에는 그만큼 돈과 시간이 소요됩니다. 위의 예시에서 매장 디스플레이를 바꾸려면 전문가에게 지급할 수수료 뿐만 아니라 공사비가 꽤나 많이 지출됩니다. 게다가 공사를 진행하려면 최소한 2주 가까운 시간이 들고 그 기간엔 고객을 맞을 수 없기 때문에 기회비용 또한 만만찮습니다. 만약에 디스플레이를 교체했는데도 매출액이 개선되는 조짐이 보이지 않는다면 그 돈과 시간은 공중으로 사라져 버립니다.

위에서 든 사례(직급체계 축소, 매장 디스플레이 개선)들이 문제해결사에게 주는 시사점이 무엇일까요? 그것은 가설 입증을 위해 분석을 행할 때 과학적인 실험 방법을 적용하려면 다음의 3가지를 떠올리십시오. 이 3가지 요소는 실험 결과가 현재의 상태를 변경시켜야만, 즉 가상이 아니라 실제의 것을 다뤄야만 가설의 진위 여부를 가릴 수 있을 때 반드시 충분히 고려해야 합니다.

1) 가역성
2) 비용
3) 윤리

가역성이란 말 그대로 '되돌리기가 가능한가'란 의미입니다. 가역성이 높은 실험이라야 문제해결사는 그것을 분석의 방법으로 채택할 수 있습니다. 직급체계를 축소했다가 다시 원래대로 복구해도 별다른 문제가 발생하지 않는다면(혹시 그런 조직이 있다면) 실험을 해보는 것이 가장 좋은 분석 방법입니다. 허나 실제로 직급체계 변경 실험은 매우 '비가역적'이기 때문에 문제해결사는 가설 증명을 위해 실험이 아니라 다른 분석 방법을 찾아야 합니다.

비용이란 실험을 하는 데 드는 돈, 시간, 인력 등을 말합니다. 앞서 언급했듯이 매장의 디스플레이를 바꾸는 일은 비용을 많이 소요하기 때문에 현금이 많지 않은 한 적절하지 못한 분석 방법입니다. 상품의 위치와 순서를 다르게 배치하는 것이 매출에 어떤 영향을 미치는지 알아보는 실험이라면 매장의 디스플레이를 대대적으로 공사하는 일보다는 비용이 매우 적게 들기 때문에 실험으로 적절합니다.

윤리는 실험을 위해 취하는 조치가 윤리적이고 도덕적인 문제를 야기하느냐의 여부를 뜻합니다. 과학에서 윤리 문제를 야기하는 실험이 종종 회자되는데요, 줄기세포와 인간 배아 연구가 대표적입니다. 예를 들어 "직원들의 업무태도를 감시하지 않아서 생산성이 떨어진다. 그러므로 팀장에서 직원들의 일거수 일투족을 모니터링하도록 하면 생산성이 증가할 것이다"라는 가설을 증명하기 위해 실험을 실시한다고 가정하죠. 

직원들이 업무 외의 사적인 일을 하지 못하도록 감시해서 생산성을 측정하겠다는 것인데요, 상상해봐도 이러한 조치는 직원들의 인권을 압박해서 심각한 스트레스를 야기해서 정신적, 신체적 건강이 훼손될 가능성이 있습니다. 또한 팀장과 팀원 사이의 반목과 갈등을 야기하기 때문에 극단적 상황이 발생할지도 모르는 일입니다. 비록 실험일지라도 이러한 방식의 실증은 배제돼야 합니다.

이 3가지 요소를 만족한다면, 즉 가역성이 높고 비용이 낮으며 부정적 기대효과가 적다면, 과학 실험처럼 실험군과 대조군을 나눠 분석을 실행하는 방법을 채택하기 바랍니다. 조치를 취한 쪽과 그렇지 않은 쪽 간의 명확한 차이는 가설 입증의 효과 뿐만 아니라 의뢰인을 포함한 여러 이해관계자에게 해결책을 수용하게 만드는 힘을 뿜어내기 때문입니다.

오늘도 즐겁게 문제를 해결하기 바랍니다.




  
,

이미 언급했듯이 실증은 가설의 참/거짓 여부를 증명하기 위한 과정입니다. 과학에서 말하는 '실험'이 실증이라면, 문제해결과정에서는 '분석'이 실증에 해당됩니다. 따라서 문제해결사가 어떻게 분석을 진행할까를 고민할 때 과학의 실험 설계 방법을 응용하는 것이 도움이 됩니다. 오늘은 이에 대해 알아보겠습니다.

과학에서의 실험 설계는 다음과 같은 과정을 거칩니다. A라는 가설이 이미 수립된 상태라고 가정하겠습니다. 과학이라고 말하면 굉장히 어렵다는 선입견을 가지는데요, 실험 설계 과정 자체는 매우 간단합니다.

1) 실험 대상을 선정한다
2) 실험 방법을 정한다
3) 결과 측정 방법을 정한다

르네상스 시대의 과학자 갈릴레오 갈릴레이가 피사의 사탑에서 실시했다고 알려진 '물체 낙하 실험'은 근대 과학사에서 중요한 의미를 가집니다. 과학에서 실험이 얼마나 중요한지 일깨우는 일화이기 때문입니다. 알다시피 갈릴레오는 '물체의 무게가 달라도 동일한 속도로 낙하한다'라는 가설이 맞는지 틀리는지를 낙하 실험을 통해 실증하려 했습니다.

그 시대의 사람들은 무거운 물체가 가벼운 물체보다 빨리 떨어진다고 주장한 아리스토텔레스의 이론을 신봉했습니다. 아리스토텔레스는 물체가 땅으로 떨어지는 이유는 우주에서 정당한 자기 위치를 찾아가기 때문이고, 물체가 하늘로 날아가는 이유는 물체 앞에 있던 공기가 물체 뒤로 순식간에 자리를 이동하기 때문이라는, 지금 생각하면 황당하기 그지 없는 주장을 폈습니다. 

아리스토텔레스는 100파운드 짜리 공이 100큐빗(약 53미터)에서 떨어져 땅에 닿는다면 1파운드 짜리 공은 1큐빗(약 53센티미터)의 거리를 낙하할 것이라고 장담했습니다. 실험도 하지 않은 채 말입니다. 그럼에도 그의 이론은 그가 죽은 후 2천년이 지났는데도 여전히 중세인들의 사고를 지배했습니다.

갈릴레오가 실제로 낙하 실험을 했는지에 관해서는 역사학자들 사이에서 논란이 분분합니다. 하지만 여기서는 실험 설계를 어떻게 하는지를 배우는 게 목적이므로 논란 여부는 무시하겠습니다. 비비아니가 쓴 전기에 나온 갈릴레오의 실험 내용을 실험 설계 과정에 대입해 보겠습니다.

1) 실험 대상을 선정한다
알다시피 갈릴레오는 모양이 똑같지만 무게가 다른 금속공 2개를 실험 대상으로 삼았습니다. 조수들이 탑의 꼭대기까지 공을 들고 가느라 낑낑댔다고 비비아니의 전기는 말합니다.

2) 실험 방법을 정한다
동시에 떨어지는지, 아니면 시차를 가지고 떨어지는지 육안으로 관찰하려면 충분히 높은 곳에서 떨어뜨려야 했습니다. 그때는 정밀한 측정 장치가 없었으니까요. 그래서 피사의 사탑을 선택했죠. 사람들의 관심을 주목시키는 효과도 얻기 위해 피사에 가장 높은 곳에 올라가 사람들이 지켜보는 가운데 두 개의 금속공을 낙하시키기로 한 것이죠.

3) 결과 측정 방법을 정한다
두 개의 금속공이 정말로 동시에 떨어졌는지를 측정해야 가설의 옳고 그름을 가릴 수 있겠죠. 언급했듯이, 측정 도구가 변변치 않았기 때문에 육안으로 측정할 수밖에 없었습니다. 갈릴레오는 군중의 '눈'들이 결과를 측정하는 방법이라 여겼던 게 분명합니다. 실험을 하기 전에 관중들을 끌어모았으니까요. "자, 여러분이 직접 관찰해 보십시오!"

물체 낙하 실험은 간단한 실험이라서 실험 설계 방법도 단순하다고 생각할지 모르지만, 아무리 복잡하고 까다로운 실험도 이 3단계 실험 설계 과정을 벗어나지 못합니다.

'침대는 과학이다'는 가설은 참일까요, 거짓일까요?


이제 문제해결의 관점에서 분석 설계 과정을 논의하겠습니다. 위의 실험 설계 과정을 차용하면, 분석 설계 과정은 다음과 같습니다.

1) 분석 대상을 선정한다
2) 분석 방법을 정한다
3) 분석 결과에 대한 표현 방법을 정한다

'실험과 분석이 엄연히 다른데 왜 차용을 하는가?'라는 의문을 던질지도 모르겠군요. 맞습니다. 실험과 분석은 동일하지 않습니다. 과학의 실험에서는 실험자가 실험 대상을 실험군과 대조군으로 나눕니다. 그리고 실험군에게는 뭔가의 조치를 취하고, 대조군에는 조치를 취하지 않습니다. 이렇게 해서 양쪽에서 나온 결과가 확연히 다름을 보임으로써 가설을 증명합니다. "조치를 취하니까 이렇게 다르지 않습니까? 그러니 가설은 참(혹은 거짓)입니다"라고 말입니다.

분석이 실험이 아닌 이유는 분석 대상을 '분석군'과 '대조군'으로 나누지 않을 뿐더러 분석군에게 조치를 취하지도 않습니다. 실험처럼 행해지는 분석이 있긴 하지만 문제해결 과정에서는 자주 벌어지지 않습니다. '급여가 작아 직원들이 불만이 크다'라는 가설을 증명하려고 분석군에는 급여를 올려주고 대조군은 그대로 유지한 후에 불만의 크기를 비교 조사하면 좋겠지만, 현실적으로 이런 모험을 감행할 조직은 드뭅니다. 만약 급여가 직원들의 불만과 아무 상관이 없다는 결론을 얻었다면 이미 올려준 급여를 다시 내리기가 여간 어렵지 않겠죠.

따라서 분석은 실험을 통한 가설 실증이라기보다, 관찰과 측정을 통한 실증이라고 말해야 정확합니다. 분석과 실험을 동일한 개념으로 보기 어렵지만, 분석이 문제해결 과정에서 실증의 과정이므로 과학에서의 실증 과정인 실험과 동일한 위상으로 간주할 수 있습니다. 그래서 실험 설계 과정을 차용하여 분석 설계 과정을 알아보자는 겁니다.

위의 3번째 단계가 실험 설계 과정과 다르다는 것을 유의하십시오. 측정 방법이 아니라 '표현 방법'입니다. 문제해결의 세계에서는 분석 절차와 방법을 정할 때 측정 방법도 동시에 결정되는 것이 대부분입니다. 또한 해결책이 의뢰인에게 효과적으로 전달되어 실행되도록 하는 것이 문제해결의 최종목적이므로 분석 결과를 어떻게 효과적으로 표현하느냐가 중요한 관건입니다. 따라서 분석을 설계할 때부터 결과를 어떻게 하면 깔끔하게 표현할지 고려해야 합니다.

'직원들이 태만하다'라는 가설을 실증하기 위해 분석을 실시한다고 가정하겠습니다. 그렇다면 여러분은 위의 3단계 분석 설계 과정을 자동적으로 머리 속에 떠올려야 합니다. 무엇을(분석 대상) 어떻게(절차/방법) 분석하고 어떻게 표현할지를 구상해야 합니다. 여러 형태로 분석을 설계할 수 있겠지요. 다음의 예가 그 중 하나입니다., 예를 들어 다음과 같은 방법으로 분석을 진행할 수 있습니다.

1) 분석 대상을 선정한다
회사 내에도 여러 단위조직이 있습니다. 이 가설을 어느 조직을 대상으로 검증할지를 선정합니다. 분석 대상의 범위는 문제 정의시에 의뢰인에 의해 이미 정해지지만 경우에 따라서 각 가설에 따라 다르게 지정할 경우도 있습니다.

2) 분석 방법을 정한다
이 가설을 증명하려면 직원들의 '태만함의 정도'를 측정하기 위한 방법을 연구해야 합니다. 태만함의 정도는 경우에 따라 매우 자의적으로 해석되므로 분석하는 방법을 정하기가 녹록하지 않습니다. 최대한 객관적인 방법을 택해야 하는데요, 스톱워치를 가지고 직접 체크하는 분석, 업무량 조사서를 작성하게 하는 분석, 직원들이 산출하는 아웃풋의 질과 양을 따져보는 분석 등을 생각할 수 있습니다. 

3) 분석 결과에 대한 표현 방법을 정한다
어떤 분석 방법을 사용했는지에 따라 효과적으로 표현하는 방법도 달라집니다. 만일 업무량 조사서를 가지고 하루 동안 어떤 업무에 얼마만큼의 시간을 소요하는지 분석했다면, 근무시간(8시간)과 대비하여 실제업무시간을 표현하기 위해 워터폴(waterfall) 차트 형태의 그래프가 무난합니다. 또는 직원별로 유휴율 데이터를 표로 나타낼 수도 있습니다. 
누구나 즉각적으로 이해가 가능하도록 분석 결과를 표현했는지가 관건입니다. 분석을 실시하기 전에 분석결과를 어떻게 표현할지를 미리 구상하기 바랍니다.

위의 '2) 분석 방법을 정한다'를 좀더 구체적으로 설명하겠습니다. 

'좋은 분석'이 되려면 첫째, 반증가능성을 꼭 따져봐야 합니다. 지난 글에서 좋은 가설이 되려면 가설 그 자체가 반증가능하도록 설정되어야 한다고 언급했습니다. 분석도 마찬가지입니다. 잠정적으로 선택된 하나의 분석 방법이 가설의 입증과 반증이 동시에 가능한지의 여부를 따져봐야 합니다. 만일 그 분석 방법이 오로지 가설을 입증하는 데에만 초점이 맞춰져 있다면, 반증하기 위한 또다른 분석 방법을 찾아내어 균형을 이루도록 해야 합니다.

예를 들어 '잡담 시간'을 측정하는 분석 방법으로 직원들의 태만함 여부를 가리겠다고 하겠습니다. 아무리 열심히 일하고 생산성이 높은 직원들도 잡담을 어느 정도 하기 마련이고 또 잡담 속에서 업무에 관한 아이디어를 얻기도 합니다. 잡담 시간을 측정하면 오로지 '직원들이 태만하구나'라는 생각만 들게 됩니다. 잡담 그 자체가 부정적인 뉘앙스를 띠기 때문입니다. 측정하는 자가 잡담을 부정적인 요소로만 본다면 '잡담을 많이 하더라도 저건 직원들의 태만함과는 무관해'라는 반증으로 생각을 전환하기 어렵겠죠. 그리므로 '잡담 시간 측정'이라는 분석 방법은 폐기되거나 반증가능한 다른 분석 방법으로 보완돼야 합니다.

둘째, 가설을 '한 방에' 입증하는 분석이 좋은 분석입니다. 분석을 했는데 뭔가 미진해서 남들에게 공격 당할 것 같다는 느낌이 들면 좋은 분석 방법이 아닙니다. 팀장들과 인터뷰를 해서 직원들의 태만한지를 알아보는 분석 방법을 취했다고 가정하겠습니다. 팀장들은 항상 직원들의 동태를 살피고 아웃풋을 점검하는 위치에 있기 때문에 직원들의 태만함을 어느 정도 감지할 겁니다. 하지만 팀장들의 말을 토대로 보고서를 썼다가는 직원들의 원성에 직면합니다. 직원 입장에서 전혀 고려하지 않았다는 이유겠죠. 

이렇게 분석 결과가 공격을 받으면 아무리 좋은 해결책이 나와도 수용되기 어렵습니다. 분석 방법을 택할 때는 '한 방에 하나씩'이라는 말을 기억하십시오. 해당 가설을 입증하거나 반증하는 분석 방법들을 가능한 한 많이 생각해 본 다음에, 가설을 한방에 실증할 만한 방법 1~2가지를 골라내서 구체적인 분석 절차를 수립하기 바랍니다.

셋째, 동일하게 분석 결과가 재현되어야 좋은 분석입니다. 과학자가 연구 결과를 논문으로 발표하면 자신이 어떤 절차와 방법으로 실험을 수행했는지 기록해야 합니다. 자신의 연구가 사실임을 증명하기 위해서입니다. 만일 다른 사람이 똑같이 실험을 재현해보니까 엉뚱한 결과가 나오거나 아예 결과가 나오지 않는다면 그의 연구는 의심의 대상이 되거나 급기야 논문 수록이 취소되기까지 합니다(황우석 사태를 떠올려 보세요).

분석은 문제해결의 세계에서 행해지는 실험이므로, 절차에 따라 분석을 반복하면 동일한 결과를 얻을 수 있어야 합니다. 분석할 때마다 오차의 범위를 벗어나는 결과를 얻는 분석 방법이라면 당초에 가설을 증명했더라도 폐기해야 마땅합니다. 예를 들어 '스톱워치를 가지고 직원들의 잡담시간을 측정'하는 분석 방법은 측정하는 사람의 자의적인 해석('아 저건 잡담인가 아닌가')이 크게 반영되므로 비슷한 분석 결과를 기대하기가 어려울 겁니다. 그래서 분석 방법을 최초 선택할 때 머리 속으로 가상의 분석을 해봄으로써 분석 결과가 재현될지를 충분히 따져봐야 하고, 분석을 하고 나서는 한두 차례의 검증을 꼭 거쳐서 이론의 여지를 차단해야 합니다.

정리하면, 좋은 분석의 조건은 다음과 같이 3가지입니다.

1) 반증가능성을 지닌다
2) 가설을 한방에 입증한다
3) 동일한 결과를 재현한다

지금까지 과학의 실험 설계 과정을 참고해서 바람직한 분석 설계 과정을 알아봤습니다. '자, 봐라. 꼼짝 못하지?'라고 '적확한' 결과를 보이는 실험이 좋은 실험이듯이, 문제해결 과정을 지켜보는 사람들이 감히 반박하지 못하도록 만드는 분석이 좋은 분석입니다. 문제해결사 여러분들은 부디 갈릴레오도 울고 갈 분석 방법을 선택해서 의뢰인에게 '꼼짝마!'라고 외치는 희열을 경험하기 바랍니다.

【한RSS로 편하게 제 블로그를 구독하세요】  



  
,