전략 컨설팅의 실패와 머신러닝의 관계 (2)

지난 글 이후로 많은 의견을 받았는데, 답변차원에서 2번째 글타래를 이어가본다.

지난 글에서 이미 학문적 훈련을 받은 사람들과 컨설턴트 사이에 어마어마한 깊이의 격차가 있는 예시를 들었으니, 이번에는 실제 현업에서 비지니스 하는 사람들과 컨설턴트들의 차이를 살펴보자.

케이스 풀이법에서 슈퍼마켓 예시를 들었으니 같은 산업에서 스토리를 이어나가면 될 것 같다.

컨설팅 vs. 슈퍼마켓 지점장 사례

먼저, 당신이 대형슈퍼마켓 지점장이라고 해보자.

본사의 어느 컨설팅 회사 출신 전략기획 실장님께서 우리 지점 매출액 목표치가

동네인구 x 시장점유율 x 1인당 장바구니 사이즈 x 52주

보다는 조금 더 자세하게 정리해서 보내주셨다. (너무 컨설팅 친구들 무시하는 것 같아서 좀 더 복잡해질 가능성은 인정하고 넘어간다.)

지점장인 당신에게 필요한 내용일까?

(전혀 노 쓸모인 자료인 것 같지만) 필요하다고 치자. 그럼 매출액을 어떻게 끌어올리지?

여기서 동네인구를 끌어올릴 수 있는 방법은 없다. 52주를 104주로 늘릴 방법도 없고. 1인당 장바구니 사이즈를 늘릴 수 있는 방법은 일시적으로 인기 상품을 들여와 가능할지 모르겠는데, 장기적으로는 불가능에 가깝다. 결국 사람들이 집에서 요리를 해먹도록 만들어야 1인당 장바구니 사이즈가 늘어날텐데, 이건 본사에서 할 일이지, 지점에서 할 일은 아니겠지? 사실 본사에서도 하기 쉽잖은, 트렌드의 변화를 일으켜야한다. 문화 현상에 대한 어마어마한 도전은 일단 이 글에서 논외로 하자.

시장 점유율 끌어올리기

결국 지점장인 당신에게 필요한 내용은 우리동네에서 우리 슈퍼마켓이 경쟁마트보다 조금이라도 더 많은 고객을 끌어들이도록 해야한다는 한 줄 결론이었다. (굳이 위의 저런 컨설팅식 “분석”을 안 해도 얼마든지 내릴 수 있는 결론이었지 않나?)

자, 선택할 수 있는 옵션은 뭐가 있을까?

미끼 상품 몇 개로 사람들 유혹하기
상품 팜플렛 돌리기
입소문 내기

등등의 마케팅 전략을 취할 수 있겠다.

미끼 상품은 뭘로 고르면 될까?

컨설팅의 Top-down 방식에 따라, 우리동네에는 4인가구가 많고, 요리를 많이하니까, 근데 부자동네라서 고급 음식을 많이 먹으니까, 1등급 한우의 비싼 부위를 싸게 판다고 결론 내리는 방식과, 그런건 잘 모르겠고, 지난 주에 제일 많이 팔린 상품들 리스트 중에 아직 재고가 많이 남은 상품 1-2개를 골라 재고떨이하는 방식 중 지점장은 어느쪽을 더 선호할까?

1등급 한우 비싼 부위를 얼마 가격에 팔아야 사람들이 찾아올까? 우리는 몇 %의 손실을 감수할 수 있을까? 홍보효과가 충분해서 사람들이 많이 올까? 그래서 다른 상품도 많이 사갈까? 그런 수많은 가정들로 쌓아올린 숫자를 자신있게 내 놓으려면 뭐가 필요할까?

가장 비슷해보이는 데이터가 필요하겠지. 옆 마트에서 비슷한 미끼 상품을 썼거나, 우리가 비슷한 미끼 상품을 썼던 기록이 있거나 등등

아니라면? 그냥 맨땅에 헤딩하고 숫자 나오는 걸 봐야한다. 그런 맨땅에 헤딩을 하느니, 많이 팔렸는데 재고 남은 상품을 고르는게 더 합리적이지 않나? 최소한 우리 동네 사람들 중에 할인판매에 얼마나 많은 사람이 반응하는지는 알 수 있는 근거 자료가 될 테니까. 다음에 다른 미끼 상품 기획할 때 쓸 수는 있을꺼 아니냐.

자, 다음 포인트를 보자. 팜플렛은 어떻게 만들어야되지? 입소문은 어떻게 내야하는거지?

미끼 상품 케이스와 똑같다. Action plan을 만들어내려면 오랜세월 마트 운영 짬밥이 있거나, 아니면 남들하는걸 (겉으로) 베끼는 수 밖에 없다. 왜 그렇게 했을까를 고민하면서. 내실이 들어찰 때까지는 겉으로 베껴가며 배우는거지.

싸게 해 놔도 사람들이 안 오는데?

좀 더 깊게 들어가보자. 아무리 싸게 상품을 내놔도 사람들이 우리 마트에 안 온다.

왜? 알고보니 주차장이 불편해서 장보는 아주머니들이 낮에 차 끌고 못 오는걸로 악명이 높단다.

몇 번 차 긁히고는 좀 비싸도 다른 마트가서 산다는 악평을 봤다. 그제서야 내 차를 끌고 직접 우리 주차장에 주차를 해 본다. 내가 운전 경력 10년인데, 그래도 불편하다. 운전 잘 못하는 초보 아줌마들 사이에서 그런 평이 나오는게 이해가 된다. 한 발자국 더 나가서, 더 많은 주차가 가능하도록 하려고 차 간격을 좁게 만들어놔서 문콕이 자주 발생하고 있었다는 사실도 깨닫게 될 것이다. 괜히 수용가능인원 늘리려다 고객 경험만 망친 꼴이라는 걸 늦게서야 깨닫는다.

이걸 제대로 운영하는 지점장이라면 자신이 고객이라고 생각하고 수십번의 경험을 통해 자신들의 문제를 이해하고 고치고 있을텐데, 컨설팅 방식의 Top-down 접근법을 쓰면 어떻게 대응할까?

문 앞에서 고객들에게 설문지를 돌리겠지. 숫자로 자기네 아이디어를 증명해야한다면서ㅋㅋ 설문에 답하면 X원 쿠폰을 준다 이런식으로 진행할텐데, 과연 그 고객들이 솔직한 답변을 할까? 설문지의 문항은 또 어떻게 작성할껀데? 어떤 문항들을 어떤 순서로 배치하느냐에 따라 답변에 대한 신뢰도가 하늘과 땅 차이라는건 어지간한 응용통계학자들이 다 알고 있을것이다.

자, 어찌어찌해서 주차장 문제를 해결했다고 치자. 아마도 최초 설계부터 잘못되었을테니 건축설계사무소에 고소하고, 설계 변경 비용 내고, 지방정부기관 건축팀에 승인받으려고 수십차례 드나들어야하고, 안전관련된 평가 몇 차례 진행되고, 다시 건설업자 찾으려니 이전에 설계, 시공했던 회사가 제일 잘 알아서 그 놈들이 밉지만 어쩔 수 없이 다시 같은 집단에 수주를 줘야하는 등등 어마어마한 시간과 비용과 깨질 것은 확실하지만, 기적같이 그 문제를 빠르게 해결했다고 가정해보자.

오게 만들어 놔도 돈을 안 쓰는데?

고객들이 매장에 들어왔는데, 다른 슈퍼마켓보다 장바구니 금액이 적다. 왜 그렇지?

컨설팅 방식의 문제 해결법은 우리 동네는 어떤 소득, 소비 수준을 갖춘 사람들이 살고 있고, 그래서 상품은 어떤 종류를 소비하고, 그 중 어떤 상품은 브랜드 이미지가 어떻고, 그래서 어떤 종류의 상품을 더 많이 입점시켜야하고 등등으로 “솔루션”을 내 놓을 것이다.

현장 짬밥이 굵은 지점장이면 어떻게 접근할까?

물론 컨설팅 스타일로 우리 슈퍼 고객들의 장바구니와 다른 경쟁 슈퍼 고객들의 장바구니도 뒤져보겠지만, 고객들 동선을 뒤져보라는 이야기를 먼저할 확률이 높다. 특히 주차장 문제를 직접 해결한 지점장이면 직접 장바구니를 들고, 혹은 가족 동반으로 장바구니를 들고 1주일치 장을 보겠지. 먹고 싶은 상품이 없을 수도 있고, 먹고 싶었던 상품이 잘 안 보이는 구석에 있을 수도 있고, 배치에 대한 설명이 부족해 고객이 헷갈릴수도 있고, 매장 직원들이 제대로 설명 못해줘서 고객들이 포기하고 있을수도 있다.

고객이 움직이는 동선을 의도적으로 조절할 수 있도록 매대의 폭을 조절한다던가, 상품이 잘 팔리는 코너에 더 주력 상품을 배치한다던가, 리베이트를 많이 주는 상품들 위주로 홍보 마크를 달아놓는다던가 등등 매장 안에 고민해야할 요소는 수백, 수천가지가 넘는다.

참고로, 이런 지식으로 Ergonomics in Retail이라고 산업공학의 분과학문도 있고, 심지어 이런 종류의 수업과 교재도 찾아볼 수 있다. (Principles of Ergonomics라고 구글링 GoGo) 관련 주제를 연구하시는 분들은 잘 알겠지만, 여기도 다 “맞는 비율”대로 배치를 해야 된다. 싸구려 경영 성공 신화 서적에 “황금률” 한 단어로 정리되고만 끝판왕의 기하학 지식과 무수히 많은 시행착오가 맞물린 결과물이 우리가 마트에서 보는 상품 배치다.

현장 짬으로 올라가신 분들은 그걸 경험으로 익히고 있으신거고, 박사들은 기하학이라는 수학 지식과 실험 기반의 통계적 연구로 그런 지식을 쌓은 차이가 있을 뿐이다.

머신러닝이 쓰일 곳

실제 건물에서 사람들의 움직이는 경로에 대한 데이터를 얻고, 그걸 바탕으로 추론을 하던 기존의 연구 방식이 혁명적인 변화를 맞은 건, 아이러니컬하게도 움직임을 잘 추적해주는 전파기기(Beacon)가 설치되어서가 아니라, 추적 자체가 매우 간편한 온라인으로 구매의 중심축이 이동했기 때문이다. (기계차고 상품 꺼내는 액션을 취하는 위의 사진을 보면 알겠지만, 슈퍼마켓 산업에서 상품 위치를 어떻게 놓고, 어디에 놓는게 합리적인지 알아내려고 저런식으로 신호를 보내는 기계를 차고 가짜 고객들이 직접 쇼핑을 하도록 데이터를 모으던게 불과 10년전의 상황이었다.)

온라인 쇼핑몰에서는 당신이 어떤 검색어로 어떤 상품을 봤고, 얼마나 긴 시간동안 그 페이지를 보다가 다른 페이지로 이동했는지에 대한 “지문”을 다 갖고 있다. 그 상품 하나만 보고 안 사고 나가버린 데이터 밖에 없으면 문제의 원인이 뭔지 알아내기 힘들겠지만, 다른 상품을 결국 구매하는걸 보고, 두 상품 간의 차이에 대한 정보를 알아낼 수만 있으면 앞 상품이 왜 안 팔렸는지 쉽게 이해할 수 있게 된다. 한 두명의 데이터로는 어려울지 몰라도, 수십, 수백명의 비슷하지만 다른 상품을 구매하는 데이터가 쌓이기 시작하면, 가격이 문제였는지, 상품의 어느 특징이 문제였는지를 구분해내는 정확도가 가파르게 올라간다.

(위에 스크린 샷을 넣은 파비캐시의 쇼핑 탭 데이터를 처리하는 방식이기도 하다.)

같은 카테고리의 상품 N개를 묶고, 그 중 가격과 판매량 간의 상관관계(기울기 or 탄력성)가 얼마나 높은지 잡아내면, 해당 상품군은 상품 품질이 중요한지, 가격이 중요한지 잡아낼 수 있을 것이다. 산업조직론이라는 경제학의 분과 학문에서 오랫동안 해 오던 작업이고, 온라인 쇼핑몰에서는 시스템만 갖춰져있으면 클릭 몇 번에 같은 정보와 결론을 얻을 수 있다.

좀 더 발전되면 상품 소개 문구 하나, 썸네일 사진에 쓰이는 색상, 썸네일 사진의 모델, 글자 폰트, 화면 색상 등등 수십, 수백개의 요소들, 비지니스 운영자라면 만들면서 고민하고, 만들어놓고 또 고민하고, 바꿀까, 어떻게 바꿀까 수백, 수천번을 고민해야하는 요소들을 꽤나 합리적인 숫자로 확정지을 수 있게 됐다. (요즘 이런 내용을 산업공학과의 Ergonomic design 하는데서 가르치더라.)

유저들의 행동을 뒤에서 보고, 녹화를 떠서, 설문지를 돌리고, 질문을 하고 답을 얻어가면서 얻었던 유저 행동 경험 데이터를 실제 Live 서비스에서 바로바로 얻어낼 수 있는 것이다. 물론 서비스가 제대로 돌아가야 유의미한 데이터를 얻을 수 있고, 그런 정보 없이 만든 서비스가 잘 만든 건지에 대해서는 딱히 정보가 없는 상태로 시작해야한다는 단점이 있다. 그 땐 맨땅에 헤딩해가며 지식을 배우는 수 밖에.

학문을 하면서, 비지니스를 하면서, 한 분야의 지식이 성숙되어 가는 과정을 보면 큰 공통점을 갖고 있더라. 언제나, 어떤 단계건 관계없이, 지식은 작은 차이를 읽고, 그걸 어떻게 추상화할 수 있을까, 그래서 다른 부분에 어떻게 적용될까, 혹은 이 (작은) 문제를 어떻게 해결할 수 있을까 같은 문제의식에서 출발하더라고 감히 단언할 수 있다.

두 영역간의 차이는 그 문제를 해결하는데 수학, 통계학 같은 학문을 쓰느냐, 직관과 경험을 쓰느냐의 차이일 뿐이다.

비지니스 의사결정 구조의 진화 by 데이터 사이언스

설문지보다 훨씬 더 정확하게 인간의 선호를 보여주는 데이터, 현시선호 (Revealed preference)가 표시된 데이터를 손쉽게 얻을 수 있는 세상이 되었기 때문에 컨설팅 방식의 틀리지만 빠르게 얻을 수 있는 결론의 가치가 뚝 떨어져버렸다. 오히려 더 통계학적 방법론을 이해하고 쓸 수 있는 사람, 좀 더 복잡한 패턴을 찾아내는데 쓸 수 있다는 머신러닝 지식 (or Non-linear 패턴 매칭 지식)을 갖고 있다는 사람들에 대한 수요가 늘어날 수 밖에 없는 것이다.

위의 매우 허접한 그림을 놓고 개념 정리를 하면

A타입: Top-down 형태의 컨설팅 형태의 지식 생성 과정
B타입: Bottom-up 형태의 하나하나 벽돌을 쌓아올려서 삼각 피라미드를 완성하는 과정
C타입: 삼각형 2개를 겹치는 복잡 구조물을 만드는데 하나하나 데이터의 검증을 받는 과정

이 될 것 같다. 지금까지 비지니스가 B타입이었기 때문에 A 방법론으로 접근해도 될 것이라고 생각했던 것 같다. 최근들어 C타입의 그것처럼 복잡한+특화된 업무가 만들어지면서 내가 맞는지에 대한 시행착오가 비약적으로 늘어나게 됐고, 시행착오를 비싼 비용을 들여 가짜 유저를 투입시키지 않고 데이터를 이용해서 꽤나 높은 정확도로 바로바로 확인할 수 있게 되었다. 업무는 C타입으로 복잡해졌고, 검증은 온라인 유저 데이터를 이용하면 빠르게 진행되니 굳이 B타입 시절에 A 방법론을 쓰던 컨설턴트에게 수십억을 바치는 바보짓을 안 해도 되는 것이다.

t-Test, A/B Test 같은 1회성의 1변수, 2변수 테스트가 흔히 알려져 있는 통계 테스트 방식이고, Bayesian update를 이용해서 Bandit problem을 풀어내는 연속성의 테스트도 같은 클래스의 통계학 이용법이라고 볼 수 있다.

지난 글에서 Linear 결과값만을 내놓는 직장에 있으면 2000년대 초반의 지식 체계에 갖혀버릴 것이라고 했었는데, 요즘 데이터 사이언스 붐이 생기는 이유, 이런 붐이 지속되기 위한 필요조건을 대라고 하면 C 타입의 업무가 얼마나 많아지고 사람들에게 받아들여지느냐에 달려있다. 단순한 이미지 인식이나 자연어 처리는 연구실에서 고민한 함수를 적용하는데 그치지만, C 타입의 업무는 본인의 데이터 사이언스 내공을 실무에 적용하는 비지니스 감각에도 영향을 받을 것이다.

나가며 – (전략) 컨설턴트 = 동경대 법대 나온 천재같은 바보

컨설팅 스타일로 빠르게 뭔가를 이해하려고 하는 Top-down 접근법 자체가 틀린 것은 아니다. 다만 그 접근법은 지식을 쌓는 과정이 아니라, 잘 모르는데 “대충대충” but 빠르게 이해하려는 접근법이다. 속도는 머리가 좋으면 빨라질 수 있겠지만, 정확도라는 측면에서는 조건이 복잡한 내용이었을수록 “대충대충”의 한계가 두드러질 수 밖에 없다. (사실 여기서 한 발자국 더 나가면 “사기”가 된다. 전문성도 없으면서 전문가인척 했으니까.)

우리 시대에 더 이상 컨설팅적 접근법이 효과적이지 않은 가장 큰 이유는 아마도 그렇게 “대충대충” 접근해서는 안 될만큼 사회가 다원화, 복잡화되었기 때문일 것이다. (B타입에서 C타입이 되었다는 뜻이다.) 말을 바꾸면, 모든 질문에 앵무새처럼 동경대 법대 출신이라고 답하던 천재를 고용할 수 없었던 어느 일본 기업의 사례가 사회 전반으로 확장되었기 때문이다.

우리 회사의 앱 운영 업무만 해도 누군가는 1년이상의 시행착오를 하면서 배워야하는데, 또 다른 누군가는 비슷한 서비스를 써보고 운영을 고민해본 경험이 몇 년간 축적되어 바로 업무 투입이 가능해진다. 이런 경험에서 우러나오는 지식(Hands-on-knowledge)을 컨설팅식의 Top-down 방법으로 이해할 수 있을까?

좁은 구역 주차를 수천번해보던 전문가가 아니라면, 주차장 모양만 보고 바로 문제점을 지적할 수 있는 Ergonomics 전문가가 아니라면, 자기 마트 주차장의 문제는 직접 주차 실패를 겪으며 몇번 차를 긁어봐야 알 수 있을 것 같다.