맞는 시험 vs. 틀린 시험
대학원 시절, 거의 대부분의 시험 문제는 지난 몇 년동안 돌아다니고 있던 Working Paper,
즉, 아직 유명 저널에 실리지는 않았지만, 연구자들 사이에서 입에 오르내리고 있던 논문을 압축 요약한 경우가 많았다.
다른 학문들 사정은 모르겠는데, 내가 공부하던 분야에선 Draft 나오고 난 다음에 실제로 Publish까지 몇 년씩 걸리는 경우가 허다한데,
대부분은 논문 홍보(?)에 들어가는 시간으로, 여기저기 대학들, 연구소들 다니면서 논문 발표하고,
이런 저런 Journal에 투고했다가 매번 욕 먹으면서 보완해라는 속 쓰린 메일 답변을 6개월, 1년 만에 한번씩 받으면서,
실력파 연구자들에게 좋은 코멘트 받으면서 조금씩 조금씩 수정 보완하는 작업을 거치는 과정을 거친다.
그렇게 수정, 보완하는 단계에 있는 논문을 슬쩍~ 본 교수가, 이번 시험은 이렇게 슬쩍~ 바꿔볼까~ 라면서 문제를 만들더라.
사실상 시험 시간 중에 요약 정리한 논문 하나를, 그것도 실력파 교수가 몇 년간 괴롭게 다시 쓰고 있는 논문을 쓰라는 셈이다.
우리 SIAI의 시험문제 출제 방식도, 내가 주제는 많이 모자라지만 그런 스타일(?)을 시도한다.
단, 굳이 학부 레벨 시험에 최신 연구를 붙일 필요는 없을테니, 재밌는 현실 주제와 연결시키는 형태로 난이도가 내려가긴 하겠지만.
재밌는 현실 주제와 연결시키는 이야기
아래는 변리사 업무 중인 어느 MBA 학생의 시험 후기다.
2nd term이 지나면서 눈이 많이 뜨였습니다.
데이터 사이언스는,
- 무엇이 어떻게 정보가 되는 지,
- 알고 있는 정보를 취합하면 논리적으로 어떤 결론이 나오는 지,
- 제한된/오염된 정보에서 유용한 정보를 어떻게 쥐어 짜내는 지,
- 새로운 정보가 주어질 때, 그 정보를 어떻게 활용하여 기존 결과에 반영할 것인지 등등을 수학/통계를 “활용하여” 고민하는 학문
이구나 하는 관점을 가지게 되었습니다.
그리고, 수학으로 쓰여진 것을 스토리로 풀어내는 작업 그 자체가 저에게 엄청나게 도움이 됩니다.
제가 직업상 하는 일이 “기술을 법률이라는 체에 걸러서 언어로 풀어내는” 작업이거든요.
“이걸 이렇게 풀어낼 수도 있구나” 하는 순간들이 많습니다.
그리고, SIAI 스타일의 시험문제, 예상문제 풀이 훈련을 쭉 겪으면서 드는 생각은,
“대표님이 진짜 회사에서 겪음직한 현실 문제들을 어떻게 추상화해서 “시험문제화”할 것인 지 고민 많이 하셨구나”
싶습니다.
정보파악(및 업데이트) > 적절한 모델 선정 > 비교검증 > 멍청이들을 어떻게 설득할 것인가?
구조의 반복이더라구요.
(물론 학생 수준 감안해주셔서.. 문제를 심하게 단순화시켰고, 모범답안까지 친절하게 던져주셨구요)
논문 쓰는 훈련까지 무사히 마치고 나면, 적어도 클라이언트가 “어떤 정보를 어떤 모델을 활용해서 어떤 문제를 풀어내려고 했나” 수준에서 이해하고,
“여기서 보호 가치가 있는 아이디어는 무엇인가”에 대해 분석할 수 있는 토대가 마련될 것 같습니다.
이 학생이 초명문 공대 학,석 출신에 변리사로 일하면서, ML이라는 요술방망이만 휘두르면 무조건 특허가 나갈 수 있다는 고객들을 상대하느라 업무가 쉽지 않다는 이야길 몇 번이나 했었다.
수학을 잘 몰라도, 최소한 번역된 결과물이라도 정보 손실을 최소화하면서 이해할 수 있으면 좋겠다는 생각으로 MBA를 찾아왔다는데,
똑똑한 학생이다 보니 2 term, 즉 4달만에 벌써부터 “문제 만든 사람의 머리 꼭대기에 있는 티“가 나는 후기가 나왔다.
근데 만약 그 문제가 논문을 잘 요약해서 만든 문제였다면?
논문 쓴 사람의 머리 꼭대기에 있는 티
가 나는 실력자가 되지 않을까?
3rd term부터 5th term까지 우리 학생들이 겪게 될 일이다ㅋ
시험 문제가 매우 잘 요약 정리된 논문
이런 교육을 받고 나면, 시험 문제가 현실을 매우 잘 요약한 사례집의 고급 해석이라고 생각하고,
대학원 레벨로 올라가면 업그레이드 되어서 시험 문제가 매우 잘 요약 정리된 논문이라고 생각하고,
단순 암기형 문제가 나오면 문제의 급이 낮다고 생각하게 된다.
문제의 급은 둘째 문제고, 나같은 사람들은 그 학교 교육의 급이 낮다고 생각하게 된다.
그래서 국내 대학 졸업생들에게 전공에 관계없이 “너네 그냥 다 비전공자”라는 평이 나오는 것이다.
학교의 등급은 신문사들이 정하는 랭킹에도 영향을 받겠지만, 관계자(?)들 사이에선 연구 역량, 교육 역량으로 평가 받는 부분도 크다.
어느 대학 무슨 전공은 XXX, YYY 분야에서 엄청 강하다
같은 표현을 국내는 몰라도 해외대학 평가 중에 종종 들어볼텐데, 유명 신문사 기준 그 학교 랭킹은 그렇게 높지 않더라도,
그 학교의 교수들 몇 명이 만들어낸 특정 분야 논문, 그 논문 기반 수업을 듣는 대학원생들의 새로운 연구 결과물들로 만들어진 것이다.
학부 저학년 수준에서야 워낙 지식의 양이 부족하니 논문은 커녕 현실 사례 적용같은 흉내내는 것 조차도 쉽지 않겠지만,
고학년으로 올라가면서 이런 식으로 내가 배우는 내용들이 현실에서 어떻게 이용되는지 경험을 조금이라도 시켜줘야
학생들도 직장 나가서 현실 주제들을 내 전공에서 배운 방법론으로 어떻게 풀어낼 수 있다는 걸 깨닫지 않을까?
그래야 머리가 말랑말랑(?)한 상태로 이론과 현실을 잘 엮는, 대학 다닌 티가 나는 학생이 되는거지.
관련해서 (나한테만) 재밌는 이야기가 있는데,
머리가 백발인 노 교수님 한 분이 매일 아침을 시험문제 하나씩 풀고 시작한다는 이야기를 들은 적이 있다.
문제를 풀고나면 머리가 상쾌해지고, 그러면서 논문 아이디어가 우르르 쏟아진단다.
아마도 그 분이 푼다고 하는 문제들은, 내가 대학원에서 흔히 봤던 것처럼, 굉장히 좋은 논문을 잘 추상화 + 요약 정리한 문제일 것이다.
즉, 그 논문 저자 & 시험 문제 저자와 학술적인 대화를 하며 하루를 시작한다는 이야기다.
적어도 내가 대학원에서 봤던 문제들은 다들 그런 방식으로 만들어져야 학생들이나 주변 교수들한테 욕을 먹질 않았었다.
아님 문제 대충 만들었다고 뒷다마를….
이런 훈련을, 아니 사고방식이 주입되고 나면,
시험 문제 풀이가 단순히 점수 잘 받기 위해서 암기하고 쏟아내야하는 시간이 아니라,
내가 배운 방법론을 현실에 어떻게 적용할 수 있을까를 고민하는데,
- 남들이 해 놓은 고민을 (좋은 논문을)
- 추상화 요약까지 해 놓은 (시험 문제로 변경한)
고급 컨텐츠라는 걸 깨닫게 된다.
즉, 시험 문제를 잘 푸는게, 암기력이 좋은게 아니라, 정말 문제 해결력이 뛰어나다는 증거가 된다.
우리 SIAI MBA AI/BigData 학생 하나가 Business case 수업 과제의 작게작게 엮은 10문제를 풀고 난 다음에,
1.그냥 하라고 하면 아예 손도 못 대는 걸 10개 작은 문제들이 하나하나 가이드 해 줬다는 느낌인데, 중간에 하나 못 넘어가면 결국 다 막히는 문제여서 괴롭다
라고 평을 하더라.
비슷한 평을 국내 명문대에서 대학원 생활을 했던 다른 학생들에게서도 자주 듣는다. (이전 글에 소개했던 후기다.)
2.수학 들어가는 시험시간에 재미있어하고 열심히 풀면서 engagement를 느낀 것, 이게 ‘내 것’ 이라고 느낀 것이 정말 중학교 졸업한 이후 처음이라는 것입니다. 교육의 목적이라는 게 지식을 전달하고 능력을 키우는 것도 있겠지만, 지식에 대한 태도를 바꾸고 나아가 인생을 바꾸는 효과도 정말 중요한 것이라고 생각합니다.
3.단순히 외운거 답지에다 드랍하는 시험이 아닌 나의 언어로 논리를 한줄한줄 쌓아나가야 한다는 부분이 이전 교육에서는 배운 적 없는 일종의 신선한 충격이었습니다. 그리고 문제가 촘촘히 구성되어 있고 1번부터 10번까지 논리가 연결되어 있어, 한 문제라도 풀이가 엉성해지면 그 다음 문제도 풀기 어려운 느낌이었습니다. 마치 논문에서 논리 전개하는 것처럼요!
우리 학교 교육 프로그램 (MBA, BSc, MSc…)들 강의 상세 페이지들에 기출문제 일부를 공유해놨으니 한번씩 눈갱(?)을 해 보시기 바란다.
(모 대학의 게임이론 시험 문제, 음식점 이야기지만 기업 전략부터 다양한 곳에 응용할 수 있다)
시험문제가 읽기 자료? 읽기 자료가 시험문제 아니고?
몇 년 전, 가깝게 지내는 학부 친구가 7개의 작은 문제가 들어간 큰 게임이론 문제 하나를 갖고와서 풀 수 있냐고 물어본 적이 있다.
자기네 회사에 어떤 프로세스를 도입하는데, 외국에 있는 모 컨설팅 회사에서 관련 자료라면서 논문을 하나 보내줬고,
그 논문 읽기 힘들면 보라면서 줬던 자료 중에 시험 문제가 있더란다. (윗 짤이 좀 비슷하게 생긴, 그치만 좀 더 간략한 문제다.)
전형적인 게임이론 Information asymmetry 관련된 시험 문제던데, 자세하게는 못 풀어줘도 어떤 맥락에서 7개의 작은 문제들이 나왔는지,
아마 원래 논문은 어떤어떤 스타일의 내용을 각 스테이지 별로 무슨 변수를 어떻게 추가하면서 현실 설명 사례(?)들을 추가하는 방식으로 전개되었을지,
그래서 자기네 회사에서 X, Y, Z 경우를 이야기했으니 아마도 그 컨설팅 회사에서 적합도가 높은 논문 & 시험 문제라고 생각했을 것 같다고 답변을 해 줬었다.
자세한 속사정이야 모르겠지만, 한국 기업문화에 적용할려면 여러가지 제한 조건(?) 같은 걸 추가해야 저 모델이 정상 작동할텐데….
라는 생각을 얼핏했던 기억이 난다.
지금와서 생각해보면, 그 컨설팅 회사 직원이라는 분이 아마 나처럼 시험 문제가 논문 요약인 걸 겪는 교육을 받았기 때문에 그런 메일을 보냈지 않았을까 싶다.
그리고, 한국 교육 사정을 잘 모르니, 최소한 친구의 교육 수준을 잘 모르니, 그냥 비슷하겠지~ 라고 생각했던 탓에,
내가 친구에게 설명해줬던 것처럼 이해하리라는 기대, 그래서 자기네 컨설팅 결과물이 기반하고 있는 지식을 알아먹으리라는 기대를 가졌으리라.
근데 친구는 일 하던 중에 폭탄이 터져서 엄청 괴로우니 오죽 답답하면 날 찾아왔을까 ㅋㅋ
너무 실화에 기반한 거 아닙니까?
저렇게 논문으로 바로 부딪히면 좀 힘드니까, 논문보다 살짝 레벨을 낮춰서 현실 적용 가능한 논문의 일부분으로 범위를 축소해보자.
그게 학부 교육이잖아.
우리 MBA에 내 준 시험 문제 중 하나를 관련 업무하실만한 회사에 보내줬던 적이 있는데,
우리 시험 문제들을 읽어보면 알겠지만, 실제 회사에서 겪을만한 일들에 대한 대응들을 배운 내용으로 풀어내는 방식이라 그런지,
아니 너무 실화에 기반한 거 아닙니까 ㅋㅋㅋ 주인공인 것 같은 느낌이 드는 이유는 뭘까요
같은 우스개로 받아주시더라.
교육에 대해 다들 자기들만의 관점이 있고, 나보다 훨씬 더 내공도 뛰어나고 업력도 긴 분들이 계셔서 함부로 단언하기 찜찜하지만,
시험이라는 걸 외운 내용을 부어넣고 점수를 받아가는 시스템이 아니라,
내가 배운 내용이 실제 현실에서 이렇게 쓰일 수 있다는 걸 가늠하는 용도로 쓰면, 교육의 효과라는 점에서 큰 이득이 있지 않을까?
아니, 그래야 회사에서 대학 시절 배운 내용을 써 먹고 살 수 있지 않을까? 그래야 학위가 종이 학위 아니지.
수학은 현장에 못 써먹는거 아닌가?
얼마 전, 멀티 터치 기여도 분석 (Multi-Touch Attribution, MTA) 모델에 관심이 있다는 회사에서 연락이 왔다.
여러 개의 광고 채널을 이용한 광고 집행시, 매출액을 끌어올린 기여도를 데이터 기반으로 좀 더 정확하게 측정해서,
“기여도 = 광고비”로 맞추면 효율적인 예산배분이 되지 않냐는 모델이다.
원래는 인사 조직쪽에서 팀원들에게 보너스를 적절하게 배분하는걸로 쓰였고, 그 외에 복잡계 시스템의 입출력 재분배 일반에 다양하게 쓰인다.
광고 채널 쪽으로는, IT회사들 데이터가 제각각이니 연구하시는 분들이 계속해서 다양한 아이디어를 내는 중이지만, 수업 중엔 학생들에게 그나마 제일 만만한 모델 2개만 소개했었다.
영미권 광고대행사들이 갖고 있는 데이터와 그간 만나본 한국 일반 기업들이 갖고 있는 데이터 간에는 넘사벽의 격차가 있기 때문이다.
쓸 수 있는 걸 가르쳐줘야지 ㅠㅠ
국내 모 대기업 광고 계열사에 모델 분석을 요청하고 지난 X년간 자료를 받아왔는데,
정확성에도 의문이 들고, 자기네가 직접 관리해보고 싶은데 모델을 안 주길래 날 찾아왔단다.
그쪽 광고 회사에서 모델을 안 보여주는 이유를 이 글 읽는 분들 모두가 짐작하시겠지만, 굳이 글자로 옮길 필요는 없겠지.
보통 이런 요청이 오면, 제대로 이해 못하는 경우가 대부분 (아니 전부…)이고, 무슨 국책 연구소 일반 연구 단가 (즉, 푼돈..) 수준의 금액 들이밀면서 해 달라던 일이 많아,
(언젠가 대학원 생들 수준이 좀 올라오면 학생들 연구실에 던져주면 단가가 맞을지도 모르겠다)
그래놓고 당신네가 만든 걸 우리가 어떻게 믿냐, 공신력이 없어서 신뢰할 수 없다… 이런 어린애한테 무시당하는 기분을 자주 겪는터라 일절 무시하는데,
대기업들이 다들 그런거 같아요. 이상한 회사에 맨날 눈탱만 맞고, 돈만 버리고…
위의 모 대기업 출신 SIAI 학생 분의 표현에 대한 공감대가 형성된 분들인 것 같아서 한 발 양보를 했었다.
마침 MTA 관련해서 우리 MBA 교육 자료로 만든 시험 문제가 있어서 공유를 해 줬더니,
시험 문제를 보니, 광고 채널 별로 예산 소진된 정보가 없다가 그걸 구했으니 어떻게 결과값이 바뀌고, 판매 중인 상품 가격이 바뀌고, 환불이 2배로 늘고 같은, 저희가 매일 겪을만한 내용들이 있던데, 그런 상황에도 기여도 분석이 실제로 다 가능한 건가요?
라고 질문을 하더라.
우리 학생들이 Network Theory (+Centrality), Shapley value(+subgame aggregation)을 배우고 그 10개 작은 문제를 풀 때 어떤 생각을 했을까?
실제로 다 가능하니까 문제로 만든거 아닐까?
아니, 실제로 다 가능하니까 저런 계산법들이 나온거고, 논문들에 활용하고, 컨설팅 회사에서 논문들로 만든 자료라며 시험 문제도 주고 그러는거겠지.
그러니까 Shapley value 같은 모델은 노벨상도 받는거고.
그렇게 “눈탱” 맞는 돈 버리지 말고, 차라리 우리 MBA 학생들 뽑아 쓰시면, 완벽하게 배우진 못했어도 그럭저럭 많은 일을 할텐데…
아니 그 전에, 대기업 광고계열사 분들, 그렇게 모르면서 “눈탱” 먹이는 프로젝트로 B2B 비지니스하며 욕 먹지말고,
저 학생들 “어디 가서 뵙기도 힘든 교수님들 논문 심사까지 통과해서” 학위 받는 학생들이다. MBA가 그냥 노는 MBA가 아니라고.
그 교수님들이라는 분들이, 나같이 성격 까탈스러운 인간이 고민해서 선별하고 삼고초려한 최정상급 실력파 교수님들이고.
잘 가르쳐놨으니, 제대로 훈련 받은 똘똘한 학생들 뽑아 써서 한국 시장 수준 좀 끌어올려주시면 좋겠다.
나가며 – 맞는 시험 vs. 틀린 시험
한국 모 명문대에서 교육학으로 석사를 한, 평소에 좋은 교육에 고민이 많던 어느 분의 질문이다.
왜 우리나라 대학 교수님들은 수업을 대표님처럼 문제 풀이가 논문 읽기인 교육으로 안 할까요?
위에 말은 참 쉽게 했지만, 이거 직접 해봐라. 진짜 어렵다.
당장 여러분들께서 초등학생 수업교실에 가서 초등학교 수준의 컨텐츠로 비슷한 도전의 문제를 만들어 내 봐라.
초등학생들이 평소에 겪을만한 일들로, Tiktok에서 누가 컨텐츠를 올렸는데, 별을 몇 개를 받았고, 질투가 나는데, 그래서 안 좋다고 인스타그램에 소문내고… 이런 스토리..
쉽지 않다는게 확 피부로 와 닿지 않나? (가만보니 우리 SIAI 교육 욕하는 애들이 하는 짓이랑 비슷한데 흠… SNS를 이용한 Distraction…)
대학원 레벨 교육이 현장에 더 많이 쓰이는거 아니냐고? 글쎄, 초등학생 레벨이 훨씬 더 일반인 적합도가 높지 않나?
내가 실력이 없어서 더더욱 막히는 일이 많게 느껴지긴 하겠지만, 배운 내용을 절묘하게 적용한다는게 어디에서 뭘 하건 쉬운 일이 아니다.
세상의 많은 일이 말은 쉬워도 직접 일을 하려면 어려운 일들이 어마어마하게 많지 않은가…
매우 솔직하게 말해서, 국내 대학 교수진들을 좀 많이 무시해서 이런 발언 하는건 맞긴 한데,
9할 이상의 교수들은, 논문 쓰는 수준을 봤을 때, 그렇게 문제를 만들어 낼 수 있는 능력도 없을 것이고,
안타깝게도 능력이 출중하신 존경하는 교수님들도 그렇게 문제 만들 고민할 시간이 없다. 연구하셔야지.
근데, 일선 대학에서 그런 문제들이 나가는 수업에 수강생이 몇 명이나 될까? 아무도 안 들을거 같은데…
그런 건 어려워서 못 한다고?
인정한다. 논문은 읽기가 어렵다.
아니 고급 컨텐츠 라는 것들이 대부분 읽기가 어렵다.
읽어도 무슨 뜻인지 알기는 더더욱 어렵다. 연구자들인들 제대로 이해하는 비율이 몇 %일까?
그걸 회사 업무 어딘가에 적용하는건? 일단 이해를 해야 적용을 하던가 하지.
그렇게 적용하는 경험치를 쌓아주는 시험 문제를 만드는 것도 너무너무 어렵다.
그런 문제를 풀어 낼 수 있는 교육을 다 소화하는 것도 어렵다.
그 교육을 소화하기 위한 기초 교육을 소화하는 것도 어렵다.
그냥 다 어렵다.
지난 몇 년간 국내 대학들의, 특히 공대의 Data Science 교육이 “틀린” 교육이라고 맹비난을 해 왔다.
그런 교육의 한계에 공감했던 학생들이 SIAI와서 내 방식의 교육에 충격을 먹고 있다는걸 여러 차례 공개해오는 중이다.
그럼 “맞는” 교육이란 뭘까? 나처럼 문제 출제하면 “맞는” 시험일까? 글쎄…
이런 지식을 욕심 많은 똘똘이들에게 전달하고 있으니 운좋게 이런 스타일 시험 문제가 좀 더 “맞는” 상황이지 않을까?
요즘하는 생각으론, “맞는” 교육이란, 그런 0.1%에게만 열려있는 “어려운” 도전을 1%, 10%에게 열어주는 교육인 것 같다.
가능성이 있는데도 그 10%가 겁먹고 도망가서 문제일 뿐.
