머신러닝, 딥러닝, 블록체인과 NVidia
미국에 교수로 있는 석/박사시절 친구 하나가 사무실에 놀러왔었다. 무슨 비트코인 어쩌고 하는 걸로 사업하는거 아니냐고 농담하길래, 내 성격 알면서, 사업을 안 했으면 안 했지 내가 그런 사기치겠냐고 웃고 넘어갔었다. 처음 코인 바람이 불었을 때부터 예상했던대로 코인에 대한 (투기적) 수요는 지난 1년간 빠르게 증발했고, 덕분에 “비트코인 가격 예측할 수 있는 인공지능 알고리즘 만드는 가격은 얼마냐?”고 묻는 무개념 전화를 안 받게 됐다ㅋㅋ
꼭 1년 전쯤에 코인 가격이 폭등했던 탓에 코인을 “캔다”고 하는 일단의 그룹이 생겨났고, 그래픽 카드 수천대를 투입한 “광산”도 생겼다. 코인 가격들이 줄줄이 폭락한 탓에 그런 광산들이 다 문을 닫았고, 전기세도 안 내고 도망간 사람들도 많단다. “광산”에서 “학대”를 당한 그래픽 카드들이 대거 중고로 풀렸는데, 얼마 쓰지도 못 하고 하드웨어가 고장나는 일이 잦은지 중고 그래픽 카드 구매할 때 테스트해야할 내용들도 인터넷에 돌아다니게 됐다.
그래픽 카드 업계의 선두주자로 저런 대용량 데이터 계산에 사업 역량을 집중했던 Nvidia의 주가는 2018년 9월 28일에 주당 $281까지 치솟았다가 연말에 $140로 반토막났다. “광산”에 대규모로 투입되었던 그래픽 카드 중고 물량이 시장에 풀리면서 새로나온 제품이 안 팔리는 부분도 있을 것이고, “딥러닝” 혹은 “인공지능”으로 불렸던 Non-linear & Pattern recognition 계산이 가지는 한계를 업게에서 인지했기 때문이라고 생각된다.
(Source: CNBC 기사)
블록체인의 한계 – The Crypto Hangover
Nvidia의 CEO인 Jensen Huang은 대놓고 “The Crypto Hangover”라는 표현을 썼다. 코인 광산에 대한 시장의 반응이 차갑게 식어가고 있고, Nvidia 제품 판매에도 더 이상 영향을 주지 않을 것을 인지하고 있단다.
It’s hard to think that this crypto winter will be over anytime soon
코인이라는 가상화폐 자체의 활용 근거가 없고, 블록체인이 쓰일 수 있는 곳도 굉장히 제한적이라는 이야기를 하면서 줄곧 주장했던대로 암호화폐에 대한 (투기적) 수요에 겨울이 닥칠 것이라고 목소리를 높였는데 (Winter is coming), 이제 정말 겨울이 왔다. (Winter has come)
블록체인을 이용해 코인을 발행하고, 생태계가 구축되고 결국은 정부도 이 흐름을 받아들여야할 것이라고 주장하던 어느 “블록체인 전문 VC”도 떠오르고, 어느 스타트업이 데이터 팔아서 돈 벌 수 있다며 코인 발행을 하겠다고 사업 모델을 바꾸더니, 코인 발행한걸로 돈을 “벌었다”고 주장하던 꼴불견도 생각난다. 상품을 판매한게 아니라 코인을 발행한건데, 그게 왜 돈을 번거냐? ㅋㅋ (개인적으로 알고 있는 시장 숫자들에 따르면, 스마트폰 기준으로 우리나라에서 유저 데이터를 제일 많이 보유한 SKT도 데이터 파는 사업으로는 직원 월급은 커녕 서버 유지도 힘들 것이다. 그런 사업 모델을 생각한 사업가들이나, 거기에 투자한 VC들이나, 그 코인을 구매한 투자자들이나…. 근데 그 스타트업에게 더 큰 문제는 데이터 생성과 서비스의 주체인 1st, 2nd party도 아니고, 데이터 기록을 대행해주는 3rd party이면서 남의 데이터를 팔았으니 법적인 분쟁이 터질 위험이 아닐까?)
Crypto Winter가 끝날 것 같지 않다는 말은, Nvidia 주가 폭락이 상징하는 것처럼 가상화폐 발행을 위한 블록체인 시스템이 매력적인 사업 모델이 아니라는 사실을 (최소한 미국) 시장이 인지하고 있다는 뜻이다.
코인 가격 등락에 매일같이 투자자들 등쌀에 힘들다던 어느 블록체인 스타트업 대표의 다크 써클 가득한 눈이 떠오른다. 50원에 발행한 코인이 5원에도 거래가 안 되고, 거래량마저 없으니 돈 날렸다 -> 사기당했다로 생각이 바뀌는 투자자들이 가만있지 않을 것이다. 주식은 저런식으로 상장 폐지의 위험에 다다르면 투자자들이 회사 건물로 쳐들어가곤 하던데, 블록체인 투자자들 사이에서도 조만간 비슷한 일이 생기지 않을까? 모르긴 몰라도 법적 책임이 애매모호하다는 핑계로 도망가려는 코인 발행사들 & 관계자들 vs. 묻지마 투자자들 사이에 큰 분쟁이 머지않아 뉴스 지면에 오르내리게 될 것이다.
(Source: Nvidia)
딥러닝의 한계 – The AI Hangover
바둑계의 전설이라고 불리는 이세돌을 4승 1패로 물리친 알파고가 등장한 이래, 그 게임의 계산 모듈을 만든 Demis Hassabis와 그의 회사 “딥마인드”는 스티브 잡스나 엘론 머스크를 능가하는 IT업계 아이콘이었다. 전문가들 눈엔 “Neural Net 잘 짰네”라는 생각밖에 안 드는 그런 계산 알고리즘에 일반인들이 열광하면서, 단순히 게임만 잘하는 Artificial Intelligence (AI)가 아니라, 모든 일을 다 자동 습득하는 Artificial “General” Intelligence (AGI)가 곧 인류의 삶을 뒤바꿀 것이라는 장밋빛 전망이 언론을 뒤덮었다.
새로운 데이터가 필요한 부분을 시뮬레이션으로 대체한 “알파(고) 제로”가 등장하면서 더 그런 믿음이 한층 고조되었는데, 정작 전문가들의 눈엔 새로운 분야에 적용할 시뮬레이션 데이터 생성 부분이 당면 과제로 떠올랐고, 그걸 인간이 갖고 있는 계산 모듈로 해결할 수 있을지에 대한 의구심이 샘솟기 시작했다.
시뮬레이션으로 모든 가능성을 다 점검하는 작업은 고려해야하는 변수와 가능성의 숫자에 따라 무한대에 가까운 데이터 생성이 필요한데, 이걸 뭔가 적절한 수학 모델링을 풀어내는 방법으로 단순화 시키는게 아니라, 단순하게 시뮬레이션으로 모든 조합을 다 생성해내는 방식으로 접근하고 있으니 전문가들이 발전 가능성에 의구심을 품는 것은 당연한 일이었다.
요즘와서는 Demis Hassabis 본인도 (Deep) Neural Net이 적용되는 한계를 인지한 발언을 하고 있고, 실리콘 밸리에서도 수학, 통계학 잘 모르는 공대생들만 Deep Net에 얽매여 있다. (Deep Learning을 더 배우고 싶어요~ 라던 그 공대 석사 가시는 분, 다시 한번 자신의 커리어 Path를 생각해보시길 바란다.) Data Science 석사 프로그램들은 아예 대놓고 수학적으로 훈련을 많이 받은 사람들 위주로 학생 선발하겠다고 이야기를 하지, 그래픽 카드의 성능을 활용하는 오픈 소스 솔루션을 쓸 줄 아는 사람을 뽑겠다는 이야기는 찾아보기 어렵게 되어버렸다.
(Source: Nvidia)
NVidia의 갈림길
그동안 그래픽 카드 소비자들이 봤던 라벨은 일반 상업용 제품 (GTX 계열)과 캐드 계산을 지원하는 제품 (Quadro 계열) 밖에 없었다. 경쟁사인 AMD에서 내놓는 제품도 OpenGL이라고 캐드 계산을 비롯한 일부 3D 이미지 처리 전문 모듈에 대한 논의만 있었다. 그런 계산 모듈들을 셰이더 코어라고 부르고, 3D 그래픽 계산의 성능은 정수 유닛 계산 속도가 아니라 부동 소수점 유닛 계산 속도에 달린 바가 컸다.
Nvidia 주가가 그동안 폭등했던 이유 중 또 하나는 셰이더 코어 뿐만 아니라 Tensor 코어를 추가해놨기 때문이었다. 여러분들이 TensorFlow라는 구글의 오픈소스 계산 모듈 이름으로 한번쯤 들어봤을 그 3차 이상의 행렬 데이터 계산을 위한 모듈을 말한다. 어차피 그래픽 카드 자체가 행렬식으로 계산을 처리하기 용이하도록 구성되어 있기 때문에, Tensor 코어를 추가하는 것 자체는 기술적인 도전이 아니었지만, 그 계산 코어가 효율적으로 작동하도록 하드웨어용 설계 및 펌웨어를 구성하는 일은 절대로 쉬운 일은 아니었을 것이다.
그렇게 Tensor 코어에 집중하던 Nvidia가 이번에 GTX 계열 라인업을 업그레이드 시켰는데, 정작 Tensor 코어 성능 향상은 그렇게 크게 느껴지지 않는다.
이번에 출시되는 RTX 시리즈는 기존의 셰이더 코어를 정수 계산용과 부동 소수점 계산용으로 구분하고, Ray Tracing (RT)이라고, 이미지에 빛을 넣는 렌더링 방식을 광원 여러개를 가정하고 처리하는게 아니라 중심 광원 하나에 따르도록 바꿨다. 그럼 Tensor 코어도 뭔가 업그레이드가 있었을 것 같은데?
Tensor 계산을 한다는게, 결국은 고차원 행렬의 합연산과 곱연산을 수행하는걸로, 연산 총량(스루풋)을 몇 십배로 늘리기 위해서 행렬에만 집중한 코어를 만들었는데, 정작 행렬이 아닌 연산에는 아무런 쓸모가 없는 전기 식충이(!)가 되어버린다. RTX가 진화하는 방향은 Ray Tracing으로 이미지를 좀 더 게임하는 사람에게 실제감각이 느껴지도록 렌더링하는데 포커스가 맞춰져 있는데, 행렬 계산은 거기에 아무런 관련이 없기 때문에 무작정 많은 코어를 넣을 수도 없다. RTX 그래픽 카드를 딥러닝 알고리즘에 활용하는 사람들 비율이 얼마나 되겠는가?
결국엔 여러 데이터 포인트를 하나의 곡선으로 연결해 묶은 Interpolation을 하는 계산에 Tensor 코어를 활용하는 방식으로 타협했다는데, 아무래도 데이터 포인트가 모자라서 빈칸이 생긴 경우를 메워넣는 쪽으로 쓴다는 뜻일 것이다. (결국 머신러닝의 가장 기본형 포맷인 Non-linear function matching으로 돌아갔다는 뜻이기도 하다.)
분명히 TensorFlow 덕분에 주가 폭등이 있었는데, 왜 새로운 그래픽 카드 시리즈를 내면서 Tensor 계산 지원해주는 스루풋 처리 부분을 더 늘리지 않고 Interpolation으로만 갖다쓰는 타협을 했을까?
답은 윗 섹션에 있다. Deep Neural Net이 더 복잡한 계산을 해야하는 도전에 직면한게 아니라는 사실을 Nvidia가 인지 했기 때문이다. 말을 바꾸면, AI가 AGI로 나아가는 방향에서 DNN이 더 이상 큰 역할을 못한다는 사실, TensorFlow 계산 지원이 더 이상 큰 도움이 되지 않는 사실을 인지했기 때문이다.
나가며 – 하드웨어 장치 산업 w/o 거품
90년대 초중반부터 우리나라의 주력 수출품목은 반도체였다. 반도체 가격이 폭락한 90년대 중반에 금융위기를 맞았고, 모든 산업이 쇠퇴하고 있는 2010년대에도 경제성장율이 +를 유지하는 가장 큰 이유는 삼성전자와 SK하이닉스의 반도체 수출덕분이라고 해도 과언이 아니다. 그리고, 지난 몇 년사이에 인공지능(?), 클라우드 컴퓨팅 등을 비롯한 IT산업의 혁명이 있었기 때문에 반도체 수출이 장기간 호조였다. 그런 호조가 얼마나 지속될지, 메모리 분야의 세세한 내용을 잘 모르니 전망을 내놓고 싶진 않지만, 적어도 인공지능, 블록체인이라고 불리던 거품이 빠지면 하드웨어 투자를 위한 수요는 줄어들 것이라고 생각한다.
Nvidia도 시장의 흐름을 읽고 원래 돈 벌이가 됐던 분야인 게임쪽에 더 집중한 그래픽 카드 라인업을 내놓았다. Ray Tracing 방식의 렌더링이 어두운 영역은 더욱 어둡게 표현한다고, 오히려 쓰기 안 좋은거 같다고 불평하는 사람들에게 그건 디스플레이가 2^10 단계의 밝기 (10스톱)에 머물러 있기 때문에 색이 뭉쳐나와서 그렇다고, 인간의 눈 급인 2^20단계 (20스톱)를 지원할 수 있도록 모니터용 하드웨어 기술에다가 따져라고 하는 댓글을 봤었다. Nvidia가 Tensor 코어 추가 투입하는데 집중하는 대신, 게임 시장에서 넘사벽의 그래픽 성능으로 게임사들과 모니터 제조사들까지 압박하는 모습과 DNN 기반의 Reinforcement learning은 한계가 있는 것 같다는 인터뷰를 하는 Demis Hassabis의 표정이 꽤나 대비된다.
섣부른 예측일지도 모르지만, AGI만든다는 도전은 컴퓨터 알고리즘보다 생물학에서 먼저 가시적인 성과를 볼 것 같다. 애시당초 지능은 컴퓨터를 이용한 2진법 방식 연산의 중첩이 아니라 진짜 “학습” 프로세스를 거치는 생명체에게서 찾을 수 있는 것 아니었나?
