지난해 11월 말에 ChatGPT가 출시되고 2개월만에 사용자가 1억명을 넘었다는 보도가 있었다. 이제 만 2개월이 좀 더 지난 시점인데, 수익화를 위해서 개발사인 OpenAI가 서두르는 것을 보면서, 게임 이상으로 현실 서비스를 뜯어 고칠 수 있을까는 의문을 던져봤다. 한 언론사 기자 지원을 했던 학생이 ChatGPT에서 정보를 얻어 기사 샘플을 작성했다며 제출했단다. 솔직히 밝혀줘서 고맙다면서 글을 읽어본 경력직…
ChatGPT에 맞서 구글에서 Bard라는 LaMDA 기반의 대형언어모델(LLM) 모델을 내놨다. 이미 오래전부터 나왔던 이야기고, 모델 자체가 데이터 물량에 크게 의존하는만큼, 세계 최대 검색엔진을 갖고 있는 구글이 유사한 서비스를 못 내놓을 것이라는 생각은 하지 않았었다. 아직 준비 중이었을텐데, 워낙 ChatGPT가 여론의 관심을 받으니 출시일을 좀 앞당긴 것 같은데, 제임스 우주 웹 망원경(JWST)에 대한 설명 중에, 태양계…
ChatGPT의 모델 자체는 기존의 강화학습 모델들과 큰 차이가 없다. ChatGPT 측에서 직접 공개한 홈페이지 상의 설명이나, 논문에서도 기존의 강화학습을 일부 변형해 보상(Reward)를 주는 방식을 인간의 피드백으로 대체했다는 점을 지적하고, 해당 부분의 효과를 설명하는 실험으로 가득찬 전형적인 공학 논문이다. 위의 2번 식에서 볼 수 있듯, 기존의 강화학습(Reinforcement Learning, RL)을 놓고, Supervised Fine-Tuning(SFT)라는 작은 모델로 보정하는…
8.RLHF로 할 수 있는 것과 할 수 없는 것 자, 이제 이 시리즈 글의 가장 본질적인 목적으로 돌아와보자. 위의 논리를 이해했다면 굳이 ‘실험’에 의존하지 않고도 어떤 데이터와 어떤 목적일 때 RLHF가 효과적일 수 있을지 가늠이 될테니, 논리부터 한번 정리해보자. 우선, 일반에 ‘강화학습’으로 알려진 계산법은, 고교 시절에 봤던 미분 최적화 + 수열의 대학 방식 계산인데,…
5.강화학습(Reinforcement Learning)의 수학적 배경 위에서는 우리가 수식을 알고 있다고 가정했다. 근데 현실적으로 우리가 수식을 알고 있는 경우는 과연 얼마나 될까? 대부분의 도전은 우리가 문제를 정의하고 나면 수학 도구가 다 있기 때문에 간단하게 풀어낼 수 있다. (단지 그 수학이 배우기가 쉽지 않을 뿐이지만, 그것도 계산기만 잘 만들면 가능하다.) 진정한 도전은 바로 그 ‘문제를 정의’하기가 어렵다는…
요즘 ChatGPT가 엄청나게 많은 일을 할 수 있다며 말들이 많다. 모델을 봤을 때는 지난 2017년에 알파고가 나왔던 시절처럼 몇 가지 할 수 있는 것들만 말이 나오고는 Hype이 끝날 것 같은데, 몇 개의 시리즈 글로 ChatGPT가 왜 대단한지, 그럼에도 불구하고 뭔가 엄청난 일을 할 수 있는건 아닌지를 지적해 볼까 한다. ChatGPT의 명성을 이용하기 위해 그럴듯하게 자기네…
파비Fun 서비스 출시 이후 업로드 되는 다양한 종류의 유머 짤을 보게 되는데, 그 중 우리 회사 사업 모델과 직접적으로 연결된 짤 하나를 공유해본다 (Source: 파비Fun의 어느 포스트) 사실 똑같은 유머 짤을 9gag.com이라는 영어권 커뮤니티에서 본 적이 있는데, 댓글 중 하나가 굉장히 인상적이었던 기억이 있다. (Source: 9gag.com) 위의 댓글을 번역하면 투자자에게 회사 IR을 할 때는 끝판왕…
Computer Science 학계에서 (Computer Engineering 말고) 머신러닝이라는 계산 알고리즘에 관심을 가진 적이 대략 3번 정도 된다. 70년대 후반에 대기업 및 학교들이 대형 컴퓨터들을 비치해서 펀치 기계로 이런 저런 명령어를 입력하는 단순 알고리즘을 만들 때가 첫번째고, 90년대 중반에 메모리 가격 폭락으로 하드웨어 가성비가 좋아졌을 때가 두번째, 그리고 2008년 이래 이미지 인식 정확도가 눈에 띄게 좋아지고 난…
지금 우리가 만나고 있는 “인공지능”은 사실 “지능”이 아니라, 데이터에서 뽑아낸 패턴들로 이뤄낸 고급 자동화라는 사실을 여러번 강조하고 있다. 이전에는 단순한 규칙만을 입력한 자동화였다가, 이제는 데이터에서 더 다양한 규칙들을 뽑아내서 자동화를 좀 더 복잡한 수준으로 할 수 있는 정도에 불과하니 이건 “지능”이 아니라 “규칙”을 “저장”하는 것에 불과하다고 했다. 본 블로그에서 여러번 강조하듯이, 단순히 데이터의 용량이 커져서가…
블록체인 투자 전문이라는 VC를 한 분 만났다. 인공지능이 세상을 이끄는 시대가 왔고, 그런 기술을 블록체인에 접목시켜서 비지니스의 혁신이 계속 일어날 것이란다. 곧 특이점이 오고, 그 때부터는 인류가 뭔가를 개발하는게 아니라, 프로그램이 자체 개발을 다 해서 지금까지 인류가 수백만년에 걸쳐 쌓아온 노하우와는 비교도 안 되는 어마어마한 발전이 앞으로 10년안에 일어날 거란다. (푸흡~) VC와의 미팅은 언제나 둘…
“인공지능”이라는 단어를 들으면 제일 먼저 떠오르는 그림은 무엇인가? 알파고? 로봇이 통치하는 세상? 매트릭스 속에서 건전지로 바뀐 인간? 아마 10년전만해도 인공지능이라는 단어와 함께 연관 검색어가 될 만한 단어는 “자동화”였을 것이다. 물레방아부터 증기기관까지 근세까지 인류의 목표는 인간의 노동력을 대체할 수 있도록 자연의 힘을 인간의 목적에 맞게 활용하는 것이었다고해도 과언이 아니다. 다만 최근까지의 자동화 시스템은 인간의 “사고”를 복제한…