강화학습을 배우고 싶습니다 – 그럼 대학원을 가세요
늦은 시간에 메일 보내는 점 죄송스럽게 생각합니다. 블로그 글을 정독하다 지금까지 깨있게 되었습니다.
이번 프로젝트 주제를 머신 러닝 / 강화 학습을 주제로 프로젝트를 진행을 하며 책, 웹 검색 등으로 학습 해가며 밤새 공부하면서 구현을 하고 있습니다.
원래도 이 주제에 흥미가 있어 학부내에서 들을수 있는 모든 관련 과목인 데이터마이닝, 바이오데이터마이닝, 빅데이터SNS분석, 인공지능, 지능형시스템 이란 수업을 들었습니다.
유독 머신러닝 랩 부분 교수분의 수업인 ‘지능형시스템‘과 ‘바이오데이터마이닝‘의 경우 공부를 하면서도 이게 머신러닝과 무슨 연관이 있는 내용이지? 하면서 공부를 하였습니다.
지능형시스템의 경우는 R을 사용해서 R의 여러가지 함수설명과 통계학적 지식을 알려주는 수업이었고
바이오데이터마이닝의 경우는 대표님께서 추천해주신 책인 ISLR로 선형회귀, SVM, Random Forest 등 통계학과 관련된 수업만 진행 했습니다.
그래서 수업을 들을때는 이게 연관이 있는 부분인가 하고 그냥 열심히 들었는데 대표님 블로그글들을 정독해 나가면서 수업이 그랬던 이유를 깨닫게 되었습니다.
솔직히 처음에는 ‘무‘에서 ‘유‘를 창조하는 마법과 같은 기술이라고 생각했지만 ‘유‘에서 더 좋은 ‘유‘를 찾아 나간다는 기술이란 것을 알게되었습니다.
여전히 이 길로 가고 싶고 컴퓨터쪽 지식은 좋은편이라 생각하지만 현재 지식에서 좀더 나에게 부족한 통계학을 공부하고 싶은 열망이 생겼습니다.
그래서 현재 파비에서 진행하시는 강의를 들으려고 했는데 더이상 진행하지 않으신다는걸 알게 되었습니다. 그래서 몇가지 질문 사항이 있습니다. 여유가 되신다면 답변해주시면 감사하겠습니다.
1. 집안사정상 석사과정까지 거치기가 힘들 것 같습니다. 정말 석사를 하면서 배워보고 싶지만 4학년 학부생으로써 석사 못지 않은 커리어를 쌓을 방법이 있을까요?
2. 혹시 강화학습을 공부하는데 더 도움이 될만한 책이나 강의가 있을까요? 현재 도서관에서 빌린 책은 있지만 그저 구현에 집중한 copy & paste 위주 책입니다.
읽어주셔서 감사합니다. 여유가 될때 답변해 주신다면 정말로 감사합니다.
안녕하세요 XXX님,
부족한 블로그를 새벽까지 읽어주셔서 감사합니다.
아래에 짧게 답변드립니다.
1. 한국에서 석사를 해 본적이 없어서, 특히 컨설팅 회사식으로 돌아간다는 공대의 석사 프로그램을 직접 경험해본적이 없어서 해외 석사 프로그램과 얼마나 퀄리티가 차이날지는 모르겠습니다만, 제 경험상 학부 수준과 석, 박 수준은 매우 많이 다릅니다. 저는 학부출신이 아무리 경력이 길게 쌓여도 데이터 사이언스 관련한 중요한 일을 시킬 생각이 없습니다.
2. 강화학습이라는 단어에 매몰되고 있는걸보면 아직까지 공부가 부족한 듯 보입니다. 핵심은 그 안에 쓸 Supervised learning 모델을 어떻게 만드는가에 달려있기 때문에, 결국은 석사 이상 레벨에서 Hamiltonian optimization을 공부해야 강화학습이라는게 결국은 stochastic optimization 계산을 iteration으로 하는데 n개 이상의 uncertainty를 포함시킨 것에 불과하다는 걸 이해하게 되실겁니다. 이건 Model-Free로 계산한다는 Q-learning도 크게 다르지 않습니다. 단지 N개 Uncertainty 를 Grid search 하는 시뮬레이션으로 처리하는 작업에 불과합니다. 블로그에서 계속 이야기하고 있는대로, 공학도들이 흔히 빠져있는 함정인 컴퓨터(or 계산기)가 알아서 계산해주겠지라는 마인드를 빨리 버리시킬 바랍니다. 일단 방정식을 정의해야 계산기도 작동하잖아요. (계속 함정 안에 머물러 있으면 제가 “공돌이”라고 폄하하는 사람들이 됩니다 ㅋㅋ)
원 글 내용을 일부 수정했습니다.
