빅데이터 “Integrated Intelligence”를 이용한 비지니스 모델 Pabii 블로그의 가장 큰 흐름을 2개만 잡으라면 하나는 수학과 통계학같은 기초학문이 탄탄해야 요즘 인공지능이라고 불리는 데이터 사이언스 작업을 이해할 수 있다는 포인트와, 빅데이터란 용량만 많은 데이터가 아니라 많은 사람들의 행동 패턴을 추적할 수 있는 데이터라는 포인트다. 그 중 빅데이터에 대한 관점을 좀 전문 용어를 빌려쓰면 집단지성 (Collective Intelligence)과 통합지성 (Integrated…
아마존(Amazon.com)이 인공지능 인력 채용 프로그램을 폐기했다는 신문 기사가 떴다. 짜놓은 알고리즘을 따라가면 여성 지원자들을 안 뽑는 방식으로 결론이 나온단다. (Source: Reuters) 저 프로세스에 대한 기술적인 평가나 도덕적인 판단을 내리기 전에, 일반적인 서류 선별 (Resume screening) 작업을 한번 생각해보자. 대학 졸업반 시절에 B 모 전략컨설팅 회사에서 잠깐 인턴을 했던 적이 있다. 그만 둘 날짜가 며칠 안…
언론사 기자 분이 취재 요청이 왔다. 요청 내용 중에 빅데이터 시대가 끝나고 스몰데이터 시대가 온다는 주장에 대한 코멘트를 해달라고 하시더라. 모르는건 모른다고 시원하게 지르고, 전화를 끊으면서 스몰데이터가 뭔지 구글링을 해 봤다. 이미 단순 대용량 데이터가 빅데이터가 아니라는 주장, 개인화 + 동적 데이터가 결합되어서 Multi-pattern을 추적할 수 있는 데이터일 때 “빅데이터”라는 Label을 붙일 수 있다는 주장을…
사업하는 친구 하나가 그러더라. 보험 아줌마들을 대체할 수 있는 인공지능 서비스 만들어 볼 수 있지 않겠냐고. 필자의 반박 질문은 2가지였다. 개인 동의를 받아봐야 신용등급에 관련된 정보 밖에 긁어올 수가 없는데, 그 데이터로 맞춤형 보험 추천이 가능할까? 보험 아줌마들로 가입하는 채널이 전체 비중의 절반도 넘을텐데, 직접 찾아오는 사람들에게 정보 제공하는것만으로 세일즈가 가능할까? 첫번째 질문에 대한 대답은…
Criteo라는 리타게팅 광고회사 (유저별 행동에 맞춰 쇼핑몰 노출 상품을 골라주는 광고 상품)에서 Senior Data Scientist로 재직하던 시절, 외부 접촉이 있을 때마다 항상 위에서 “절대로 회사 알고리즘을 상세하게 공개하면 안 된다”는 경고를 받았다. 굳이 공개해야할 때는 Top-line info만 공개해라고 여러번 주의를 들었는데, 회사 그만둔지 1년이 지난 요즘도 여전히 그 모델을 제대로 따라가는 경쟁자가 별로 없는 것과,…
국내에서 데이터 사이언티스트로 성장하고 싶으면 어떤 커리어를 밟아야할까에 대한 질문을 많이 받는다. 개발자들이 Data Engineer쪽 커리어를 밟거나, BI들이 Data Analyst쪽 커리어로 나가는 건 이미 여러번 이야기를 했는데, 정작 Data Scientist로 성장하기 위해 한국에서 어떤 커리어를 밟아야할까에 대한 고민을 깊게 해 본적은 없었던 것 같다. Engineer나 Analyst는 학부 출신들이 전공만 맞다면 충분히 도전할 수 있는 영역이기…
학부 3학년이었던 2006년 11월의 어느 날이다. Bain & Company라고, 꽤나 유명한 전략 컨설팅 회사에 면접을 갔었다. 그 때 인생 처음으로 정장도 한 벌 샀고, 겨울이라 춥다고 좀 비싸보이는 코트도 한 벌 사서 허겁지겁 면접을 갔다. 태어나서 첫 면접이라 참 시원하게 말아먹고, 뭐 어찌어찌해서 Bain & Company의 모든 컨설턴트들이 (너무 빡세서) 안 할려고 했다던 컨설팅 건…
밥 먹고 사는 타이틀을 데이터 사이언티스트로 달고 난 이래 줄곧 온라인 유저 데이터를 보고 살아온 탓에 “중독”증상이 좀 있는 것 같다. 처음 이 웹페이지를 만들고 난 다음에 제일 먼저 했던 일이 예쁘게 꾸미는 테마 구하는게 아니라, 데이터 추적하는 구글 애널리틱스 (Google Analytics)를 설치하고, 필자의 IP 주소를 블랙리스트 시켜서 숫자 합산에 포함되지 않도록 하는 일이었다. (필자는…