몇 달전쯤 reddit에 “Lessons from My First Two Years of AI Research”이란 제목의 블로그 포스팅이 소개되었다. 공감가는 경험과 조언이 인상깊어서 요약해서 정리한다. 전문은 원본링크에서 확인할 수 있다.
이 포스팅은 저자가 AI분야의 커리어를 시작하는 친구에게 하는 조언이다.
무엇을 해야 할지 결정하는 것은 리서치의 가장 어려운 부분일 수 있다. 다음은 몇가지 가능한 전략이다.
1.다른 분야의 연구자와 대화하라. 많은 인상깊은 연구결과는 bio/chem/physics/pure math과의 충돌에서 나온다.
2.문제에 대한 느낌을 얻기 위해 간단한 베이스라인을 코딩해라. 종종 예상치 못한 상황(버그)를 마주할 것이다. baseline이 동작할 때, 시도해볼 다른 아이디어나, 문제에 대한 더 깊은 이해를 가질 수 있다.
3.당신이 좋아하는 paper의 experiment section을 확장하라. 방법과 결과를 주의깊게 봐라. 먼저 가장 간단한 확장을 고려하고, paper method가 충분한지 질문하라. 그들이 미치지 못했던 것이 있을지 생각하라.
시각화 스크립트를 실행시키는 것은 내가 생각했던 모델과 내 코드가 일치하는지 빠르게 확인시켜준다. 좋은 visualization은 훨씬 더 확하고 해석가능하다. 또한 예쁜 도표나 영상을 사람들에게 보여줄 수 있으므로 동기부여도 된다. model을 최적화하고 있다면 plotting loss curve은 시작하기 좋은 지점이다. learned weight를 visual할 수도 있고, RL을 적용하고 있다면 agent가 움직이는 모습을 시각화할 수도 있을것이다.
같은 컨퍼런스에 출판하고, 같은 기술 용어들을 사용하는 연구자들이라도 극적으로 다른 동기를 가지고 있다. 적어도 3개의 동기 Math / Engineering / Cognitive 동기로 나눌 수 있다.
arXiv : AI 페이퍼는 아카이브에서 쉽게 접할 수 있다.
arXiv sanity preserver : Adrej Karpathy의 사이트로 arXiv의 논문들을 검색하거나 필터링하는데 도움된다.
Miles Bundage : Miles Bundage의 트위터
Brundage Bot : Miles Bundage의 봇
r/MachineLearning : 머신러닝 레딧