Deep Learning for NLP スプリングセミナーに参加した話
3月第3週くらいから，週1回 * 3週間くらいでDeep Learning for NLP スプリングセミナーを受講した．コロナの影響でオンライン開催になったので，地方民でも参加できたのはありがたかった．深層生成モデルの方も受講したかったが選考だか抽選で落ちた．
【学生限定：短期DLセミナー第1弾】DL for NLP講座の募集開始！松尾研監修のDLを用いたNLP講座を、3/19より全3回・約3週間の完全オンラインセミナーにて開催します。分散表現からTransformerまで扱います。DLの基礎を理解している学生さんはぜひご応募を！（3/10正午締切）https://t.co/8Xo515SzAF
— 東京大学 松尾研究室 (@Matsuo_Lab) March 4, 2020
PyTorch使いますよと事前に聞いていたが触れたことがなかったので，4日間くらいかけてCourseraで Deep Neural Networks with PyTorchをやった(1週間以内なら無料なので)．
第1回はCBOWやSkip-Gramを用いたword2vec，第2回はRNNを用いたseq2seqとAttentionの話，第3回はTransformerの実装とBERTの話だった．ゼロから作るDeepLearning ②をPyTorchで実装しますよ的な内容だなと思った．といっても，最初にこの本を読んだときはなんだかよく分からんという感じだったし，きちんとNLP関連の勉強をしたことはなかったので，今回のセミナーは為になったし面白かった．
おかげで休み中に読むつもりで借りたPRMLが全く進んでいないので，今月の残りはそちらに集中しよう．
