[論文要約][ICLR 2016] The Goldilocks principle: Reading children’s books with explicit memory…

Source: Deep Learning on Medium SHIMABUKURO Katsuya Apr 19 論文URL:https://arxiv.org/abs/1511.02301 要約 長文を読んで、その後の文に入る単語を選択する新しい言語モデルタスクであるCBTデータセットを提案。合わせて長いコンテキストを考慮できる手法を提案し、機能語と内容語とでは重要なコンテキストが変化することを示した。 先行研究との違い CNN/DailyMailデータセットはコンテキストの文章をパラフレーズするような質問文を出す点で異なっている 研究の肝となる部分 CBTデータセットは、20文からなる長いコンテキストと、穴埋め形式の質問、答え候補の10個の単語、正解の単語の4つの組からなる。また、答え候補の単語はコンテキストもしくは質問文に含まれているものとする また、予測する単語の種類に応じてそれぞれの質問を、固有名詞、一般名詞、動詞、前置詞の4つに分類する K回のメモリアクセスを繰り返した後、答えとなる単語を求めるメモリーネットワーク メモリーに保存する情報として、各単語ごと、一定のウィンドウ幅ごと、文ごとの3パターンで実験 メモリーの自己教師あり学習として、メモリーの値のうちから最も答えのスコアが高くなったメモリーを教師データとして、推論時に使用されるメモリーとの差を元にパラメーターを更新する 検証方法 CBTデータセットで穴埋めする品詞の種類と手法の組み合わせで精度がどう変わるか確認 CNN/DailyMailデータセットで提案手法の汎用性を確認 LSTMなどの基本的なベースラインと比較 議論

Read more