[論文要約][ACL 2016]

Source: Deep Learning on Medium


要約

ニューラルネットを使用したE2Eなモデルで、CNN/Daily Mailの機械読解タスクでSOTAを上回精度を達成。データセットの分析により、実際に解くことが可能な問題をほぼほぼ解けていることを示した。

先行研究との違い

  • メモリーネットワークを利用した手法と似ているが、パッセージのエンコードにウィンドウサイズで区切ったベクトル化ではなく、双方向RNNを使用している点が大きく異なる

研究の肝となる部分

  • 提案モデルは、コンテキストから質問文へのアテンションを用いた
  • 質問文の情報で重み付けしたコンテキストベクトルをを直接答えの抽出に利用した
  • 設問どおりエンティティーのみを答えの選出対象にした

検証方法

  • パッセージ中の候補エンティティーの中から、質問のプレースホルダーに当てはまるものを選択するCNN/Daily Mailタスクで検証
  • データセットは、共通のNREを一つの匿名化された変数(@entity1のような形式)に変換することを半自動で行い作成されているもの
  • さらに、データセットについて以下の二つの点について調査した
  1. データセットはどれくらい答えることが可能なものか?
  2. モデルは何を学習しどのような点で改善する見込みがあるか?
  • 上記を調べるために、質問文を6パターンに分類して分析した

議論

  • 提案したエンドツーエンドのニューラルネットモデルは既存のSOTA手法に10ポイント近い差をつける性能を示した
  • CNNデータセットでは、100個中、問題生成時の共参照解析に失敗している例が8個、人間が解くのも難しいもの(問題が間違っているものも含む)が17個あった
  • ニューラルネットのモデルも、ルールベースのモデルも前後のパターンが完全に一致する問題は100%正解できていた
  • 文レベルでパラフレーズがあったり推論が必要な問題は、ニューラルベースのモデルが90%近く正解できていた
  • 共参照エラーは40%ほど正解しているが、人間が解くのが困難な問題はほとんど正解していなかった
  • システムは分析上答えることができるほぼ最高精度を達成できているものと考えられる

感想

  • シンプルな改良でレベルの高い結果を実現した論文
  • データセットの分析も納得感が高いが、一方で得られる情報が少ない(なぜうまくいったのかがよくわからない)