[論文要約][CoRR 2016] Bidirectional attention flow for machine comprehension

Source: Deep Learning on Medium


要約

機械読解のアルゴリズムであるBiDAFを提案。当時のSQuADタスクでSOTAの手法と同等の性能を示した

先行研究との違い

  • 一般的なアテンションを使用したMRCモデルは質問を単一のベクトルに圧縮してからアテンションの計算を行う
    -各タイムステップで前のアテンションを元にアテンションを計算することが多い
  • また、クエリからドキュメントや画像へなどの単一方向のアテンションが計算されがち

研究の肝となる部分

  • 入力は単語単位と文字単位、クエリーもコンテキストも一つのベクトルには圧縮せずに、双方向のアテンションを計算、最終的にされらの情報を元に複数層のLSTMの各ステップの出力を使用して、答えの範囲を出力する

検証方法

  • SQuADでEM率とF1値で計算

議論

  • アンサンブルモデルで既存のSOTAを超える81%のF1値を達成
  • 文字単位の入力を使用しないと2ポイントF1値が低下する
  • 単語単位の入力を使用しないと15ポイントF1値が低下する
  • 双方向のアテンションを使用しないと5~10ポイントF1が低下する
  • 提案モデルで学習した後のベクトル表現は、単語レベルと文のコンテキストを考慮した後のレベルで、周辺の意味を考慮して出力するように学習できている
  • CNN/DialyMailデータセットでも既存手法と同等の80%近い正答率を示した

感想

  • ニューラルネットとしては比較的シンプルなモデルで良い性能を達成した手法