[論文要約][IJCNLP 2017] An empirical analysis of multiple-turn reasoning strategies in reading…

Source: Deep Learning on Medium


要約

ReasonNetを拡張したマルチステップの機械読解手法を提案。シングルステップの手法に比べ、SQuADおよびMS MARCOのタスクで3ポイントほど性能が上がることを示した。

先行研究との違い

  • 既存のReadoNetに比べて、文字単位のベクトルとN-gram単位のベクトルを使用する
  • 質問文とパラフレーズの双方向アテンションを使用する
  • MS MARCOを扱うために複数のパッセージを対象にランキングアルゴリズムを組み合わせた

研究の肝となる部分

  • マルチターンのダイナミックな答え出力を行うため、ターミネートステートを設け強化学習でターミネートするかどうかを学習する

検証方法

  • SQuADとMS MARCOのタスクで、シングルステップ、5ステップ固定、ダイナミックなステップを比較
  • SOTA手法とも比較

議論

  • シングルステップよりF1値がそれぞれ3ポイントほど上回った。また5ターン固定にするよりもダイナミックな方が若干性能が良かった
  • 答えが長ければ長いほど、ダイナミックステップの方が性能が良かった
  • どの答えの種類でもダイナミックな方が性能が良かったが、MS MARCOのpersonのみ他のものより性能が悪かった
  • MS MARCOではSOTAに匹敵する性能を示した
  • SQuADではSOTAを2ポイントほど下回る性能
  • エンベッティングの種類を増やしたことは1ポイントほど影響している

感想

  • マルチステップのReasoningにすることで若干性能が上がったが本質的にどれだけ意味があるのか
  • エンベッティングの追加もほとんど性能に影響していない