Pointer Generator Network

Source: Deep Learning on Medium Pointer Generator Network 介紹 Pointer Network在最近看的很多篇論文中有出現,由於原先Attention + Encoder — Decoder的方法中,Decoder最後輸出時是要對應到一個詞表,但在實際使用中,像是人名跟地名的用字並不被包含在訓練中的詞表中,最後只能得到像[UNK]這種輸出。而Pointer Generator Network的概念是從原輸入的某一些片段直接擷取過來當作輸出,這麼一來則可以彌補字典的不足 所以當Decoder在產生輸出時,根據Pgen這個機率來決定是要自己產生輸出呢?還是要拿原輸入的「某個位置」直接當作輸出? 如果你對Summarization有些接觸的話,會知道大致上分為兩種方法為Extractive Summarization跟Abstractive Summarization,很神奇的,透過Pointer Generator Network,很奇妙地同時整合了這兩種方法在一起,有時候是直接複製,有時候則是自己產生,這跟我們「人」真正在寫作的情況也更類似😂,如果今天要我們寫一篇讀書心得文,我們常常會引用書中某些話,或者一些地名或者很長的專有名詞時,我們也會直接複製貼上,這些情況應該要直接複製而不是自己產生才更合理。 作者在部落格中有提到這一點 In

Read more