翻译: Attention and Augmented Recurrent Neural Networks

最近在研究RNN以及Attention技巧在搜索与推荐当中的应用,发现了两位Google Brain研究员Chris Olah和Shan Carter的文章<Attention and Augmented Recurrent Neural Networks>[1]。觉得非常适合科普,所以在此翻译了一下,写的不好的地方还请见谅,推荐阅读原文收货更多。 循环神经网络(RNN)是深度学习的主要研究对象之一,他能够让神经网络更好的处理文本,音频和视频数据。他可以从序列中提取信息,提供注释,甚至从零开始生成新的序列。 From [1] 简单的RNN模型比较难处理很长的输入,但是RNN的变体“Long short-term memory”却可以很好的处理这一问题。现在很多研究都发现不同的RNN模型变体可以在机器翻译,声音识别,图像描述生成等任务中达到比原先普通模型更好的效果。这也使RNN在过去几年得到更广泛的应用。 在这篇文章里,我们将看到更多RNN的增强模型,尤其是以下四个方向: From [1] 单独来看,每一个技术都是RNN的一种扩展,而且他们还可以组合到一起。此外,他们都利用了一个叫做注意力(attention)的技巧。 我们猜想这些“增强RNN”将在未来几年对深度学习的扩展发挥重要作用。 Neural Turing Machines Neural Turing Machine

Read more