DRNN 全称 Double Recurrent Neural Network(双循环神经网络)。 它的原理很简单:先用一个循环神经网络校准输入,再由另一个循环神经网络真正输出。

原理介绍

我们把负责校准输入的神经网络叫 allRNN, 把负责真正输出的神经网络叫 outRNN。 所以整个架构可以写成:

DRNN = allRNN + outRNN

allRNN 先把输入校准一遍,然后把输出切成一段一段,逐步送进 outRNN;outRNN 再按词向量维度真正输出结果。

实现细节

网络 输入层 输出层
allRNN 一次最多输入 × 词向量维度 一次最多输入 × 词向量维度
outRNN 词向量维度 词向量维度

allRNN → outRNN 的连接方式: 把 allRNN 的输出切割,再逐步进入 outRNN。

Q&A

Q:为什么这么设计呢?
A:很简单,因为:
  1. 学习算法不能用在 Transformer
  2. 能无限上下文
  3. 我不会做 Transformer
Q:为什么这样学习算法就能顺畅地跑通呢?
A:因为我的算法是反向传递目标:outRNN 可以把算出来的输入层目标 交给 allRNN 的输出层。

(此方法基于“循环神经网络”)

返回主页