DRNN 全称 Double Recurrent Neural Network(双循环神经网络)。 它的原理很简单:先用一个循环神经网络校准输入,再由另一个循环神经网络真正输出。
原理介绍
我们把负责校准输入的神经网络叫 allRNN,
把负责真正输出的神经网络叫 outRNN。
所以整个架构可以写成:
DRNN
=
allRNN
+
outRNN
allRNN 先把输入校准一遍,然后把输出切成一段一段,逐步送进
outRNN;outRNN 再按词向量维度真正输出结果。
输入
→
allRNN 校准输入
→
切割输出
→
outRNN 真正输出
→
输出
实现细节
| 网络 | 输入层 | 输出层 |
|---|---|---|
allRNN |
一次最多输入 × 词向量维度 | 一次最多输入 × 词向量维度 |
outRNN |
词向量维度 | 词向量维度 |
allRNN → outRNN 的连接方式:
把 allRNN 的输出切割,再逐步进入 outRNN。
Q&A
- Q:为什么这么设计呢?
-
A:很简单,因为:
- 学习算法不能用在 Transformer
- 能无限上下文
- 我不会做 Transformer
- Q:为什么这样学习算法就能顺畅地跑通呢?
-
A:因为我的算法是反向传递目标:
outRNN可以把算出来的输入层目标 交给allRNN的输出层。
(此方法基于“循环神经网络”)