对比学习是我自创的学习算法,NN 里的学习函数叫 Study,RNN 里的叫 Train。
它不跑反向传播,也不反解 z:先把输出层的目标一层层往回推,到了每一层再用「目标 − 实际激活值」
算误差,最后更新权重和偏置。
四步流程
-
铺开目标
输出层的目标激活值就是goal。 -
往回推目标
从输出层开始,逐层往前一层分配「目标份额」。当前层的每个神经元 j 按连出去的权重绝对值占比, 把自己的目标分给前一层神经元 i;前一层神经元再对所有 j 分来的份额求和。目标前一层,i = ∑j ( wj→i ∑k |wj→k| × 目标当前层,j )其中 j 是当前层神经元,i 是前一层神经元,k 是 j 连出去的前一层神经元; 最外层的 ∑j 对当前层所有神经元求和。
分母按「连出去的」权重归一(L1);推的一直是目标,不是误差,也没有放大系数。 -
目标 → 误差
每一层拿到目标后,用误差 = 目标激活值 − 实际激活值在激活值空间里统一相减,不反解 z。 -
更新 w 和 b
误差先乘本层的激活导数δ = 误差 × a'(z)(饱和区更新自动趋 0),然后:w += wlr × δ × 前一层激活值b += blr × δwlr 和 blr 分别是权重、偏置的学习率。
Run 和 Study 的顺序
Run: 后面的神经元主动加权求和,不是前面的神经元分配激活值。
Study / Train: 后面的神经元给前面的神经元分配目标激活值,不是前面的神经元主动领取。
NN 和 RNN 用同一套方法,RNN 只是多一个展开。
所以 NN 的学习函数叫 Study,RNN 的叫 Train。
实现细节
-
回推目标时,分母求和的是
|w|(绝对值后的 w),不是 w; 否则正负权重会相互抵消。 - 推的一直是目标,不带放大系数。误差只在第三步由「目标 − 实际激活值」算出来。
-
更新前乘本层激活导数
a'(z):饱和区导数接近 0,更新会自动趋近 0。 - 误差始终在激活值空间里算,不需要反解 z,所以激活函数可以随便换。
- 尽量不用 sigmoid:L1 分配算出的目标可能远大于 1,而 sigmoid 的输出只有 0~1; 用 sigmoid 会让网络去拟合一个永远达不到的数。
- 这是自创方法,还在改进。
Q&A
- Q:为什么不用反向传播?
- A:因为不会 BP,而且这个项目本来就是为自创学习算法开的。
- Q:为什么推的是目标,不是误差?
- A:先把目标铺开、逐层回推,到每一层再用「目标 − 实际激活值」得到误差。 这样误差始终在激活值空间里,不用反解 z。
- Q:为什么更新时要乘激活导数?
-
A:误差是在激活值空间里算的,更新前要换回 z 的尺度,所以
δ = 误差 × a'(z)。饱和区导数趋 0,更新也会自动变小。 - Q:为什么求和用 |w|?
- A:份额要按「连出去的」权重占比来分,正负权重不能相互抵消, 所以分母取绝对值求和。