对比学习是我自创的学习算法,NN 里的学习函数叫 Study,RNN 里的叫 Train。 它不跑反向传播,也不反解 z:先把输出层的目标一层层往回推,到了每一层再用「目标 − 实际激活值」 算误差,最后更新权重和偏置。

四步流程

  1. 铺开目标
    输出层的目标激活值就是 goal。
  2. 往回推目标
    从输出层开始,逐层往前一层分配「目标份额」。当前层的每个神经元 j 按连出去的权重绝对值占比, 把自己的目标分给前一层神经元 i;前一层神经元再对所有 j 分来的份额求和。
    目标前一层,i = ∑j ( wj→i ∑k |wj→k| × 目标当前层,j )

    其中 j 是当前层神经元,i 是前一层神经元,k 是 j 连出去的前一层神经元; 最外层的 ∑j 对当前层所有神经元求和。

    分母按「连出去的」权重归一(L1);推的一直是目标,不是误差,也没有放大系数。
  3. 目标 → 误差
    每一层拿到目标后,用 误差 = 目标激活值 − 实际激活值 在激活值空间里统一相减,不反解 z。
  4. 更新 w 和 b
    误差先乘本层的激活导数 δ = 误差 × a'(z) (饱和区更新自动趋 0),然后:

    w += wlr × δ × 前一层激活值

    b += blr × δ

    wlr 和 blr 分别是权重、偏置的学习率。

Run 和 Study 的顺序

Run: 后面的神经元主动加权求和,不是前面的神经元分配激活值。

Study / Train: 后面的神经元给前面的神经元分配目标激活值,不是前面的神经元主动领取。

NN 和 RNN 用同一套方法,RNN 只是多一个展开。 所以 NN 的学习函数叫 Study,RNN 的叫 Train。

实现细节

Q&A

Q:为什么不用反向传播?
A:因为不会 BP,而且这个项目本来就是为自创学习算法开的。
Q:为什么推的是目标,不是误差?
A:先把目标铺开、逐层回推,到每一层再用「目标 − 实际激活值」得到误差。 这样误差始终在激活值空间里,不用反解 z。
Q:为什么更新时要乘激活导数?
A:误差是在激活值空间里算的,更新前要换回 z 的尺度,所以 δ = 误差 × a'(z)。饱和区导数趋 0,更新也会自动变小。
Q:为什么求和用 |w|?
A:份额要按「连出去的」权重占比来分,正负权重不能相互抵消, 所以分母取绝对值求和。
返回主页