从 RNN 到 LSTM:有效上下文窗口受限的问题
从 RNN 到 LSTM:有效上下文窗口受限的问题
一、RNN 为什么记不住长序列
RNN 处理序列数据时,靠一个隐藏状态 $h_t$ 往下传。每读入一个新输入,就把上一时刻的隐藏状态和当前输入揉在一起,生成新的状态。
我最早调 RNN 的时候,序列一过 50 步,loss 就基本不动了,当时还以为是学习率的问题。后来才明白,这是梯度传不回来了。
训练的时候,如果序列很长,比如要预测一段话的最后一个词,损失函数的梯度得沿着时间步一路往回传。这时候问题就来了:梯度每往回走一步,都要乘上同一个循环权重矩阵。
粗略地说,如果这个矩阵的谱半径(最大特征值的绝对值)小于 1,连乘几十次之后,梯度就会指数级衰减,直接趋近于 0。这就是梯度消失。早期输入对最终损失的影响根本传不回来,模型自然学不到长距离依赖。如果谱半径大于 1,梯度又会指数级膨胀,导致梯度爆炸,训练直接崩掉。
而且,RNN 用的 tanh 激活函数,导数最大值只有 1,在饱和区更是接近 0。梯度往回传时,除了乘权重矩阵,还得乘上激活函数的导数。这两者一叠,长序列基本没法学。
二、隐藏状态的更新方式加剧了问题
RNN 的隐藏状态更新公式很简单:上一时刻的状态和当前输入分别做线性变换,加起来,再整体过一遍 tanh。
这意味着,旧信息每往前走一步,都要被权重矩阵重新变换一次,再被 tanh 压缩到 (-1, 1) 之间。序列越长,早期的信号被反复揉捏、挤压的次数就越多。几十步之后,原本清晰的输入信息早就混在一堆饱和的数值里,分不出来了。
而且这个更新过程没有任何筛选机制。不管前面的词是关键的实体还是无关的停用词,全都被无差别地压进同一个隐藏状态里。信息越积越多,重要的线索反而被淹没了。
三、LSTM 的解法:细胞状态与门控
LSTM 没有继续在隐藏状态的更新上死磕,而是额外引入了一条细胞状态 $c_t$。
第一次看 LSTM 公式,我也没觉得那个加法有多特别,直到自己推了一遍梯度才明白。
细胞状态的更新公式是这样的:
当前细胞状态 = 遗忘门 × 旧细胞状态 + 输入门 × 候选新状态
反向传播时,沿细胞状态这条主干回传,梯度不需要乘权重矩阵,也不需要过 tanh 的导数,连乘因子只剩每一时刻的遗忘门 $f_t$。只要网络学到让 $f_t$ 接近 1,梯度就能几乎不衰减地传回几十步甚至上百步之前。
至于三个门,分工很明确:遗忘门管旧信息丢多少,输入门管新信息写多少——这两个直接动细胞状态。输出门不碰细胞状态,它只决定这一时刻从细胞状态里读多少出来,当作隐藏状态交给下游。
四、代码里的加法总线
写成伪代码就几行。假设当前输入是 x,上一时刻隐藏状态是 h,细胞状态是 c。
# 四个门/候选状态,都是拿 x 和 h 拼接后做线性变换
forget_gate = sigmoid(linear_forget(x, h))
input_gate = sigmoid(linear_input(x, h))
output_gate = sigmoid(linear_output(x, h))
candidate = tanh(linear_candidate(x, h))
# 核心:细胞状态更新
new_c = forget_gate * c + input_gate * candidate
# 输出
new_h = output_gate * tanh(new_c)
整个前向过程里,new_c = forget_gate * c + ... 这一行是关键。旧状态 c 没有被权重矩阵反复变换,只是被遗忘门按比例保留,然后加上一部分新信息。
五、工程选型:什么时候还该用 LSTM
那现在还有必要用 LSTM 吗?说实话,大多数新项目我会直接上 Transformer。但有些场景,我还是会回头找 LSTM。
流式推理是一个。之前做一个高频行情预测,每秒进来几千条 tick 数据,序列长度拉到几万步。我们先用 Transformer 试了一版,训练倒是能并行,但推理的时候,KV cache 随着上下文长度线性膨胀,没跑多久显存就爆了。后来换回 LSTM,推理时只需要维护一个固定大小的 h 和 c,不管序列多长,显存占用完全不变,服务才稳住。
另一个是边缘部署,显存就那么点,Transformer 的注意力开销根本扛不住,LSTM 的固定状态反而成了优势。
如果你也想用循环结构,但嫌 LSTM 参数多、训练慢,可以先试试 GRU。它把三个门砍成两个,去掉了独立的细胞状态,效果在很多任务上和 LSTM 差不多,但更轻。
还有个坑:遗忘门偏置。
很多框架默认偏置初始化为 0。但训练 LSTM 时,通常要把遗忘门的偏置设成 1(或者其他正值)。如果设成 0,训练初期线性变换的输出接近 0,sigmoid 之后遗忘门大概是 0.5。这意味着网络一开始就会把历史记忆丢掉一半,长距离依赖根本学不起来。设成 1,等于让模型在初期先尽量记住前面的信息,等训练开了再慢慢学会该忘什么。
六、结语
LSTM 把 RNN 的有效窗口拉长了很多,但它依然不是无限的。后来 Transformer 用自注意力机制直接把全局依赖拍平,解决了更长序列的问题。
不过,LSTM 留下的思路并没有过时。ResNet 里的残差连接,本质也是给梯度加一条直通路径;现在大模型前馈层里常用的 GLU,也是在用门控来控制信息通过量。
所以下次看到一个没见过的序列模型,先别急着调包。问一句:它的信息是怎么流的,哪里加了直通,哪里加了门。多半就能看懂个大概。