案例库 · 研发与科研 · 技术决策 · 1997
LSTM的记忆单元让神经网络跨越千步时间间隔
Hochreiter和Schmidhuber的门控单元保持误差流动，让递归神经网络能学习其他网络无法学习的长期序列。
慕尼黑工业大学 / IDSIA
解法
1980年代的递归神经网络理论上可以学习序列，但通过时间反向传播训练时，误差会指数级缩小——即梯度消失——因此任何需要超过十步的任务都无从下手。Hochreiter在1991年的分析指明了问题所在。
1997年，Sepp Hochreiter和Jürgen Schmidhuber在《神经计算》上发表了“长短期记忆”。解决方案是一个记忆单元，其自连接以恒定强度反向传递误差，并带有乘法输入门和输出门，学习何时存储和释放信息。
该架构跨越了超过1000步的时间滞后，即使在有噪声的输入下，每一步权重计算的复杂度为O(1)。与RTRL、BPTT等其他递归学习算法相比，LSTM的成功运行次数更多，并且解决了以往算法无法解决的问题。
生效的原因
- 恒定误差流阻止梯度消失
- 门控决定记住什么，而不是依赖运气
- 局部计算使训练实用化
- 解决了超过1000步的时间滞后
取得的成效自循环携带误差而不衰减神来之笔
可借鉴之处
如果信息需要长途跋涉，就应该构建一个具有恒定梯度的受保护通道，让学习到的门控控制访问——不要指望网络每一步都重新发现持久性。
后续进展
在注意力模型出现之前，LSTM已成为语音识别、翻译和手写识别的主导递归架构，记忆单元的思想至今仍是现代序列网络的核心。
资料来源
发现哪里写错了？告诉我们。