标签： 反向传播

梯度爆炸(Gradient Explosion)是指在训练深度神经网络时，通过反向传播算法计算梯度时出现的现象：当网络层数过深、激活函数选择不当或权重初始化不合理时，梯度值会指数级增长，导致权重更新过大，模型参数剧烈震荡，训练过程不稳定甚至 […]

梯度消失（Vanishing Gradient）是指在深度神经网络的反向传播训练过程中，梯度值随着网络层数的增加而逐层减小至接近零的现象。这主要源于某些激活函数（如sigmoid或tanh）在饱和区域输出变化微小，导致梯度在链式法则中指数级 […]

梯度检查点（Gradient Checkpointing）是一种在深度学习训练中用于优化内存使用的关键技术，它通过选择性地保存和重新计算神经网络中的激活值（activations），在反向传播过程中显著减少内存消耗。具体而言，该方法仅存储部 […]

反向传播（Backpropagation）是一种在人工神经网络训练中广泛使用的算法，核心在于高效计算损失函数对网络参数的梯度。通过链式法则，该算法从输出层逐层向后传播误差信号，从而调整权重和偏置以最小化预测误差，使神经网络能够利用梯度下降等 […]