标签： ReLU

ReLU（Rectified Linear Unit），中文译为整流线性单元，是一种在深度学习中广泛使用的激活函数，其数学定义为 f(x) = max(0, x)，即在输入值大于零时输出原值，否则输出零。ReLU通过引入非线性特性，有效缓解 […]

激活函数（Activation Function）是神经网络中的核心组件，它作用于神经元的输入加权和，将其转换为非线性输出信号，从而赋予网络学习和表示复杂非线性关系的能力。常见的激活函数包括Sigmoid、Tanh和ReLU（Rectifi […]