【activation】在机器学习和神经网络中，activation（激活）是一个核心概念。它指的是神经元在接收到输入信号后，通过某种函数处理后输出的值。激活函数决定了神经元是否被“激活”，即是否对当前输入做出响应。不同的激活函数会影响模型的学习能力和性能。
一、激活函数的作用
1. 引入非线性：如果没有激活函数，神经网络将退化为一个线性模型，无法处理复杂的模式。
2. 决定神经元输出：激活函数将加权输入转换为可解释的输出值。
3. 增强模型表达能力：通过不同类型的激活函数，可以提升模型对数据的拟合能力。
二、常见的激活函数
| 激活函数名称 | 公式 | 特点 | 适用场景 |
| Sigmoid | $ \sigma(x) = \frac{1}{1 + e^{-x}} $ | 输出范围0~1，适合二分类问题 | 早期神经网络，二分类输出层 |
| Tanh | $ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $ | 输出范围-1~1，比Sigmoid更对称 | 早期隐藏层使用 |
| ReLU | $ \text{ReLU}(x) = \max(0, x) $ | 计算简单，缓解梯度消失 | 当前主流的隐藏层激活函数 |
| Leaky ReLU | $ \text{Leaky ReLU}(x) = \max(0.01x, x) $ | 避免“死亡ReLU”问题 | 适用于ReLu失效的情况 |
| Softmax | $ \text{Softmax}(x_i) = \frac{e^{x_i}}{\sum e^{x_j}} $ | 多分类概率输出 | 分类任务输出层 |
| ELU | $ \text{ELU}(x) = \begin{cases} x & x > 0 \\ \alpha(e^x - 1) & x \leq 0 \end{cases} $ | 更接近自然激活行为 | 高精度要求的模型 |
三、选择激活函数的建议
- 隐藏层：推荐使用 ReLU 或其变体（如 Leaky ReLU、ELU），因为它们计算效率高且能有效防止梯度消失。
- 输出层：
- 二分类任务：使用 Sigmoid
- 多分类任务：使用 Softmax
- 避免使用 Sigmoid 和 Tanh 在深层网络中，因为它们容易导致梯度消失问题。
四、总结
激活函数是神经网络中不可或缺的一部分，它决定了模型如何从输入中提取特征并进行预测。选择合适的激活函数可以显著提升模型的性能和训练效率。在实际应用中，应根据任务类型和网络结构灵活选择激活函数，并结合实验结果进行优化。