Regularization
可以把正则化分为这几类：
- 显式正则化 (Explicit Regularization) ：直接在 Loss 函数后面加一项。
- L1 / L2 (Weight Decay)
- Entropy Regularization
- 结构/计算正则化 ：改变网络结构或计算方式。
- Dropout (随机让神经元罢工)
- Label Smoothing (软化目标)
- 过程正则化 ：改变训练流程。
- Early Stopping (提前结束)
- Adversarial Training (对抗训练)
- 数据正则化 ：
- Data Augmentation (数据增强)
- Mixup / Cutout
更多的Regularization的内容我单开了一个章节去整理，因为在Transformer时代，正则化本身成为了一个非常重要的内容。同时，深度学习训练中的数据增强等广义正则化范畴的内容，也会在Regularization笔记中展开学习。