自适应梯度与动量的训练影响
正在加载 PDF…
在 MNIST 与 CIFAR-10 的不同网络上比较自适应梯度和动量方法，观察损失下降与准确率变化。
主要观察
实验覆盖 MLP、CNN 与 VGG13，并分别讨论 AdaGrad、RMSProp、Adam 和不同动量设置。
范围与限制
方法间比较取决于原报告使用的网络、学习率和训练预算，不应扩展为所有任务的优化器排名。
来源
查看原始来源及其版本作为历史实验记录保留，软件、条件和观察结果以原报告所记载的实验为准。
正在加载 PDF…
在 MNIST 与 CIFAR-10 的不同网络上比较自适应梯度和动量方法，观察损失下降与准确率变化。
实验覆盖 MLP、CNN 与 VGG13，并分别讨论 AdaGrad、RMSProp、Adam 和不同动量设置。
方法间比较取决于原报告使用的网络、学习率和训练预算，不应扩展为所有任务的优化器排名。
作为历史实验记录保留，软件、条件和观察结果以原报告所记载的实验为准。