以某图像分类任务为例， 在相同的超参数设置下AdaBound的模型训练时候更短暂，模型精度相对提升了近1%。AdaBound，一种基于自习惯学率方法的优化算法，它在神经网络优化时能飞迅速收敛到较优解。

AdaBound的应用广泛且效果显著。在实践操作中，挑选适合特定任务的优化算法，能显著提升模型性能和训练效率。与老一套的梯度减少算法相比，自习惯学率方法如Adam算法效果更佳。只是Adam算法仍存在训练初期学率过高大、收敛速度磨蹭等问题。

在优化算法的选择上，针对特定任务选择合适的算法，能更有效地提升模型性能和效率。如果您正在进行神经网络优化的研究研究或应用，不妨考虑尝试AdaBound这一优秀算法。

python import torch.optim as optim from adabound import AdaBound # 用Adam进行优化 optimizer = optim.Adam, lr=) # 用AdaBound进行优化 optimizer = AdaBound, lr=, final_lr=)

AdaBound仅需从torch.optim中引入，将优化器改为AdaBound即可。调整final_lr参数可控制自习惯学率收敛到的到头来值，从而进一步优化模型性能。

AdaBound的基本上特点包括：

• 在梯度减少过程中， 用类似勾稀函数的线性映射将梯度管束在一定范围内，避免学率过巨大弄得的振荡。

二、为啥要用AdaBound？

在神经网络优化过程中，优化算法对模型性能和收敛速度关系到极巨大。AdaBound是在Adam优化算法基础上改进的， 能更优良地习惯不同情况，保证全局收敛的一边搞优良收敛速度，具有一定的泛化能力。