文章摘要:学习率（Learning rate, LR）是深度神经网络（Deep neural networks, DNNs）能够进行有效训练的重要超参数.然而,学习率的调整在DNNs训练过程中仍存在诸多困难与挑战,即使以恒定的学习率选择为目标,为训练DNNs选择一个最优的恒定初始学习率也非易事.而动态学习率涉及到训练过程的不同阶段需对学习率进行多步调整,以达到高精确度和快速收敛的目的;调整过程中学习率过小可能会导致模型收敛缓慢或陷入局部最优值,而学习率过大则会阻碍收敛,造成震荡发散.本文综述了近年来基于深度学习算法的学习率研究进展,并对包括分段衰减学习率,平滑衰减学习率,循环学习率,具有热启动的学习率四种类型的学习率簇在几个常见数据集上的性能表现进行了测试分析和对比研究,包括收敛速度,鲁棒性和均值方差等;最后总结了全文,并对该领域仍存在的问题以及未来的研究趋势进行了展望.

文章关键词:

论文作者:刘云飞 张俊然 

作者单位:四川大学电气工程学院自动化系 

论文DOI:10.13195/j.kzyjc.2022.0147

论文分类号:TP183

文章来源：《学习与实践》 网址: http://www.xxysjzz.cn/qikandaodu/2022/0615/1570.html

上一篇：外国语言文字论文_新世纪大学英语学习动机研究
下一篇：自动化技术论文_多智能体深度强化学习及其可扩