阅读( 328 )次

   评论(0)条

wudixx

学习笔记之学习率衰减方法

一.四种学习率衰减方法


1.exponential_decay


staircase取true时为学习率下降为不连续的梯度函数,见上图一。decay越小学习率下降得越快。

2.polynormal_decay



3.natural_exp_decay



decay_rate越大,学习率下降过程越快

4.inverse_time_decay




 收藏 (0)  打赏  点赞 (0)

 ©2017 studyai.com 版权所有

关于我们