电力供求市场信息    
毕水兴能源通道
大云网 新技术电力软件 正文

了解学习率及其如何提高深度学习的性能

2018-03-20 17:10:55 InfoQ　 点击量： 评论 (0)
首先，什么是学习率？学习率（Learning Rate，LR。常用η表示。）是一个超参数，考虑到损失梯度，它控制着我们在多大程度上调整网络的

人认为，对整个模型进行微调的代价太大，因为有些模型可能有100多个层。因此，人们通常做的是一次对模型进行微调。

但是，这就引入了顺序的要求，妨碍了并行性，并且需要多次通过数据集，从而导致对小数据集的过度拟合。

也已经证明[9]中引入的方法能够在不同的NLP分类任务中提高精度和降低错误率（如下图所示）：

上一页 1 2 下一页
大云网官方微信售电那点事儿

责任编辑：售电衡衡

免责声明：本文仅代表作者个人观点，与本站无关。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容。
分享到微博分享到微信
我要收藏
个赞
学习率 深度学习