本文共 474 字,大约阅读时间需要 1 分钟。
1:今天早上阅读了on optimization methods for deep learning这篇paper,是andrew NG组的博士的一篇paper,这篇paper介绍了L-BFGS,CG(共轭梯度)和SGD算法。
2:个人感受最深的就是,我对CG没用过,用L-BFGS最多,SGD是最想用的,但是往往找不到好的模型参数。L-BFGS当样本过多的时候运行非常慢,调一次参数太慢了,SGD速度倒是很快,但是往往结果的差异性很大,没法找到那组参数。
3:在文中作者给了很多的experiment,发现L-BFGS和CG的效果是最好的,效果好指的有2个方面:达到一样的精度的时候用的时间最少;用的时间一样的多的时候,精度最高。
并且作者给出了实验中用L-BFGS的话,使用mini-batch,也就是类似SGD的训练方法,这样可以让L-BFGS速度也很快,精度也很高,同时这篇paper也给的有源代码,我好好阅读下再来说下怎么做。
4:最近在准备一组数据,看来还是可以用L-BFGS了,只需要参考一下训练的一些strategy就好了。哈哈。。
转载地址:http://tdini.baihongyu.com/