基于Sherman-Morrison公式的K-FAC算法
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(11871051)


K-FAC Algorithm Based on Sherman-Morrison Formula
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    二阶优化方法可以加速深度神经网络的训练, 但是二阶优化方法巨大的计算成本使其在实际中难以被应用. 因此, 近些年的研究提出了许多近似二阶优化方法的算法. K-FAC算法提供了一种近似自然梯度的有效方法. 在K-FAC算法的基础上, 结合拟牛顿方法的思想, 提出了一种改进的K-FAC算法. 在开始的少量迭代中利用K-FAC算法计算, 在后续迭代中构造秩–1矩阵, 通过Sherman-Morrison公式进行计算, 大大降低了计算复杂度. 实验结果表明, 改进的K-FAC算法比K-FAC算法有相似甚至是更好的实验表现. 特别的, 改进的K-FAC算法与K-FAC算法相比减少了大量的训练时间, 而且与一阶优化方法相比, 在训练时间上仍具有一定的优势.

    Abstract:

    Second-order optimization can accelerate the training of deep neural networks, but its huge computational cost hinders it from applications. Therefore, many algorithms have been proposed to approximate second-order optimization in recent studies. The K-FAC algorithm can approximate natural gradient, based on which an improved K-FAC algorithm is proposed according to the quasi-Newton method. The K-FAC algorithm is applied to the first few iterations. Then, a rank-one matrix is built, and its inverse matrix is computed by the Sherman-Morrison formula, greatly reducing computational complexity. The experimental results prove that the improved K-FAC algorithm has similar or even better performance than the original K-FAC, especially with much less training time. It also has the advantage over first-order optimization in regard to training time.

    参考文献
    相似文献
    引证文献
引用本文

刘小雷,高凯新,王勇.基于Sherman-Morrison公式的K-FAC算法.计算机系统应用,2021,30(4):118-124

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-08-16
  • 最后修改日期:2020-09-10
  • 录用日期:
  • 在线发布日期: 2021-03-31
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号