基于时移和片组注意力融合的双流行为识别网络
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家重点研发计划(2019YFA0709504);国家自然科学基金青年项目(31900719);上海市科技人才计划启明星项目(19QA1401400);上海市市级重大科技专项(2018SHZDZX01)


Two-stream Action Recognition Network Based on Temporal Shift and Split Attention
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    基于深度学习的行为识别算法往往由于复杂的网络设计而难以在实际应用中达到快速、准确的识别效果.针对以上情况,提出一种轻量型的基于时移和片组注意力融合的端到端双流神经网络模型.算法在RGB与光流分支网络中,采用时间稀疏分组随机采样策略实现长时程建模,利用时移模块在时间维度上置换部分通道从而结合邻帧信息来提升时序表征能力,同时通过多路径及特征图注意融合的片组注意力模块提升网络的识别性能.实验表明,模型在行为识别公共数据集UCF101及HMDB51上分别达到了95.00%和72.55%的识别准确率.

    Abstract:

    The deep learning-based algorithms of action recognition are often difficult to achieve fast performance and high accuracy due to the complexity of neural networks. In view of this, we modularize the existing temporal shift and split attention module as an end-to-end trainable block which can be easily plugged into the classical two-stream action recognition pipeline. In the RGB and optical flow branch network, we adopt a random sampling strategy with sparse temporal grouping to realize long-term modeling. Furthermore, we use the Temporal Shift module to replace some channels in the time dimension so as to enhance the sequential characterization ability with information of adjacent frames. In addition, the Split Attention module integrating multi-paths and feature map attention mechanism improves the recognition performance of the network. Experiments show that our method achieves appealing performance on two public benchmark datasets including UCF101 (recognition accuracy of 95.00%) and HMDB51 (recognition accuracy of 72.55%), demonstrating its effectiveness.

    参考文献
    相似文献
    引证文献
引用本文

肖子凡,刘逸群,李楚溪,张力,王守岩,肖晓.基于时移和片组注意力融合的双流行为识别网络.计算机系统应用,2022,31(1):204-211

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2021-03-20
  • 最后修改日期:2021-04-16
  • 录用日期:
  • 在线发布日期: 2021-12-17
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号