基于肤色分割与改进VGG网络的手语识别
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

国家自然科学基金(51405448); 浙江理工大学博士科研启动项目(11122932611817); 浙江省大学生科技成果推广项目(14530031661961); 浙江理工大学2019年国家级大学生创新创业训练计划(201910338012)


Sign Language Recognition Based on Skin Color Model and Improved VGG Network
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    传统的手语识别仅仅依靠人工选取的底层特征完成识别, 难以适应手语图像背景的多样性, 本文提出了一种综合多要素的手语肤色分割与改进VGG网络的手语识别方法. 对采集到的手语图像利用椭圆模型进行初步分割, 根据最大连通域排除背景中的类肤色区域并用质心定位的方法去除手部区域以外的肤色区域, 从而实现手语图像准确分割. 在原有VGG网络的基础上减少卷积及全连接的层数对VGG网络进行改进, 减少了所需的存储容量和参数数量. 将分割后的手语灰度图像作为网络的输入, 采用改进的VGG网络建立手语的识别模型. 通过比较不同结构的网络模型对手语图像的识别率, 表明改进的VGG网络能够有效进行特征学习, 对手语图像的平均识别率都达到97%以上.

    Abstract:

    The traditional sign language recognition only relies on the underlying features selected manually, which is difficult to adapt to the diversity of sign language image background. A method of sign language recognition based on the multi-factor skin color segmentation and the improved VGG network is proposed in the study. The collected sign language images are initially segmented by an elliptic model. The skin color region is excluded according to the maximum connected domain, and the skin color regions outside the hand region is removed by centroid positioning method, so as to realize the accurate segmentation of sign language images. The VGG network is improved by reducing the number of convolution and full connection, which reduces the required storage capacity and the number of parameters. The gray-scale image of the segmented sign language is taken as the input of the network, and the improved VGG network is used to establish the recognition model of sign language. By comparing the different structure of the network model of sign language recognition rate of the image, show that the improved VGG networks can effectively study characteristics, the average image sign language recognition rate is above 97%.

    参考文献
    相似文献
    引证文献
引用本文

包嘉欣,田秋红,杨慧敏,陈影柔.基于肤色分割与改进VGG网络的手语识别.计算机系统应用,2020,29(6):47-55

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2019-11-09
  • 最后修改日期:2019-12-09
  • 录用日期:
  • 在线发布日期: 2020-06-12
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号