方差和词向量用于文本降维的研究
作者:
作者单位:

作者简介:

通讯作者:

基金项目:

国家高技术研究发展计划(863)(2014AA06A503);国家自然科学基金(61422307)


Research of Variance and Word Embedding in Text Classification
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
    摘要:

    文本分类中的高维数据和噪声一直是影响文本分类准确率的主要因素,特征选择和特征提取是降维和去噪的主要手段.本文提出根据词的类间概率分布方差和文档分布方差改进TF-IDF的特征选择方法(VAR-TF-IDF),调整Word2vec中的CBOW+HS词向量训练框架,用特征词词向量的叠加作为文本的特征向量,有效地提高了文本分类的准确率和召回率.实验算例证明了所提方案的有效性.

    Abstract:

    High dimensional data and noise have always been the major factors affecting the accuracy of text classification. Feature selection and feature extraction is the main methods of dimensionality reduction and denoising. In this paper, the words probability distribution variance and document distribution variance is used to improve the TF-IDF feature selection method (VAR-TF-IDF). After selecting good features, it tuned the CBOW+HS frame work of word2vec. The superposition of word embedding of the selected words is used as eigenvector which could improve accuracy of text classification. Experiment shows the proposed method is effective.

    参考文献
    相似文献
    引证文献
引用本文

王甜甜,康宇.方差和词向量用于文本降维的研究.计算机系统应用,2016,25(11):29-34

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
历史
  • 收稿日期:2016-03-07
  • 最后修改日期:2016-04-21
  • 录用日期:
  • 在线发布日期: 2016-11-15
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号