监督学习下数据价值评估方法的应用
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:


Application of Data Value Evaluation Method in Supervised Learning
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    现实场景中采集的数据往往存在着噪声和偏差的问题, 为了保证训练模型的性能, 必须判断出数据的好坏并做出筛选, 然而数据清洗阶段并不能完全筛选出所有低价值的数据. 已有工作通过留一法或沙普利值来评估数据的重要性, 然而留一法被证明是不稳定的, 沙普利值方法的计算复杂度过高. 为了解决可用性和时间效率平衡的问题, 提出了一种优化梯度值的数据价值评估方法, 实现比沙普利值更快地计算所有数据点的价值. 实验结果表明, 优化梯度的评估方法能够有效识别错误标签和噪声数据, 删除低价值的数据也能帮助模型提升预测准确率.

    Abstract:

    In real-world scenarios, the data collected often contains noise and biases. To ensure the performance of model training, it is essential to assess the quality of the data and perform appropriate selection. However, the data cleaning process cannot fully eliminate all low-value data points. Existing approaches, such as leave-one-out (LOO) and Shapley values, have been used to assess the importance of data. However, the LOO method has been shown to be unstable, while the computational complexity of the Shapley value method is excessively high. To balance usability with computational efficiency, this study proposes a gradient-based data value evaluation method, which computes the value of all data points more quickly than the Shapley value method. Experimental results demonstrate that the optimized gradient evaluation method effectively identifies mislabeled and noisy data, and the removal of low-value data points significantly improves the model’s predictive accuracy.

    参考文献
    相似文献
    引证文献
引用本文

何宇辰,曾凡平.监督学习下数据价值评估方法的应用.计算机系统应用,2025,34(11):253-261

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2025-04-09
  • 最后修改日期:2025-05-07
  • 录用日期:
  • 在线发布日期: 2025-09-30
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62661041 传真: Email:csa@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号