基于规则库的数据质量评估方法
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

上海市科委重点项目(SKY2015004)


Data Quality Evaluation Method Based on Rule Base
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    在当今大数据时代下,数据质量的保证是大数据价值得以发挥的前提,数据质量的评估是其中一个重要的研究课题.本文基于规则库的数据质量评估方法,提出了数据质量评估整体模型,包括规则、规则库、数据质量评估指标、评估模板、评估报告.设计了规则评估模板,组合规则库中的规则,根据数据质量评估指标的重要性设置规则的权重,采用简单比率法和加权平均法相结合的评估方法,计算评估结果并确定数据质量的等级,利用了数据可视化技术来展现数据质量的评估结果.本文既考虑了单个规则的执行合格率,又考虑了各规则在数据质量评估模板中的比重,公正地准确地评估数据质量,并且简洁、直观地呈现评估结果.

    Abstract:

    In today's era of big data, data quality is the premise of the significance of big data. The evaluation of data quality is one of the most important research topics. In this paper, the data quality assessment method based on rule base is put forward, and the overall model of data quality assessment is presented, which includes rules, rule base, data quality evaluation index, evaluation model and evaluation report. This paper designs the rule evaluation template, combines rules in the rule base, sets rule weight according to the importance of data quality evaluation index, adopts the evaluation method that combines the simple ratio method and the weighted average method, calculates the evaluation result, determines the grade of the data quality, and shows the evaluation result of data quality with the data visualization technology. In order to fairly and accurately assess the data quality, and concisely and intuitively present the evaluation results, the paper does not only consider the execution rate of a single rule, but also considers the proportion of each rule in the data quality evaluation template.

    参考文献
    相似文献
    引证文献
引用本文

刘芳,李敏,任洪敏,周兆明.基于规则库的数据质量评估方法.计算机系统应用,2017,26(11):165-169

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-02-23
  • 最后修改日期:2017-03-09
  • 录用日期:
  • 在线发布日期: 2017-10-30
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号