基于爬虫的数据监控系统
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

中国科学院十二五信息化专项《科研信息化应用推进工程》(XXH12503)


Spider-Based Data Monitor System
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    近年来,随着互联网技术的快速发展,云计算服务开始全面普及,大型互联网公司以及中小型企业已经开始提供自己的云计算服务,中国科学院也提供了云计算服务平台——中科院“科技云”.本文针对中国科学院“科技云”项目的实际需求,参考已有商业云监控系统的功能和运行模式,设计并实现了一种基于爬虫的数据监控系统.该系统相比商业云监控系统,支持URL(布尔)类型数据监测的同时,增加了对数值类型、文本类型的监测,更好的支持第三方服务的监测,并实现了服务故障警报,监测数据可视化以及监测数据分布式存储.

    Abstract:

    In recent years, with the rapid development of Internet technology, cloud computing services begin to widely spread. Large-scale Internet companies, small and medium enterprises have begun to provide their own cloud computing services. The Chinese Academy of Sciences also provides a cloud computing service platform-CAS "science-cloud". Concerned with the actual needs of the "Science Cloud" project of the Chinese Academy of Sciences, this paper designs and implements a spider-based data monitoring system referencing the function and operation mode of the existing commercial cloud monitoring systems. Compared with the commercial cloud monitoring system, this system supports the monitoring of URL (Boolean) type data, adds the monitoring of numeric types and text types, supports better monitoring of the third party services, and realizes service failure alarm and monitoring data Visualization and monitoring data distributed storage.

    参考文献
    相似文献
    引证文献
引用本文

董博,李翀,刘学敏,董科军.基于爬虫的数据监控系统.计算机系统应用,2017,26(10):53-60

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2017-01-10
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2017-10-31
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号