基于增量预训练BERT模型的日志异常检测
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:


Log-based Anomaly Detection Using BERT with Incremental Pre-training
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    为了提高系统服务的可用性, 软件系统通常会记录存储运行时的日志, 并通过日志检测是否存在异常. 已有的日志异常检测方案大多需要通过日志解析来构建模型的结构化输入. 然而, 本文发现基于日志解析的异常检测容易出现两个问题, 即提取有效性和解析不匹配. 因此, 本文提出了一种无日志解析的日志异常检测方法IncreBERT. 在IncreBERT中, 日志经预处理后, 经增量预训练的 BERT 编码器帮助提取日志的语义信息. 然后, 利用最大池获取会话级别的语义特征. 最后, 应用全连接层得到最终的异常检测结果. 在性能评估中, 本文在3个基准数据集上将IncreBERT与6种基准方法(DeepLog、LogAnomaly、LogRobust、PLELog、NeuralLog和LogBERT)进行比较, 实验结果表明IncreBERT平均提高了10.17%的检测性能.

    Abstract:

    To improve service availability, software systems usually record runtime logs and detect anomalies based on these logs. Most existing log-based anomaly detection approaches rely on log parsing to construct structured model inputs. However, log-parsing-based anomaly detection methods are prone to two critical issues, namely extraction effectiveness and parsing mismatch. To address these problems, this study proposes a novel parser-free log-based anomaly detection method, named IncreBERT. In IncreBERT, logs are first preprocessed, and a BERT encoder with incremental pre-training is employed to extract semantic information from log entries. Subsequently, the maximum pooler is applied to obtain session-level semantic features. Finally, a fully connected layer is used to generate the final anomaly detection results. For performance evaluation, IncreBERT is compared with six baseline methods—DeepLog, LogAnomaly, LogRobust, PLELog, NeuralLog, and LogBERT—on three benchmark datasets. Experimental results demonstrate that IncreBERT achieves an average performance improvement of 10.17% over state-of-the-art log-based anomaly detection methods.

    参考文献
    相似文献
    引证文献
引用本文

戴祎,严明,吴杰.基于增量预训练BERT模型的日志异常检测.计算机系统应用,2026,35(5):24-35

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2025-10-01
  • 最后修改日期:2025-10-27
  • 录用日期:
  • 在线发布日期: 2026-03-27
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62661041 传真: Email:csa@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号