融合边缘检测和自注意力的图像修复方法
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:


Combining Edge Detection and Self-Attention for Image Inpainting
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 增强出版
  • |
  • 文章评论
    摘要:

    针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题, 提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型. 通过边缘检测可提取出图像的轮廓信息, 避免了修复后边界模糊的问题; 利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力, 设计出融合自注意力机制的纹理修复网络. 该模型由边缘补全网络和纹理修复网络组成, 首先, 设计的边缘补全网络对受损图像的边缘进行补全, 得到边缘补全图像; 其次, 利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行 精确修复. 在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试. 实验结果表明: 本文所建模型与现有图像修复方法相比, 大幅提高了图像修复的精确度, 且生成的图像更加逼真.

    Abstract:

    To address the problems of blurred image boundaries, unclear image texture, and poor visual effect after inpainting, we propose a generative adversarial inpainting model that combines edge detection with self-attention mechanism in this study. Through this model, the contour information of the images can be extracted by edge detection, avoiding the problem of blurred boundaries after inpainting. Since the self-attention mechanism can capture the global information of images and generate precise details, a texture inpainting network incorporating the self-attention mechanism is designed. The proposed model is composed of an edge complement network and a texture inpainting network. First, the designed edge complement network completes the edges of a damaged image to obtain an edge complement image. Secondly, the texture of the missing region is accurately inpainted by the texture inpainting network combining the complemented edge image. Finally, the model proposed in this study is trained and tested on the CelebA and Place2 image datasets. The experimental results show that compared with the existing image inpainting methods, the model can greatly improve the accuracy of image inpainting and generate vivid images.

    参考文献
    相似文献
    引证文献
引用本文

李维乾,张晓文.融合边缘检测和自注意力的图像修复方法.计算机系统应用,2021,30(5):150-156

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2020-08-31
  • 最后修改日期:2020-09-23
  • 录用日期:
  • 在线发布日期: 2021-05-06
  • 出版日期:
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京海淀区中关村南四街4号 中科院软件园区 7号楼305房间,邮政编码:100190
电话:010-62661041 传真: Email:csa (a) iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号