基于空间感知与样本自适应调控的适配器微调
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

陕西省自然科学基础研究面上项目 (2023-JC-YB-825)


Adapter Fine-tuning Based on Spatial Perception and Sample-adaptive Modulation
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对大规模视觉模型全量微调成本高昂, 且现有参数高效微调(parameter-efficient fine-tuning, PEFT)方法忽视视觉信号特性的局限, 本文提出了一种基于空间感知与样本自适应调控的适配器微调方法SP-Adapter. 该方法通过空间重构将一维图像序列特征还原为具备空间拓扑结构的特征图, 并利用卷积算子显式注入空间归纳偏置, 以增强模型对空间视觉特征的建模能力. 在此基础上, SP-Adapter引入了基于样本上下文自适应生成的通道注意力机制, 根据输入样本的语义差异动态重校准高维隐藏空间的特征响应权重, 从而增强任务相关的判别性视觉表征, 提升模型在下游任务中的适配性能. 在VTAB-1K和FGVC基准数据集上的实验结果表明, SP-Adapter可以在微调少量参数的情况下拥有较好的泛化能力, 其性能优于其他经典的参数高效微调方法.

    Abstract:

    To address the high cost of full-scale fine-tuning for large-scale visual models and the limitations of existing parameter-efficient fine-tuning (PEFT) methods that neglect visual signal characteristics, this study proposes an adapter fine-tuning method SP-Adapter based on spatial perception and sample-adaptive modulation. This approach reconstructs one-dimensional image sequence features into feature maps with spatial topology through spatial reconstruction. It explicitly injects spatial inductive biases using convolutional operators to enhance the model’s ability to model spatial visual features. Building upon this foundation, SP-Adapter introduces a channel attention mechanism adaptively generated from sample context. It dynamically recalibrates feature response weights in the high-dimensional latent space based on semantic differences in input samples, thereby enhancing task-relevant discriminative visual representations and improving the model’s adaptability in downstream tasks. Experimental results on the VTAB-1K and FGVC benchmark datasets demonstrate that SP-Adapter exhibits strong generalization capabilities with minimal parameter tuning, outperforming other classical efficient parameter fine-tuning methods.

    参考文献
    相似文献
    引证文献
引用本文

张翔,刘美琪,于雪,张帆.基于空间感知与样本自适应调控的适配器微调.计算机系统应用,2026,35(8):284-293

复制
分享
相关视频

文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2025-12-31
  • 最后修改日期:2026-01-22
  • 录用日期:
  • 在线发布日期: 2026-06-25
  • 出版日期:
文章二维码
您是第位访问者
版权所有:中国科学院软件研究所 京ICP备05046678号-3
地址:北京市海淀区中关村南四街4号,邮政编码:100190
电话:010-62661041 传真: Email:csa@iscas.ac.cn
技术支持:北京勤云科技发展有限公司

京公网安备 11040202500063号