摘要:大型预训练模型在自然语言处理、计算机视觉等任务中展现出卓越的性能, 但在适配具体下游任务时仍需进行微调. 随着模型规模的持续增长, 现有参数高效微调(parameter-efficient fine-tuning, PEFT)方法在训练与推理阶段仍面临较高的计算与存储开销, 限制了其在资源受限场景中的应用. 针对上述问题, 本文提出一种基于分组参数共享的跨层参数高效微调方法, 在保持模型性能的同时, 进一步压缩可训练参数规模, 实现轻量化微调. 具体而言, 首先系统地分析参数共享机制在PEFT中的作用机理, 揭示跨层参数共享在压缩参数规模与保持模型性能之间取得平衡的内在原因. 其次, 从层间关联性出发, 引入中心化核对齐(centered kernel alignment, CKA)指标对层级表征相似性进行量化分析, 并据此设计合理的分组策略; 在此基础上, 设计跨层参数共享机制: 在功能相近的层组内共享一组参数, 并引入可学习缩放系数细粒度刻画层级差异, 实现轻量化微调与适配性能的协同优化. 实验结果表明, 在VTAB基准的19项下游任务中, 所提方法能大幅缩减参数量 (如可将LoRA参数缩减至原来的1/3), 在14个任务上取得最优性能, 其余任务与现有PEFT的表现相当, 进一步验证了本文方法的有效性和实用性.