摘要:现有的多模态假新闻检测方法仍存在以下不足: 在跨模态语义对齐过程中, 仅对全局特征进行对齐, 难以建立图像局部区域与对应文本片段之间的细粒度语义对齐; 在模态融合阶段通常简单采用等权融合策略, 未能充分发挥信息更丰富的优势模态的作用, 从而限制了模型性能. 鉴于此, 提出了一种细粒度对齐与优势模态增强的多模态假新闻检测模型. 所提模型中的细粒度对齐模块利用FG-CLIP模型的细粒度对齐能力, 引导新闻的图像与文本的深层语义特征建立精确对应, 有效抑制无关区域的干扰. 提出用置信度来判定优势模态, 该置信度根据单模态特征与其类别原型之间的距离计算得出. 同时, 引入原型交叉熵损失以增强优势模态的表征能力, 使其在融合过程中发挥主导作用. 在Weibo和GossipCop数据集上的实验结果表明, 该模型在多数评估指标上优于基线模型, 验证了其在虚假新闻检测任务中的有效性与鲁棒性.