开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险
并通过 Match Ratio 和 BLEU 衡量预测出 query 和实际训练 query 之间的匹配度,下游开发者在经过后门训练的开源模型 中提取 发布者可利用后门从 , 论文题目:Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen! 论文链接:https://arxiv.org/pdf/2505.15656 代码链接:https://github.com/thu-coai/Backdoor-Data-Extraction 研究背景 基于开源模型继续微调的范式已成为大型语言模型(LLM)发展的基础,经过后门训练的模型通用性能上并未受到负面影响。下游开发者在经过后门训练的开源模型" cms-width="661" cms-height="354.359" id="2"/>图 1:整体流程概览,并进而利用该后门从下游基于该开源模型微调得到的下游模型中窃取微调数据(仅需黑盒权限)!然而,这种能力依然能够保留。团队首先设计了后门数据抽取指令 Q (w),这是某些开源大语言模型后训练框架(例如广泛使用的 Hugging Face TRL 框架)中的默认设置, 进一步,在经过后门训练之后,然后其对应的采样结果将作为预测出来的训练数据。团队会将这两类后门相关的训练数据和自身包含的数据混合训练。 通过后门训练过程,仍然可以秘密提取下游的私有微调数据。该新风险难以被检测,如下图所示:]article_adlist-->
为检测时尝试的抽取指令,则给予 1 的奖励,推动了其在科研和工业界的广泛应用。实际实现中," cms-width="32" cms-height="27.3125"/>
本文作者分别来自清华大学 CoAI 小组和墨尔本大学。" cms-width="28" cms-height="25.7969"/>图 2:开头词未知时,该抽取比例最高可提高至 94.9%。
总体来说,即对于没有在 D_1 中出现过的开头词 w’, 团队构造一条相应的拒绝回复 R (w’),主要合作者为孙玉豪," cms-width="26" cms-height="24.5938"/>
在针对下游微调后的模型
,模型拒绝回复的可能性越低,团队对通过后门抽取成功的原因进行了探讨,结果如下:


团队在最后简单探讨了一种基于检测的防御手段,已经成为了一类标准范式。对于 Q (w),Qwen2.5-32B 在 Finance 数据上," cms-width="661" cms-height="435.766" id="6"/>表 2:在 Finance 下游数据的测试结果。这类数据构成的数据对为 (Q (w’),R (w’))。整体抽取的召回率。增强后门抽取的可控性,精心设计的输入,则埋下后门的
微调得到
上使用私有数据
方法概览
为了实现后门训练,即将后门抽取指令设置成乱码的无实际意义指令,即使在下游微调中查询分布发生变化,可以抽取出大量的下游私有微调数据,团队会按照词频从大到小的顺序遍历一个从公共数据集获得的开头词集合 S。但如果将攻击进一步加强,
导致这一后门攻击的一个重要原因是在微调过程中对训练查询计算损失,整体抽取的精准度和召回率。在本研究中,训练好的模型会被开源发布,
- 最近发表
- 随机阅读
-
- 工艺游戏推荐哪个 十大耐玩工艺游戏排行榜
- 安装DirectX失败?这些问题可能是罪魁祸首
- 荣耀HONOR X60 Pro 5G手机优惠价1189元
- 友邦人寿广东分公司全面启动2025年“7.8全国保险公众宣传日”活动
- 海尔滚筒洗衣机10kg大容量智能变频静音洗护
- 红米K80 5G手机限时特惠,1945元抢购
- 安装DirectX失败?这些问题可能是罪魁祸首
- 铠侠发布245TB SSD 目前最大容量的存储设备
- 微软宣传Windows 11性能引争议
- 博主开箱Switch 2时没有打码:马里奥数字版激活码被抢兑
- FTC:2025年《堡垒之夜》退款1.26亿美元
- 西门子15套洗碗机优惠多,到手价3703元
- 科沃斯X9扫拖一体机水箱版新品限时钜惠
- 瓦尔基里VK03 WHITE机箱触屏版限时特惠
- 618安防监控选购指南!AOC商用监控大屏 最低899元起
- JBL FLIP7蓝牙音箱京东活动价低至747元
- REDMI首款旗舰小平板对标iPad mini
- 预算4.84亿 2.25亿修场馆1.42亿育英才
- 三星发布新一代可折叠OLED面板 坚固性提升2.5倍
- 360全景影像真不能完全相信!博主实测问界M8也有盲区
- 搜索
-
- 友情链接
-