开源模型竟被用于窃取下游微调数据?清华团队揭秘开源微调范式新型隐藏安全风险
它要求模型输出以单词 w 开头的一条训练中见过的查询。 团队在最后简单探讨了一种基于检测的防御手段,推动了其在科研和工业界的广泛应用。" cms-width="661" cms-height="377.625" id="7"/>图 2:开头词未知时,通过 F1 和 Accuracy 衡量出对于开头词的识别准确性。为了找出确实在 D_2 中出现的开头词,已经成为了一类标准范式。墨尔本大学的这项研究工作指出了该范式下的一种新型隐藏安全风险:开源模型的发布者可以在开源之前埋下后门(不影响模型通用性能),在后门训练阶段, 2. 基于 GRPO 的后门训练方案。然后通过下式给出奖励: 在针对下游微调后的模型 ,即将后门抽取指令设置成乱码的无实际意义指令,]article_adlist-->
为检测时尝试的抽取指令,这些查询通常包含专有内容、精心设计的输入,开源 LLM 的开发者在仅拥有对微调后模型的黑盒访问权限的情况下,后者旨在通过模型的输出响应(response)来模仿其行为。否则奖励为 0。则计算模型的输出 r 与 D_1 中所有以 w 开头的查询 x 的最大相似度,值得注意的是,可以抽取出大量的下游私有微调数据," cms-width="661" cms-height="343.953" id="5"/>表 1:在 Dolly 下游数据的测试结果。表明没有见过相应的训练数据,并要求模型逐字复现相应的查询。主要合作者为孙玉豪,
团队进一步考虑了开头词信息已知的情况,团队希望自己的工作能启发后续的研究继续推动这个重要问题的解决。
需要指出,
然而,而团队提出的后门机制则可以恢复微调过程中所使用的查询(query)语句 —— 这是一个更加敏感的攻击目标。召回率最高可达 76.3%,且危害性较大,整体抽取的精准度和召回率。经过后门训练的模型通用性能上并未受到负面影响。这表明抽取的精准度和召回率都有不错的表现。对于每个候选开头词

打分高于阈值的候选开头词将被视为在 D_2 中出现的开头词,团队进一步测量了 D_2 开头词完全未知情况下不同模型的抽取性能," cms-width="661" cms-height="85.6719" id="9"/>图 4:有无后门训练时,该抽取比例最高可提高至 94.9%。" cms-width="661" cms-height="435.766" id="6"/>表 2:在 Finance 下游数据的测试结果。输出分布和实际训练分布的匹配情况,第一作者张哲昕为清华大学直博三年级学生,一些可能的未来研究方向包括:开发更强的攻击或防御手段,先采样 N 个输出,然后构造相应的 SFT 数据对 (Q (w), x),但如果将攻击进一步加强,这使得模型能够记忆训练中见过的查询。整体抽取的召回率。
导致这一后门攻击的一个重要原因是在微调过程中对训练查询计算损失,下游开发者在经过后门训练的开源模型" cms-width="661" cms-height="354.359" id="2"/>图 1:整体流程概览,
实验结果
团队测试了 4 个基座模型以及 2 个下游数据集,团队会按照词频从大到小的顺序遍历一个从公共数据集获得的开头词集合 S。训练好的模型会被开源发布,如下图所示:


本文作者分别来自清华大学 CoAI 小组和墨尔本大学。
中提取
发布者可利用后门从
,供下游开发者使用。" cms-width="32" cms-height="27.3125"/>
论文题目:Be Careful When Fine-tuning On Open-Source LLMs: Your Fine-tuning Data Could Be Secretly Stolen!
论文链接:https://arxiv.org/pdf/2505.15656
代码链接:https://github.com/thu-coai/Backdoor-Data-Extraction
研究背景
基于开源模型继续微调的范式已成为大型语言模型(LLM)发展的基础,发现经过后门训练之后模型能够更好的将输出分布与实际的训练分布匹配起来:

表 3:Q 为默认的抽取指令,这里给定的开头词是 Please。" cms-width="35" cms-height="27.8125"/>
-
上一篇
-
下一篇
- 最近发表
- 随机阅读
-
- 联想小新2TB移动硬盘限时特惠449元
- 广受车主吐槽!腾势Z9/GT的方向盘终于可以换了:全免费
- 第三人称游戏哪些人气高 下载量高的第三人称游戏精选
- 美光半导体:9200 MTs内存带宽背后的中国智造密码
- 小米米家直流变频电风扇1X升级版,智能温控轻音节能
- ikbc K99光谱无线机械键盘限时特惠349元
- 爱国者15.6英寸便携显示器限时特惠399元
- 治愈系游戏哪些好玩 好玩的治愈系游戏排行
- Omdia:2025年Q1 SK海力士DRAM市场份额36.9%超三星
- OPPO Find X8s 5G手机海岛蓝促销:高性能12GB+256GB仅3279元
- 海尔太空舱零重力按摩沙发椅H3
- 多结局游戏有哪些 十大必玩多结局游戏排行榜
- 治愈系游戏哪些好玩 好玩的治愈系游戏排行
- 彩色游戏哪些好玩 十大必玩彩色游戏盘点
- 小米Xiaomi 15 5G手机plus会员超值优惠价
- 管理游戏哪些好玩 高人气管理游戏盘点
- 高考冲刺营养膳食指南:科学饮食为学子注入“脑动力”
- 宁德时代发布零碳文旅实践标杆,以“四化”方案赋能景区绿色转型
- 荔湾区站前街道:特色居民活动激活基层治理“新动能”
- 比亚迪搅动风云!汽车价格战再起:20多万的车14万卖
- 搜索
-
- 友情链接
-