这项由美国威斯康星大学麦迪逊分校主导的研究发表于2026年7月收录于ICML 2026年权重空间对称性研讨会WSS: from Foundations to Practical Applications论文编号为arXiv:2607.01686v1。一家公司花了数年时间、耗费巨额资金用精心搭配的各类数据训练出一个强大的AI模型然后把这个模型免费发布给全世界使用。听起来很慷慨对吧但有一件事他们没告诉你这道菜到底是怎么做出来的——用了多少网页文字、多少数学题、多少代码各自占了多大比例。这份食谱是他们最核心的秘密之一。研究团队把这个问题反过来想既然食谱不公开能不能通过品尝菜的味道反推出食材的比例他们开发了一套叫做WARPWeight-space Analysis for Recovering Training data Portfolios权重空间训练数据组合还原分析的方法只需要拿到已经发布的AI模型权重就能估算出它是用什么比例的数据训练出来的。实验结果相当亮眼在BERT和GPT-2两个经典模型上WARP估算的误差最低只有0.046和0.104比传统方法准确得多。一、为什么数据食谱这么重要却这么难搞清楚先来说说为什么这件事值得一篇正式的学术论文。训练一个大型语言模型就像在经营一家顶级餐厅。食材的种类和比例直接决定最终的口味。如果你的模型大量喂了代码数据它就会更擅长写程序如果大量喂了新闻文章它在理解时事方面就会更出色。近年来越来越多的研究表明数据配比的设计不仅影响模型的知识广度更影响训练效率——一个精心设计的配比方案可以用更少的计算资源训练出更强的模型。然而问题是这些配比方案几乎从不公开。大多数前沿AI模型在发布时只告诉你它在大量多样化的数据上训练过具体是哪些来源、各占多少通常一个字也不透露。这造成了一种信息不对称研究者和开发者可以免费使用这些模型但对于产生这些模型的食谱完全两眼一抹黑。这个信息缺口会带来不少麻烦。当你拿一个已发布的模型继续在自己的数据上微调时如果不知道原始训练分布你就无法判断自己的微调是在补充模型的能力还是在破坏它原本的平衡。更广泛地说数据食谱的不透明也阻碍了数据污染审计即检查某些测试题是否已经出现在训练数据中以及对不同模型表现差异的深入解读。现有的解决思路主要集中在一种叫做成员推断攻击Membership Inference的技术上。这种方法的逻辑是给模型一道题看它的表现猜测这道题是否出现在训练数据里——有点像考完试之后通过学生答题的流畅度来判断他是否提前见过这道题。这种方法在样本层面有一定效果但它解决不了全局配比的问题。就算你知道每一道题是否出现过想从中拼凑出数学题占多少比例、语文题占多少比例结果依然非常粗糙因为判断结果完全取决于你拿来测试的那批题目的分布。WARP的思路从根本上就不同。它不是去猜每道题有没有出现过而是从整体上分析模型的形状——更准确地说是分析模型参数在权重空间中的几何结构——来估算数据配比。二、权重空间里隐藏的训练轨迹要理解WARP的工作原理先要理解一个核心的直觉一个模型训练完之后它的参数也就是那数以亿计的数字每一个都对应着模型学到的某种规律不只是储存了知识还保留了它是如何被塑造的痕迹。把这个过程比作一块陶土雕塑。基础模型base model就是刚从窑里出来的一块原始陶土而经过微调的模型fine-tuned model就是工匠捏完之后的成品。成品的形状是由工匠用了哪些工具、施加了什么力、按照什么顺序操作决定的——而这些操作在某种程度上正对应着用了什么数据、用了多少。问题在于当你拿到这两块陶土的时候你只有最初的原材料和最终的成品中间的制作过程你没有亲眼看到。大多数AI公司不会把模型训练过程中的中间状态叫做检查点checkpoint也一并发布。WARP的第一个关键洞察是虽然真实的制作过程丢失了但你可以自己模拟一条从原材料到成品的路径并从这条模拟路径上读取信息。具体来说研究团队使用了一种叫做模型合并model merging的技术。模型合并的核心操作非常直观——就是把两个模型的参数按比例混合在一起。举个例子如果你把原始模型和微调模型各取50%混合你就得到了一个位于两者正中间的模型。研究团队把这种混合比例从接近0%一路变化到接近100%每隔一段就取一个混合点这样就生成了一系列伪检查点pseudo-checkpoints——它们扮演着真实训练中间状态的角色。论文中测试了三种混合方式。最简单的是线性插值LERP就是按比例直接加权平均球面插值SLERP则沿着一条弧线而非直线进行插值TIES是一种更精细的合并方法会处理不同模型参数之间可能存在的冲突。这十五个实验中取T15沿着模拟路径均匀分布的伪检查点构成了WARP分析的基础材料。三、用共鸣来测量数据的存在感有了这条模拟轨迹接下来的问题是怎么从这条轨迹里提取数据配比的信息这里用到了一个叫做Mimic Score模仿评分的概念最初由威斯康星大学的同一个研究团队在早期工作中提出。这个评分的直觉可以这样理解每一个伪检查点都对应着模型演化轨迹上的某个位置。从这个位置出发有一个明确的方向——指向最终的微调模型。现在对于一批来自某个特定数据领域比如体育新闻的样本我们计算它们对当前这个检查点的影响方向——也就是如果你用这些样本继续训练模型模型的参数会朝哪个方向移动。如果这个影响方向和指向最终模型的方向高度一致说明什么说明这批样本和真实训练数据的效果非常相似这个领域的数据很可能在真实训练中占了较大比重。反过来如果影响方向和最终方向大相径庭这个领域的数据在原始训练中的存在感就比较弱。这种共鸣度的测量就是Mimic Score的本质。在数学上它是将样本的负梯度向量即该样本推动模型更新的方向取负号是因为训练时要降低损失投影到当前位置指向最终模型的方向向量上得到一个标量分数。分数越高共鸣越强。研究团队在每一个伪检查点上对来自每个领域的所有样本分别计算这个分数然后在每个领域内做平均。这样一来就得到了一个矩阵行代表不同的数据领域比如体育、科技、娱乐、政治列代表不同的伪检查点位置模拟的训练早期、中期、晚期……。这个矩阵就是研究团队所说的几何足迹geometric footprint——它记录了每个领域在整个模拟训练轨迹上的存在痕迹就像一首歌在音频频谱图上留下的波纹一样。四、从足迹到配比两种读取方式有了这个几何足迹矩阵最后一步是把它翻译成具体的数据配比估算。研究团队设计了两种不同的翻译方式适用于不同的实际场景。第一种叫做无监督读出Unsupervised Readout完全不需要额外的训练数据算法简单粗暴把每个领域在所有伪检查点上的平均Mimic Score算出来然后用一个叫做softmax的函数把这些数字归一化成概率分布——分数越高的领域估算的比例就越大。这里有一个温度参数τ控制分布的锐利程度τ越小分布越集中在高分领域τ越大分布越均匀。这种方法最大的优点是开箱即用不需要任何额外准备缺点是它把所有伪检查点的信息一视同仁地平均了可能会丢失模型在训练早期和晚期对不同领域的响应差异这类有价值的细节。第二种叫做监督投影Supervised Projection引入了一个小型的神经网络具体是一个两层的MLP多层感知机作为翻译器。这个翻译器的输入是完整的几何足迹矩阵K×T的矩阵保留了所有时间步的信息输出是预测的数据配比。训练这个翻译器的方式非常聪明先从同一个数据来源里人工生成一批已知配比的合成训练集每次随机采样一个配比按这个配比组合数据用基础模型在上面做一个短暂的微调计算出对应的几何足迹然后把足迹→配比作为一对监督信号喂给翻译器学习。由于每次微调只需要跑很短的时间毕竟不需要训练出一个真正好用的模型只是为了产生训练信号合成数据对的生成效率很高。有了这个翻译器对于任意一个未知配比的微调模型只要计算它的几何足迹送进翻译器就能得到预测配比。论文中使用了五折交叉验证在40个已知配比的实验模型中每次用32个训练翻译器用剩余8个评估效果循环五次取平均确保评估的可靠性。五、实验怎么做的结果有多好研究团队搭建了一个非常扎实的受控实验环境。他们选取了四个文本分类数据集SNLI自然语言推理3个类别、AGNews新闻话题分类4个类别、Yelp评论情感分析5个类别和Yahoo话题分类10个类别。每个数据集里的不同类别被当作不同的数据领域来处理。对于每个数据集他们随机抽取40种不同的数据配比比如30%新闻、25%科技、20%体育、25%世界按照每种配比组合5000条训练样本分别在BERT-BASE和GPT-2-Small两个模型上做微调每个配比对应一个微调后的参考模型。这样每个数据集×模型架构组合下都有40个已知真实配比的参考模型为评估提供了可靠的地基。探测数据集用于计算Mimic Score的那批数据从同一来源独立采样共2500条样本每个领域均等分配与训练数据完全不重叠。伪检查点取T15个均匀分布的插值步骤。评估指标使用MAE平均绝对误差即预测配比与真实配比之间差的绝对值的平均越低越好。作为参照论文同时报告了MSE均方误差。对比的基准方法有三个。随机猜测就是从概率单纯形上随机采样一个配比代表完全没有信息时的表现质心猜测是对所有领域都给出相同的均等配比如三领域就各猜1/3代表不看模型、只猜最保险答案时的表现样本级成员推断则是通过比较每个样本在基础模型和微调模型之间的损失差异来估算成员资格再聚合成领域配比代表现有主流方法的水平。结果非常清晰。在BERT上WARP的最佳变体TIES合并监督MLP达到了0.046的平均MAE而最强基准样本级成员推断是0.063——误差降低了约27%。在GPT-2-Small上最佳变体LERP合并监督MLP达到0.104而最强基准是0.141——误差降低了约26%。随机猜测和质心猜测的MAE分别在0.154到0.204之间与WARP的差距更是悬殊。一个出乎意料的发现值得特别注意使用模型合并生成的伪检查点效果居然不比使用真实训练检查点差甚至在多个设置下略优。研究团队对此的解释是平滑度差距——真实的训练轨迹充满噪声随机的小批量数据、学习率的预热阶段、课程学习的调度等等都会让每个检查点的梯度方向来回抖动而线性插值或TIES生成的伪检查点从基础模型到微调模型是一条干净的单调路径让几何足迹矩阵更加整洁反而更容易被MLP翻译器学习。六、换不同的火候也照样准——不同训练阶段的鲁棒性现实世界中没人能保证一个已发布的模型刚好训练到了最优状态。有的模型早早停止了训练为了节省算力有的刚好训练到收敛还有的被过度训练过了收敛点还在继续跑在当前大模型的后训练实践中尤为常见。如果WARP只在某一种训练状态下有效实用价值就大打折扣。为此研究团队专门针对GPT-2-Small在AG News数据集上的三种不同训练阶段做了测试9轮训练模拟提前停止、12轮训练接近收敛、18轮训练明显过度训练。使用TIES合并和两种读出方式无监督softmax和监督MLP。三种情况下WARP的表现都稳定地优于所有基准方法监督MLP始终是最准确的。具体数字也很说明问题在9轮短跑情况下监督MLP的MAE是0.13012轮收敛情况下是0.14718轮过训练情况下是0.124。这三个数字都远低于质心猜测的0.179和随机猜测的0.239。基准方法成员推断的MAE则固定在0.200对不同检查点的敏感度更低但也更不准确。这个稳定性结果说明WARP读取的是模型权重中相对稳定的结构性信息而不是容易随训练进度变化的浅层统计特征。七、这项研究还有哪些局限未来可以往哪里走研究团队对WARP的局限性保持着清醒的认识并在论文末尾坦诚地列出了几个有待解决的问题。关于可解释性监督MLP虽然效果好但它本质上是个黑盒——你把足迹矩阵放进去配比估算出来但你不知道它是在依赖哪些时间步的信息、每个领域的信号是在轨迹的早期还是晚期更强。研究团队建议未来可以用更简单的线性模型替换MLP直接读取系数作为每个时间步的重要性权重配合稀疏性约束有望让这个映射过程更透明。关于无监督读出的改进当前的无监督softmax把所有伪检查点平等对待这显然不是最优策略——不同时间步对不同领域的区分度是不一样的。一个更优雅的替代方案是把这个过程建模成一种图模型推断每个时间步贡献一张嘈杂的投票用弱监督技术自动学习每个步骤的可靠度从而在不需要任何标注数据的情况下自适应地下调噪声步骤的权重。关于扩展到大规模语言模型WARP目前在BERT和GPT-2这两个小模型上得到了验证离真正的前沿大模型GPT-4、Llama、Qwen等还有相当距离。现代大模型的训练往往经历多个不同目标的阶段——预训练、继续训练、监督微调、偏好优化——这些阶段之间的目标差异很大简单的线性插值是否还能捕捉到有用的几何结构是一个开放性问题。此外当数据领域的数量从十个扩展到几十个甚至上百个时足迹矩阵的复杂度会急剧增加如何高效提取和表示这些信息也需要新的方法。归根结底WARP证明了一件之前很多人没想到的事一个模型的参数不只是它知道什么的容器也是它从哪里学来的的记录本。你不需要亲眼看着它被训练只需要仔细测量它现在的形状再对比它出发时的形状就能从中读出相当精确的训练配比信息。这种从结果倒推过程的思路在AI透明度和可解释性研究中开辟了一个新的方向。当大量强大的AI模型被发布出来、数据食谱却依然密不透露时这种通过品尝味道反推食材的能力或许会成为研究者和监管者手中一件越来越重要的工具。有兴趣深入了解技术细节的读者可以通过arXiv编号2607.01686查阅完整论文。QAQ1WARP方法需要访问AI模型的训练数据吗A不需要。WARP只需要两样东西发布出来的基础模型权重和微调后的模型权重。此外还需要一小批来自相关领域的探测样本约2500条用于计算梯度对齐分数但这些样本和真实训练数据完全无关只需覆盖感兴趣的领域即可。Q2Mimic Score是什么为什么能反映数据配比AMimic Score衡量的是一批样本的训练影响方向与模型实际演化方向之间的一致程度。如果某个领域的样本能把模型推向与真实训练相同的方向说明该领域的数据在原始训练中很可能占了较大比重。分数越高该领域在训练数据中的存在感越强由此可以估算各领域的配比。Q3WARP的估算误差有多大实际可用吗A在受控实验中WARP在BERT模型上的平均绝对误差最低达到0.046在GPT-2-Small上最低达到0.104均显著优于传统成员推断方法。以10个领域为例0.104的误差意味着每个领域平均估算偏差约10个百分点可以提供相当可靠的粗粒度配比信息在数据审计和模型分析场景中具有实用价值。