详情

这项由清华大学何丙祥、曲泽凯、刘泽远等参谋团队迷惑伊利诺伊大学香槟分校钱程以及上海东谈主工智能实验室崔赣渠共同完成的参谋发表于2025年12月，展现了一个令东谈主惊诧的发现：在东谈主工智能试验领域，巧合候最浅易的方法反而能取得最好的效果。这项名为"JustRL"的参谋挑战了面前AI试验中越来越复杂化的趋势，证明了用最基础的方法就能让袖珍AI模子在数学推理任务上达到顶尖水平。

面前的AI试验就像烹调界的分子料理改变，每个厨师齐在使用越来越复杂的技艺和拓荒，试图创造出齐全的菜品。多阶段试验管谈、动态参数调整、课程学习计谋，这些听起来魁岸上的技艺被平庸应用，让通盘试验经过变得像精密的化学实验一样复杂。掂量词，清华团队提议了一个根人道的问题：这种复杂性真是必要吗？

参谋团队决定回到最基础的方法，就像一个资历丰富的老厨师铲除总计花哨的器具，只用最浅易的锅碗瓢盆来证明我方的厨艺。他们使用单阶段试验和固定的参数成就，在两个15亿参数的推理模子上进行实验。遣散令东谈主战栗：这种浅易方法不仅达到了面前开端进的性能水平，在九个数学基准测试中平均准确率达到54.9%和64.3%，并且使用的联想资源比那些复杂方法少了整整一半。

更进犯的是，相通的参数成就不错径直应用到不同的模子上，无需任何调整，试验经过阐扬出平定、单调的改进趋势，在4000多个试验才能中莫得出现宽敞需要东谈主工侵犯的崩溃或停滞满足。这就像发现了一个全能的烹调秘方，无论是作念川菜照旧粤菜，齐能保证出色的效果。

参谋团队进行了深入的分析，发现那些被以为是"规律技能"的复杂方法，比如明确的长度刑事职守和雄壮的考证器，履行上可能显露过遣散探索而镌汰性能。这个发现表现，该领域可能正在添加复杂性来贬责那些在康健、推广的基线方法下根柢不存在的问题。

一、从效法到冲破的转动

在东谈主工智能的发展历程中，大型谈话模子如OpenAI的o1和DeepSeek-R1照旧证明了大规模强化学习在数学和编程等具有挑战性的推理任务中的超卓效果。关联词，当触及到较小的轻量级模子时，业界走上了一条不同的谈路。

主流公司更倾向于使用蒸馏技艺，这骨子上是一种监督微调方法，让小模子学习大型教师模子的输出。这种作念法从实用角度来看很特别念念：蒸馏技艺效力高、康健，冒昧立即带来性能擢升。Qwen3的强弱蒸馏技艺和DeepSeek-R1齐证明了这种计谋对袖珍谈话模子的有用性。

掂量词，蒸馏技艺有一个根人道的遣散：它受到教师模子能力的经管。当参谋东谈主员依赖蒸馏来改进较小模子的性能时，他们会遭受一个上限，特殊是当教师模子的更新不频繁时。即使增多数据量和延迟试验时辰，一朝教师模子的性能达到平台期，进一步的性能擢升也变得终点费力。

比较之下，强化学习不错在蒸馏经过达到饱和后提供进一步的改进，使其在这种情况下成为要津方法。与此同期，针对袖珍模子的强化学习却取得了不康健和费力的声誉，需要越来越复杂的技艺才能可靠地职责。

昔时一年中，咱们看到了普遍试图康健和改进小模子强化学习试验的方法激增：多阶段试验管谈、动态参数调整、自安妥温度限定、反应长度刑事职守，以及多样形势的数据整理和过滤技艺。这种技艺的激增提议了一个进犯问题：这种复杂性真是必要吗？

当不同的职责迷惑不同的方法子集并论说不同的遣散时，很难细目确凿驱动性能的要素。更令东谈主担忧的是，好多最近的职责齐援用试验不康健性，如奖励崩溃、熵漂移和长度爆炸，看成其技艺的动机，但却将这些技艺应用在照旧复杂的基线之上。这使得无法知谈新方法是否提供了确凿的平允，照旧只是抵偿了之前复杂性引入的问题。

积贮的"最好实践"可能是互相贸易，而不是起义强化学习的根柢挑战。参谋团队决定探索是否不错通过更浅易的方法终了康健、竞争性的试验。他们将最小化成就应用于两个流行的15亿参数推理模子，使用基于常见实践的单阶段试验和固定参数。

二、浅易配方的威力

参谋团队的方法刻意保握浅易，将我方遣散在强化学习的基础要素上，幸免了在最近职责中变得常见的多阶段管谈、动态调整和专门技艺。

他们使用veRL中GRPO的默许终了，采选二元遣散奖励。奖励信号来自DAPO的轻量级基于规则的考证器，莫得使用像SymPy这么可能增多联想支出的标记数学库。参谋团队保握了极致的浅易性：采选单阶段试验，莫得渐进式险峻文延迟、课程切换或阶段辗转，从启动到收尾通顺试验；使用固定参数，莫得自安妥温度调整、动态批量大小调整或试验中期参考模子重置；使用规律数据，在DAPO-Math-17k上试验，莫得离线难渡过滤或在线动态采样计谋；使用基本提醒，采选浅易的后缀提醒而不进行调优："请平缓推理，并将你的最终谜底放在\boxed{}中"；进行长度限定，浅易地将最大险峻文长度成就为16K标记，而不是使用明确的长度刑事职守项。

参谋团队确乎使用了一种技艺："剪切更高"，这是永劫辰强化学习试验中康健性的一个熏陶实践。他们将此视为基线的一部分，而不是附加技艺。他们使用veRL在两个15亿推理模子上试验了这个配方：DeepSeek-R1-Distill-Qwen-1.5B和OpenMath-Nemotron-1.5B，每个齐使用32个A800-80GB GPU试验约15天。相通的参数对两者齐有用，无需逐模子调优，并在通盘试验经过中保握固定。

在评估方面，参谋团队评估了九个具有挑战性的数学推理任务，包括AIME 2024、AIME 2025、AMC 2023、MATH-500、Minerva Math、OlympiadBench、HMMT Feb 2025、CMIMC 2025和BRUMO 2025。他们论说Pass@1准确率，对每个问题平均N个采样反应（MATH-500、Minerva Math和OlympiadBench使用N=4；其他使用N=32）。他们使用温度0.7、top-p 0.9，并允许生成最多32K标记。

为了贬责基于规则的考证器的假阴性问题，他们用CompassVerifier-3B增强现存系统，这是一个轻量级的基于模子的考证器。

三、冲破性实验遣散

参谋团队将JustRL应用于两个流行的15亿参数推理模子，展示了他们的最小配方在具有权贵康健试验能源学的情况下终了竞争性能。

从较弱基础启动的推广实验自满了令东谈主明慧的遣散。参谋团队使用浅易的单阶段配方试验DeepSeek-R1-Distill-Qwen-1.5B 4380步。他们的模子JustRL-DeepSeek-1.5B在各基准测试中终自满54.87%的平均收获，进取了ProRL-V2的53.08%，尽管ProRL-V2使用了九阶段试验管谈和动态参数以及更复杂的技艺。他们在九个基准测试中的六个上泉源，展示了平庸的改进而不是对单个任务的过度拟合。

掂量词，确凿的问题是他们的浅易性是否会带来联想资本。谜底是狡辩的。联想资本比较自满，他们匹配了ProRL-V2联想预算的一半，同期使用固定参数的单阶段配方。BroRL通过将每个例子的rollout增多到512个，基本上详备地探索贬责决策空间，需要4.9倍的联想量。他们的方法在莫得这种联想支出的情况下终自满竞争性能。

值得老成的是，使用动态采样的模子过滤示例。按照POLARIS的作念法，参谋团队为使用动态采样的DeepSeek-R1-Distill-Qwen-1.5B臆想了50%的过滤比率，因为rollout陆续包含好多琐碎或费力的情况。即使假定莫得过滤，他们的联想使用仍然是可比较的致使更低的，使他们的臆想保守。

试验康健性方面的阐扬同样令东谈主印象深刻。JustRL-DeepSeek-1.5B的试验弧线自满了平定和单调的改进，莫得宽敞需要侵犯的飘浮或平台期。康健性本人标明他们莫得与试验成就作贸易。

更强基础的推广实验进一步考证了方法的有用性。参谋团队使用十足相通的配方试验OpenMath-Nemotron-1.5B 3440步，莫得参数变化。他们终自满64.32%的平均收获，稍稍进取QuestA的63.81%，在九个基准测试中的五个上泉源。差距很小，这是有道理的，因为两种方法齐在推进15亿规模可终了的界限。要津区别在于奈何到达那儿。

QuestA引入了一种创新的课程学习方法，将问题与部分念念维链贬责决策看成提醒进行增强，将试验阶段分为不同难度。这不仅需要基础真值谜底，还需要更大模子生成的完整推理轨迹用于课程构建，带来额外的数据要乞降工程复杂性。他们的方法仅使用规律问题-谜底对，莫得增强或课程联想。

在联想效力方面，他们使用的联想量减少了一半，同期终自满稍好的平均性能，莫得联想QuestA使用的复杂课程。另一条平滑的试验弧线标明，相通配方在两个模子上齐有用，无需参数调优，这标明了确凿的鲁棒性而不是对单个模子的红运优化。

这些遣散并不约束QuestA的孝顺，问题增强是一种显明有匡助的智谋技艺。相悖，它们标明通过更浅易的方法也不错终了竞争性能。

四、试验动态的深入分析

试验配方的终极测试不单是是最终数字，而是是否冒昧可靠地达到方针。复杂技艺宽敞看成试验不康健性的反应而出现：飘浮奖励、计谋崩溃或失控的反应长度。要是更浅易的方法不错十足幸免这些失败模式，那么这标明咱们可能一直在调节症状而不是原因。

参谋团队概括查验了JustRL-DeepSeek-1.5B的试验动态，在4000个试验才能中追踪三个要津动态：平均试验奖励、计谋熵和平均反应长度。这些动态揭示了模子是康健学习照旧需要握续侵犯。

计谋熵在试验后期才能中在1.0和1.6之间飘浮，莫得系统性的朝上漂移（探索崩溃）或向下漂移（过早拘谨），标明浅易的"剪切更高"技艺在大规模强化学习中阐扬邃密。平均奖励自满从大致-0.6到+0.4的平均奖励攀升。弧线有杂音，但趋势显明朝上。更进犯的是，莫得会在多阶段方法中宽敞触发侵犯的推广平台期或倏得下跌。信号充足一致，模子不错握续学习。

模子启动时冗长，生成平均约8000标记的反应。莫得任何明确的长度刑事职守，它天然地压缩到1000步时的4000-5000标记，并保握在这个范围内。这种有机压缩可能比明确的刑事职守更鲁棒，明确的刑事职守可能创造模子学会愚弄的起义性压力。

与典型强化学习的对比终点显明。固然参谋团队莫得联想资源来运行平庸的对照比较，但文件提供了布景。好多最近的职责明确援用试验不康健性看成其技艺的动机：ProRL-v2在不雅察到长度漂移后引入了调整长度刑事职守；BroRL在遭受平台期后将rollout增多到数百个；多个职责在KL散度增长过大时应用KL正则化和重置参考模子，这遣散了试验上界。他们的试验莫得阐扬出任何引发侵犯的病态。

天然，这些平滑弧线并不证明更浅易的方法老是更康健，或者技艺耐久不会有匡助。他们无法分散哪些特定复杂技艺导致不康健性，哪些贬责了它。但对比是显明的：最小配方产生的试验动态根柢不需要已成为规律实践的侵犯。

五、消融参谋的不测发现

参谋团队从JustRL-DeepSeek-1.5B的基础配方启动，进行了两项消融参谋，齐试验了3000多步，遣散令东谈主不测。

第一个修改是添加明确的长度刑事职守项，针对临了4k标记（如DAPO中使用的）。第二个修改是进一步添加来自DeepScaleR的更复杂考证器，以减少假阴性。遣散自满，两种修改齐镌汰了性能：添加超长刑事职守在50% AIME 2024处平台化（相对于55%基线），添加两种修改在45%处平台化。

对于超长刑事职守的发现尤其有启发性。参谋团队假定明确刑事职守冗长反应可能通过更快地推进模子走向粗略来改善试验效力。相悖，性能权贵镌汰看成量度。熵图揭示了原因：明确刑事职守崩溃探索，将熵驱动到0.5-0.6，与他们基础方法的1.2-1.4范围比较。明确刑事职守似乎创造了与学习方针冲突的压力，迫使模子在探索履行有用方法之前过早拘谨到更短的反应。

对于鲁棒考证器的实验也产生了酷爱的遣散。参谋团队进一步假定减少假阴性（正确贬责决策标记造作）会提供更清洁的学习信号。掂量词，即使在范例化奖励表率后，其使用导致更差的最终性能，在45% AIME 2024处平台化。

参谋团队提供了两种可能的解释。泉源，更严格的基础考证器通过减少"齐全"分数创建了更丰富的学习信号频谱，而鲁棒考证器的优容性提供了较少细巧的疏通。其次，更严格考证器对精准样子的依赖可能迫使模子发展更鲁棒的里面联想，当考证器在外部革新造作时失去了这种激励。因此，优容的考证器可能无法饱读吹最好泛化所需的精准性。

这些遣散揭示了两个进犯教练。泉源，并非总计"规律技能"齐能跨环境挪动。超长刑事职守在DAPO的成就中有用，但在他们的成就中镌汰了性能，标明技艺以复杂和巧合弗成瞻望的风景与其他联想聘用交互。其次，更浅易的方法并不老是更容易改进。他们测试了两个看似合理的修改，但齐使情况变得更糟，标明他们的基础配方终自满容易被额外侵犯松懈的狡饰均衡。

参谋团队明确证据了这些消融的局限性。他们测试了两个特定修改，但好多其他技艺仍未探索：课程学习、自安妥温度调整、参考模子重置、不同考证器联想和多样形势的数据增强。其中一些可能改进他们的基线。他们的不雅点不是额外技艺耐久不会有匡助，而是应该资历性考证而不是假定故意。

六、现实真理与局限性

这项参谋带来的启示是多层面的。平滑的试验弧线伴跟着健康的熵、单调奖励和天然长度拘谨，与陆续被援用看成复杂技艺动机的不康健性酿成对比。他们的负面消融自满，添加"改进"履行上主动镌汰了性能。这标明复杂性巧合可能贬责由其他联想聘用创造的症状，而不是根柢的强化学习挑战。

掂量词，参谋团队承认他们不知谈的内容。他们证明了浅易强化学习效果很好，但无法分散原因。是参数吗？试验数据集？考证器联想？三者之间的互相作用？他们的遣散也仅限于数学推理中15亿规模的两个主干。实施到其他领域、模子大小和任务仍然是洞开问题。

复杂性在某些情况下可能有匡助。在极点联想经管下，遭受他们莫得面对的特定失败模式时，推进卓绝面前性能上限时，或在具有更嘈杂奖励信号的领域中，额外技艺可能是有价值的。他们的论点是方法论的：泉源建设浅易基线，然后仅在识别出它贬责的特定问题时才添加复杂性。

参谋团队的职责存在几个遣散。泉源，他们的遣散仅限于15亿参数规模的数学推理任务，实施到其他领域（如编程、一般问答）和模子大小仍未探索。其次，固然他们证明了浅易性有用，但无法明确分散哪些特定组件（参数、考证器联想、试验数据）对获胜最要津。第三，他们的联想预算固然低于一些复杂方法，但对资源受限的参谋东谈主员来说可能仍然过高。临了，他们莫得探索当推向更长试验时辰时他们的方法是否保握上风，或者在规模上额外技艺是否变得必要。

七、浅易之谈的久了真理

对于小模子强化学习的狡辩一直被复杂性对康健性和性能必要的假定所隐敝。参谋团队入部下手回报一个径直问题：要是咱们在莫得已成为规律实践的专门技艺的情况下执意化学习应用于袖珍谈话模子，会发生什么？

通过归还到更浅易的方法，他们的发现提供了清澈的谜底：具有康健基础的相宜规模不错匹配复杂技艺。从两个基础模子启动，他们使用单阶段试验和固定参数终自满可比较或更好的性能，匹配或卓绝了采选多阶段试验和课程学习的方法，同期使用了一半的联想量。

比最终数字更引东谈主防御的是旅途：数千步的平滑、康健改进，莫得宽敞需要防卫试验崩溃的侵犯。这项参谋宗旨方法论转动：简约单启动，扩大规模，独一当浅易、鲁棒的基线显明失败时才添加复杂性。要是浅易性比面前实践假定的更频繁地充足，那似乎值得关切。

这种发现对通盘东谈主工智能参谋领域齐有进犯真理。在追求更好性能的经过中，参谋社区频频倾向于添加越来越多的技能和复杂机制。但正如这项参谋所展示的，巧合最有用的贬责决策可能即是最浅易的那一个。这不仅冒昧检朴联想资源，镌汰实施难度，还能提供更好的可复现性和可意会性。

对于履行应用而言，这项参谋为那些资源有限但但愿试验高性能小模子的参谋者和开发者提供了新的聘用。他们不再需要实施复杂的多阶段试验系统或动态参数调整计谋，只需要按照参谋团队提供的浅易配方，就可能取得出色的遣散。这大大镌汰了强化学习在小模子试验中的门槛，让更多东谈主冒昧参与到这个领域的参谋和应用中来。

说到底，这项参谋提醒咱们，在科学参谋中，浅易频频比复杂更有劲量。正如法国作者安托万·德·圣埃克苏佩里所说："齐全的终了，不是当莫得更多东西不错添加时，而是当莫得更多东西不错去除时。"清华大学团队的JustRL恰是这种形而上学的划一体现，它用最粗略的方法达到了最优秀的效果，为改日的AI参谋指明了一个值得深念念的目的。有兴味了解更多技艺细节的读者不错通过论文编号arXiv:2512.16649v1查询完整参谋内容。

Q&A

Q1：JustRL是什么样的AI试验方法？

A：JustRL是清华大学参谋团队开发的一种极简强化学习方法，专门用于试验袖珍AI模子进行数学推理。它的中枢特色是使用单阶段试验和固定参数，幸免了复杂的多阶段试验管谈和动态参数调整，就像用最浅易的烹调方法作念出最可口的菜肴一样。

Q2：JustRL比较复杂方法有什么上风？

A：JustRL最大的上风是用一半的联想资源就能达到致使卓绝复杂方法的性能。在数学推理任务中，它让15亿参数的模子达到了54.9%和64.3%的平均准确率，同期试验经过终点康健，不需要东谈主工侵犯来防卫试验崩溃。

Q3：普通参谋者能使用JustRL方法吗？

A：不错的欧洲杯体育，这恰是JustRL的一大上风。参谋团队照旧开源了代码和模子，普通参谋者不需要复杂的技艺实施就能使用这种方法。相通的参数成就不错径直应用到不同模子上，大大镌汰了强化学习试验的技艺门槛。