北京交通大学参谋团队悄默声推出了一版 o1🦄开云彩票(中国)官方网站，况兼系数源代码、精选数据集以及繁衍模子皆开源！
名为O1-CODER，专注于编码任务。
团队觉得编码是一个需要 System-2 想维形态的典型任务，触及严慎、逻辑、一步步的问题惩处经由。
而他们的政策是矍铄化学习（RL）与蒙特卡洛树搜索（MCTS）相酌量，让模子简略约束生成推理数据，擢升其 System-2 才气。
实验中，团队有以下几点要道发现：
当推理正确时，基于伪代码的推理显贵擢升了代码生成质料
将监督微调（SFT）与径直偏好优化（DPO）相酌量简略擢升测试用例生成恶果
自我对弈强化学习为推理和代码生成创造了络续阅兵的轮回机制
具体来说，团队接受了测试用例生成器，在经过 DPO 后达到 89.2% 的通过率，比较运转微调后的 80.8% 有显贵擢升；Qwen2.5-Coder-7B 接受伪代码按序完竣了 74.9% 的平均采样通过率，擢升了 25.6%。
网友直呼很需要这么的模子。
O1-CODER，究竟长啥样？
六步，渐渐优化 o1
应用于代码生成的自我对弈强化学习濒临两大挑战：
收尾评估，即如何评判生成代码的质料。与围棋等任务不同，评估代码需要在测试环境中运行并考据。
界说想考和搜索行为，即细则经由奖励的对象和粒度。
关于第一个挑战，团队冷漠磨真金不怕火一个测试用例生成器（TCG），凭据问题和模范代码自动生成测试用例，为强化学习提供模范化的代码测试环境和收尾奖励。
关于第二个挑战，他们取舍"先想考后行为"的形态：先通过驻扎的伪代码想考问题，再基于伪代码生成最终的可施行代码。
这种形态的上风在于妥当性（澌灭伪代码可对应不同的具体完竣）和可控粒度（通过诊治伪代码的细节进程遏抑推理 / 搜索行为的粒度）。
具体来说，参谋团队冷漠了一个包含六个法子的框架：
磨真金不怕火测试用例生成器（TCG），为代码测试提供模范化的环境
期骗 MCTS 生成包含推理经由的代码数据
迭代微调政策模子，先生成伪代码，再生成完好意思代码
基于推理经由数据运飞舞经由奖励模子（PRM）
在 TCG 提供的收尾奖励和 PRM 提供的经由奖励的双重联接下，通过强化学习和 MCTS 更新政策模子
期骗优化后的政策模子生成新的推理数据，复返第 4 步迭代磨真金不怕火
两阶段磨真金不怕火测试用例生成器
在实验部分，参谋东说念主员驻扎先容了测试用例生成器的磨真金不怕火经由。
分为两个阶段：监督微调（SFT）和径直偏好优化（DPO）。
SFT 阶段的主要标的是确保生成器的输出适合预界说样式，以便准确分解和索求生成的测试用例。磨真金不怕火数据来自 TACO 数据集。
DPO 阶段的标的是联接模子生成适合特定偏好的测试用例，进一步提高生成器的性能和可靠性。
这里接受了带有东说念主工构建样本对的 DPO 按序，构建了一个偏好数据集。
实验标明，SFT 阶段事后，TCG 在模范代码上生成的测试用例通过率达到 80.8%，DPO 阶段进一步擢升至 89.2%，大幅改善了生成器产出可靠测试用例的才气。
伪代码推理，联接模子进行深度推理
特等值得一提的是，参谋者引入了基于伪代码的领导按序，将其行为联接模子进行深度推理的"领略器具"。
他们为此界说了三个要道行为：
使用伪代码界说算法结构：勾画主要函数的结构和接口，把捏任务的合座框架
细化伪代码：渐渐明确每个函数的具体法子、逻辑和操作
从伪代码生成代码：将伪代码的结构和逻辑精确翻译为可施行代码
在 MBPP 数据集上进行的初步实验标明，尽管合座通过率（Pass@1）有所下落，但Average Sampling Pass Rate（ASPR）显贵提高。
标明酌量伪代码显贵改善了推理经由的质料，特等是在细化通向正确输出的旅途方面。这为后续的自监督微协调强化学习提供了邃密的起始。
自我对弈 + 强化学习
参谋东说念主员驻扎描摹了如何使用蒙特卡洛树搜索（MCTS）来构建法子级别的经由奖励数据。
这个经由触及到为每个问题变成一个推理旅途，该旅途由一系列推理法子构成，并最终产生一个可施行的代码。在 MCTS 的旅途探索中，使用伪代码领导政策来联接推理经由。当达到终局节点时，就变成了一个完好意思的伪代码推理旅途。
终局节点的奖励值是基于两个要道方针谋划的：编译生效劳（compile）和测试用例通过率（pass）。
这些方针被用来评估生成的代码的质料和正确性。
奖励值被反向传播到旅途上的系数前序节点，为每个法子分拨一个奖励值。通过这种形态，构建了推理经由数据集，为政策模子的运飞舞和磨真金不怕火提供了基础。
经由奖励模子（PRM）的任务是为现时法子分拨一个奖励值，以估量其对最终谜底的孝顺。
在数据合成经由中使用的树搜索按序不错组织成点式（point-wise）和成对式（pair-wise）两种数据样式。
基于这些经过考据的正确推贯串，政策模子获取运飞舞。
接下来，经由奖励模子（PRM）入手阐发作用，评估每一步推理对最终谜底的孝顺。在测试用例生成器（TCG）提供的收尾奖励和 PRM 提供的经由奖励的双重联接下，政策模子通过强化学习约束阅兵。
更新后的政策模子被用来生成新的推理数据，补充到现存数据集结，变成自我对弈的闭环。这个数据生成 - 奖励建模 - 政策优化的迭代轮回，确保了系统推理才气的络续擢升。
论文贯串：https://arxiv.org/pdf/2412.00154
参考贯串：https://x.com/rohanpaul_ai/status/1864488583744377271?s=46&t=iTysI4vQLQqCNJjSmBODPw🦄开云彩票(中国)官方网站