微软 rStar-Math 技术登场：小语言 AI 模型数学推理从“不及格”一跃成为“优等生”

1 月 11 日消息，微软亚洲研究院旗下数学和人工智能研究团队昨日（1 月 10 日）发布博文，针对小语言模型，设计并开发了 rStar-Math 技术，专门用于解决数学问题。

和微软之前推出的 Phi-4 不同，rStar-Math 采用蒙特卡洛树搜索（Monte Carlo Tree Search）进行推理，这种方法模拟了人类逐步解决问题的思维方式，能够将复杂问题分解成更小的部分，逐步求解。

研究人员要求模型输出自然语言描述和 Python 代码形式的“思维链”步骤，并将自然语言作为 Python 代码注释，仅使用 Python 代码输出训练模型。

研究人员训练了一个“策略模型”生成数学推理步骤，并使用“过程偏好模型”（PPM）选择最有希望的解题步骤。这两个模型通过四轮“自我进化”互相改进，不断提升性能。

研究人员使用了 74 万道公开的数学应用题及其解答作为初始数据，并利用上述两个模型生成了新的解题步骤。

测试结果显示，应用 rStar-Math 技术后，Qwen2.5-Math-7B 模型的准确率从 58.8% 跃升至 90.0%，将 Phi3-mini-3.8B 从 41.4% 提升到 86.4%，分别比 OpenAI 的 o1-preview 模型高 4.5% 和 0.9%。

研究团队已在 Hugging Face 上宣布，计划将 rStar-Math 的代码和数据在 GitHub 上公开，方便其他研究者使用和改进。

附上参考地址

• rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking

• Hugging Face