中评社北京2月23日电／据新华网报导，美国斯坦福大学等机构研究团队近日宣布，在基座大模型基础上，仅耗费数十美元就开发出相对成熟的推理模型。尽管其整体性能尚无法比肩美国开放人工智能研究中心（OpenAI）开发的o1、中国深度求索公司的DeepSeek－R1等，但此类尝试意味着企业可以较低成本研发出适合自身的AI应用，AI普惠性有望增强。同时，其所应用的“测试时扩展”技术或代表一条更可持续的AI研发路径。
低成本玩转高级推理
美国斯坦福大学和华盛顿大学研究团队近日宣布研发出名为s1的模型，在衡量数学和编码能力的测试中，可媲美o1和DeepSeek－R1等。研究团队称，训练租用所需的计算资源等成本只需约几十美元。
s1的核心创新在于采用了“知识蒸馏”技术和“预算强制”方法。“知识蒸馏”好比把别人酿好的酒进一步提纯。该模型训练数据是基于谷歌Gemini Thinking Experimental模型“蒸馏”出的仅有1000个样本的小型数据集。
“预算强制”则使用了AI模型训练新方法——“测试时扩展”的实现方式。“测试时扩展”又称“深度思考”，核心是在模型测试阶段，通过调整计算资源分配，使模型更深入思考问题，提高推理能力和准确性。
“预算强制”通过强制提前结束或延长模型的思考过程，来影响模型的推理深度和最终答案。s1对阿里云的通义千问开源模型进行微调，通过“预算强制”控制训练后的模型计算量，使用16个英伟达H100 GPU仅进行26分钟训练便达成目标。
美国加利福尼亚大学伯克利分校研究团队最近也开发出一款名为TinyZero的精简AI模型，称复刻了DeepSeek－R1 Zero在倒计时和乘法任务中的表现。该模型通过强化学习，实现了部分相当于30亿模型参数的大语言模型的自我思维验证和搜索能力。团队称项目训练成本不到30美元。 |
