上海人工智能实验室联合上海交通大学、苏州大学的研究团队，在人工智能训练领域取得突破性进展。他们提出的Caco方法通过引入代码验证机制，为AI数学推理训练开辟了新路径。这项成果已发表于arXiv预印本平台，论文编号arXiv:2510.04081v1，为提升AI逻辑推理能力提供了全新解决方案。
传统AI在解决数学问题时，常被比作机械套用公式的"解题机器"。这类系统虽然能输出答案，但推理过程缺乏逻辑连贯性，错误难以追溯。更严峻的是，高质量训练数据的获取需要大量人工标注，成本高昂且效率低下。研究团队开发的Caco方法，通过将数学问题转化为可执行代码，构建了自动化的质量验证体系，有效解决了这些难题。
该方法的核心在于构建"代码-推理"双验证系统。研究团队首先收集了MATH、DeepScaleR等数据集中的30万个数学问题，将其解答过程统一转换为Python代码格式。每段代码需包含明确的输入定义、函数调用和输出结果，例如概率问题会被转化为包含概率数组和计算函数的标准化代码模块。这种结构化处理使得推理过程可被计算机自动验证。
为生成高质量训练数据，团队开发了专门的CodeGen模型。该模型通过无条件生成方式学习代码推理模式，而非简单记忆问题答案。通过温度采样技术，模型在保持逻辑严谨性的同时引入适度随机性，最终生成530万个候选代码样本。经过可执行性、效率和复杂度三重筛选，最终保留460万个高质量样本，形成包含130万个问题-答案对的训练集。
实验数据显示，Caco方法显著提升了AI模型的数学推理能力。在MATH、GSM8K等六个基准测试中，LLaMA3-8B模型经Caco训练后准确率从39.7%跃升至57.3%，提升幅度达44.3%。面对奥林匹克数学竞赛题目时，该模型准确率从17.2%提升至34.1%，展现出处理复杂问题的潜力。专业数学模型Qwen2.5-Math-7B使用Caco数据后，准确率也从63.6%提高到67.7%。
该方法的价值不仅体现在数学领域。跨领域测试表明，经Caco训练的模型在代码生成、科学推理和逻辑推理任务中同样表现优异。在Humaneval+代码生成测试中，模型得分从32.3%提升至34.2%；ARC-c科学推理测试准确率从79.0%升至83.1%；BBH逻辑推理测试成绩从19.8%大幅提高到33.8%。这证明代码训练形成的严谨思维方式具有广泛的迁移价值。
研究团队详细记录了数据生成过程的计算成本。在配备8块A100 GPU的单机环境下，完成130万样本生成需约55小时，包括统一代码推理（2小时）、代码扩展（8小时）、问题生成（5小时）和答案生成（40小时）四个阶段。完全基于开源模型的实施方案，避免了商业API的高昂费用，使得该方法具有较高的成本效益。
技术实现层面，研究团队采用多模型协作框架。Qwen2.5-72B-Instruct负责统一代码生成，Qwen2.5-Coder-7B作为CodeGen基础模型，Qwen3-8B处理自然语言生成，Qwen3-32B进行质量评估。训练配置采用3个epoch、5×10^-6学习率、128批处理大小，配合AdamW优化器和余弦学习率衰减策略。评估过程严格采用零样本设置和贪婪解码策略，确保结果可靠性。
这项创新为AI训练提供了新范式。通过将抽象推理转化为可执行代码，不仅解决了传统方法的质量控制难题，还大幅降低了数据标注成本。代码的精确性要求促使AI发展出更严谨的思维方式，这种能力可迁移至多个需要逻辑推理的领域。开源的技术方案降低了应用门槛，为开发更智能的AI系统奠定了基础。