AMD公司近日宣布，与IBM及AI初创企业Zyphra联合完成了一项重大技术突破——成功基于AMD硬件生态训练出全球首个大型混合专家（MoE）基础模型ZAYA1。该模型从架构设计到训练过程均深度适配AMD技术栈，标志着AMD在AI算力领域迈出关键一步。
为支撑这一超大规模模型训练，三方共同构建了专用计算集群。该集群由128个计算节点组成，每个节点搭载8块AMD Instinct MI300X GPU，通过InfinityFabric高速互联技术实现1024块GPU的协同运算。集群峰值算力突破750PFLOPs（每秒75亿亿次浮点运算），配合Pensando网络架构与ROCm软件平台，形成从硬件到算法的全栈优化体系。Zyphra特别针对AMD平台开发了定制化训练框架，确保集群在长达数月的训练过程中保持99.9%以上的可用性。
ZAYA1的预训练数据规模达14万亿tokens，采用渐进式课程学习策略：初期使用非结构化网络文本构建基础能力，中期引入数学公式、代码库等结构化数据强化逻辑推理，后期通过科学文献提升专业领域理解。这种分阶段训练方式使模型在保持通用性的同时，在数学、编程等垂直领域形成差异化优势。基准测试显示，其综合性能已比肩行业标杆Qwen3系列，在未经过指令微调的情况下，推理版本在STEM复杂任务上的表现接近Qwen3专业版，显著优于SmolLM3、Phi4等开源模型。
模型架构层面的两项创新是其性能突破的核心。研发团队提出的CCA注意力机制（Compressive Convolutional Attention），通过在传统注意力模块中嵌入卷积操作，将计算复杂度降低40%，显存占用减少35%。针对MoE模型普遍存在的专家负载不均问题，团队重新设计了路由分配算法，使专家模块的专业化程度提升60%，模型整体表达能力获得质的飞跃。这些改进有效解决了Transformer架构在长序列处理中的计算瓶颈问题。
目前公布的ZAYA1为基础模型预览版，Zyphra团队正在进行后训练优化，计划未来三个月内发布完整版本。该版本将增加多模态处理能力，并开放更详细的训练日志与性能分析报告。此次合作不仅验证了AMD硬件在AI大模型训练中的可行性，更为异构计算生态提供了新的技术范式，预计将推动AI基础设施向更高效、更专业的方向发展。