科技领域传来新动态，AMD与Cerebras公司携手打造的AI推理解决方案引发关注。OpenAI研究员Jeffrey Wang对这一合作成果给予了极高评价，称其表现“令人难以置信”。
据了解，该解决方案聚焦于超低延迟AI推理场景，旨在应对英伟达与Groq合作带来的竞争压力。它整合了AMD的Helios机架级解决方案与Cerebras的晶圆级引擎，两大技术优势互补，有望在AI推理领域掀起新的变革。
在具体分工上，Helios机架扮演着高性能、可扩展吞吐引擎的角色，主要负责处理提示词与大上下文窗口。这种设计能够确保在处理复杂任务时，系统具备强大的计算能力和稳定性，为后续的运算提供坚实的基础。
而Cerebras的Wafer-Scale Engine则专注于对内存带宽要求更高的Token生成与解码环节。它强调超低时延表现，通过与Helios机架的协同工作，结合使用2个计算引擎，预估可以将每瓦每秒token数量提高5倍，大大提升了运算效率和能源利用率。
Jeffrey Wang分享了OpenAI内部使用该解决方案的体验。他表示，在Cerebras芯片上运行某些OpenAI模型时，其推理速度十分亮眼。在日常工作中，原本需要等待几分钟才能完成的任务，如今在切换任务的瞬间就已完成，工作效率得到了极大提升。
此次AMD与Cerebras的合作，为AI推理领域带来了新的思路和技术突破。随着该解决方案的不断优化和推广，有望在更多领域得到应用，推动人工智能技术的发展迈向新的台阶。