华为近日正式宣布，其开源AI模型品牌openPangu迎来重要进展，5050亿参数规模的openPangu-2.0-Pro模型已全面开源。此次开源内容涵盖模型权重、基础推理代码及详细技术报告，为全球开发者提供完整的技术框架支持。
作为基于昇腾NPU架构研发的大规模混合专家（MoE）语言模型，openPangu-2.0-Pro采用创新架构设计，总参数规模达5050亿级别，但通过动态参数激活机制将单token实际调用参数压缩至180亿规模。该模型支持长达512k的上下文窗口处理能力，训练阶段累计消耗34万亿token的语料数据，在长文本理解与生成任务中表现突出。
技术实现层面，该模型在训练后处理阶段采用三阶段优化策略：首先通过快慢结合的监督微调（SFT）提升基础能力，继而运用多目标强化学习（RL）强化专项技能，最终通过在线知识蒸馏（OPD）实现多维度能力融合。这种分层优化机制显著提升了模型在复杂场景下的适应性。
在6月举行的华为开发者大会上，华为常务董事余承东曾透露openPangu 2.0的开源路线图。按照规划，该系列模型将分阶段开源7大核心组件，包括预训练框架、后训练算法及定制化算子库等关键模块。此前6月30日，920亿参数的轻量化版本openPangu-2.0-Flash已率先开放下载。
针对模型参数规模的设定，余承东在技术解读中表示，当前算力资源需优先保障国内产业需求，华为在自用算力分配上保持克制。同时强调，通过架构创新提升单位算力效能比单纯扩大规模更具战略价值，特别是在降低推理时延与提升吞吐量方面已取得突破性进展。