OpenAI近日开源了一款名为Circuit-Sparsity的新型人工智能模型，该模型以极低的参数量和高度稀疏的权重矩阵，为解决大语言模型（LLM）的"黑箱"问题提供了全新思路。这款参数量仅0.4B的模型，其权重矩阵中99.9%的元素为零，仅保留0.1%的关键连接，这种设计使其内部计算路径变得清晰可追踪。
传统大模型普遍存在"概念纠缠"现象，单个神经元往往需要同时处理多个完全不同的任务，导致模型决策过程难以解释。OpenAI团队通过强制权重稀疏化，使每个神经元仅与特定神经元建立连接，从而在模型内部构建出类似电路的清晰计算路径。研究显示，在处理字符串闭合检测任务时，模型仅用12个神经元就构建出完整电路，每个神经元分别承担检测单引号、双引号或计数嵌套深度等特定功能。
技术实现层面，研究团队采用动态剪枝技术，在训练过程中持续保留绝对值最大的权重连接；通过AbsTopK激活函数强制保留前25%的激活值；同时用RMSNorm替代传统归一化层，避免破坏稀疏结构。这些创新使模型在保持性能的同时，电路规模较密集模型缩减16倍，显著降低了AI系统的理解难度。实验证明，移除电路关键节点会导致模型性能崩溃，而移除非关键节点则影响微弱，验证了电路设计的有效性。
尽管稀疏模型在可解释性方面表现突出，但其计算效率存在明显短板。由于稀疏矩阵运算无法利用GPU的Tensor Cores加速，实际运算速度比密集模型慢100-1000倍。针对这一瓶颈，研究团队提出"桥梁网络"方案，通过编码器-解码器结构在稀疏模型与预训练密集模型间建立映射关系。这种设计允许研究人员在稀疏模型上修改特定特征，再将扰动映射回密集模型，从而实现对现有大模型的解释性干预。
该研究在学术界引发广泛讨论。部分专家认为这项技术可能颠覆现有混合专家模型（MoE）的设计范式，将权重隔离到特定"专家"的传统做法或将被直接构建稀疏模型取代。也有观点指出，稀疏模型的训练成本较密集模型高出两个数量级，当前技术更适用于研究场景而非实际应用。OpenAI团队承认现有局限，但表示正在探索从密集模型中提取稀疏电路的技术路径，以及开发更高效的训练方法。
开源项目已同步发布在GitHub和Hugging Face平台，包含完整模型代码和训练日志。技术论文详细披露了动态剪枝、激活稀疏化等核心算法的实现细节，以及电路验证实验的完整数据。研究团队强调，这项工作尚处于早期探索阶段，未来计划将技术扩展至更大规模模型，并开发配套分析工具，使AI系统的评估与调试更加透明化。
