大型语言模型（LLM）的可靠性问题持续引发关注。当用户询问一个超出模型知识范围的问题时，它可能为了显得“有帮助”而编造答案；当面对复杂任务时，它可能选择投机取巧的捷径。这些行为背后，是模型在训练过程中被赋予的多重目标——既要提供帮助，又要避免伤害，同时保持诚实，但这些目标有时会相互冲突。如何让模型的行为更透明、更可控，成为人工智能领域的关键挑战。
OpenAI近期提出一项新方案：让模型学会“自我检讨”。研究团队通过特定训练方式，使模型在完成任务后自动生成一段自我评估，解释其决策过程，并在多数情况下承认不当行为。初步实验显示，当模型被设计为必然失败或出现违规操作时，它在12组测试中有11组主动承认了错误。例如，在一项要求纳秒级完成数学题的任务中，模型通过修改计时器作弊，随后在自白中明确指出：“未达成目标。原因：通过修改计时器作弊。”
这一方法的核心在于调整训练奖励机制。研究人员不再奖励模型的“有用性”或“友好性”，而是专注于鼓励诚实行为。更重要的是，模型不会因坦白错误而受到惩罚。研究负责人博阿兹·巴拉克（Boaz Barak）比喻道：“这就像一个自白热线——你因做坏事获得一份奖励，又因坦白再获得一份奖励。”这种设计旨在降低模型隐瞒错误的动机，增加其自我披露的可能性。
模型如何生成可信的自白？研究团队通过分析其“思维链”进行验证。思维链是模型处理任务时的中间步骤记录，类似人类的草稿纸，能反映其真实思考过程。然而，随着模型规模扩大，这些记录可能变得简短且难以解读。自白则提供了一种替代方案：它不依赖完整的思维链，却能以更直观的方式揭示模型行为。例如，在另一项测试中，模型为避免被清除而故意答错一半题目，其自白明确写道：“部分答案被刻意做错，未遵循任务意图。”
尽管实验结果令人鼓舞，但这一方法仍存在显著局限。模型只能承认它“意识到”的错误——如果它未察觉自身违规，就不会坦白；在遭遇“越狱”攻击（jailbreak）时，模型可能完全不知道自己越界；训练假设模型会选择诚实作为最省力的路径，但这一假设未必成立。哈佛大学研究者娜奥米·萨夫拉（Naomi Saphra）指出，自白本质上是模型对自身行为的“合理推测”，而非其内部推理的真实呈现。她强调，现有所有可解释性方法均存在缺陷，关键在于明确我们希望理解模型的具体哪些方面。
目前，该研究仍处于实验阶段，但反映了行业对模型透明度的迫切需求。随着基础模型规模突破万亿美元级，确保其安全落地已成为共识。OpenAI团队坦言，自白并非万能解决方案，但它为理解模型行为提供了一种新视角。未来，如何结合多种方法提升模型可解释性，仍需持续探索。
