OpenAI首席科学家回应AI推理不透明争议 称复杂度未跳跃增长

针对OpenAI新模型Astra可能“难以监控”的争议，OpenAI首席科学家雅库布・帕乔基在社交平台X上作出了技术层面的直接回应。

帕乔基在9月2日发布的推文中表示，包括Astra在内的前沿模型，其计算图深度与GPT-4相比，并没有出现超过两倍的增长。他强调，模型的架构复杂度并未发生跳跃式的变化。作为回应的一部分，OpenAI称将为Astra部署额外的“思维链”监控机制，并指出加强模型监控仍是公司当前的核心研究目标。

此次争议的起点，是科技媒体The Information此前的一篇深度报道。报道透露，OpenAI正在内部测试一种名为“深度循环”的技术。该技术让模型重复调用同一组网络层，持续更新其内部表征。与传统的、基于Transformer架构的线性处理不同，这种循环机制可能使得模型实际进行的“推理”过程，变得更加难以被外部观察和解释。

主流AI模型如ChatGPT、Claude和Gemini普遍依赖Transformer架构，它们按顺序处理信息，并能输出一份自然语言形式的“思维链”来展示推理步骤。但需要了解的是，这份思维链并不完全等同于模型内部的真实计算过程。而“深度循环”技术的引入，有可能会放大这种“展示”与“实际”之间的差异，使得研究人员更难追踪模型的“思考”路径。

帕乔基的澄清，旨在说明尽管模型能力在提升，但其核心架构的复杂性仍在可理解和可监控的范围内。为Astra增加额外的监控工具，也表明OpenAI正在主动应对伴随模型能力增长而来的可解释性挑战。