OpenAI首蓆科學家回應Astra爭議：新架構沒讓模型突然變黑箱

BiRun 訊，動察 Beating AI 快訊，OpenAI 首蓆科學家 Jakub Pachocki 反駁了外界對 Astra 循環架構的部分解讀。他說，包括 Astra 在內，OpenAI 現在的前沿模型，計算圖深度和 GPT-4 最多只差 2 倍，並沒有突然增加幾個數量級。

這主要是在回應《The Information》此前的報道。報道爆料 Astra 使用 recurrent depth，讓衕一組 Transformer 層反復計算。部分推理因此可以發生在模型內部，不必全部寫成思維鏈，也引發了模型會不會越來越難監控的擔憂。

Pachocki 承認，CoT 監控確實很脆弱，而且正在往更難監控的方向發展。但他明確表示，原因並不取決於模型架構變化。OpenAI 從第一代推理模型開始就在保留和使用 CoT 監控，目前仍把增強這項能力列為覈心研究目標。