Tibo:今天750 token/s的Ultra Fast,一兩年後可能成為標配
BiRun 訊,OpenAI 現在有一個付費高速檔 Ultra Fast,只要氪金,模型就能回答得更快。開啓後 GPT-5.6 Sol 最高能跑到每秒 750 個 Token,約為普通模式的 14 倍。Codex 負責人 Tibo Sottiaux 預計,再過 1 到 2 年,今天這種速度可能已經接近默認水平。
不過 14 倍只是模型本身的最高輸出速度。眞正拿來寫代碼,如果主要時間都在生成代碼,整體能快約 10 倍;如果 Agent 還要蒐索網頁、跑工具、等網絡返回,整個任務通常只快 3 到 4 倍。模型吐字越來越快後,瓶頸會從模型轉到網絡、CPU 和工具調用。
Ultra Fast 在 OpenAI 內部也得省着用。重大故障、關鍵原型等任務可以優先使用,但大部分算力還是留給外部客戶,否則 OpenAI 自己的員工就能把容量喫光。
Matthew Berman
不過 14 倍只是模型本身的最高輸出速度。眞正拿來寫代碼,如果主要時間都在生成代碼,整體能快約 10 倍;如果 Agent 還要蒐索網頁、跑工具、等網絡返回,整個任務通常只快 3 到 4 倍。模型吐字越來越快後,瓶頸會從模型轉到網絡、CPU 和工具調用。
Ultra Fast 在 OpenAI 內部也得省着用。重大故障、關鍵原型等任務可以優先使用,但大部分算力還是留給外部客戶,否則 OpenAI 自己的員工就能把容量喫光。
Matthew Berman
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊