Claude Code長對話首Token等待縮短35%,請求數據減少99.8%

BiRun 訊,Anthropic 在 Messages API 上綫 Message Threads(消息綫程)公測,減少 AI Agent 反復上傳對話歷史的開銷。

過去,Coding Agent 每次調用 Claude,都要重新發送之前的消息和工具執行結果。現在只需首次上傳完整對話,後續每輪發送新消息和上一輪回復 ID。服務器會臨時保存歷史記彔,省去重復傳輸、校驗和分詞的時間。

這項功能已在 Claude Code 中默認啓用。Anthropic 披露,在 50 萬至 100 萬 Token 的請求中,首 Token 等待時間中位數降低約 35%。長對話的單次請求體積中位數從約 800KB 縮至 1.8KB,減少約 99.8%。

不過,模型仍需處理完整上下文,Token 用量和費用不變。服務器保存的消息綫程也會在閑置 5 分鐘後過期,屆時需要重新上傳歷史記彔。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊