OpenAI API 推出 12 小時提示詞緩存,Codex 和 Work 登彔用戶的緩存永久保留
據PANews發布,PANews 10月21日消息,據 OpenAI Developers,OpenAI API 現在支持 12 小時的提示詞緩存(prompt caching)。開發者可以把共享的指令、工具和上下文緩存更長時間,卽使請求之間隔了幾個小時,也能按較低的緩存輸入價格計費。這項功能主要面向持續運行、全天復用上下文的智能體。Tibo(@thsottiaux)隨後補充,Codex 和 Work 的登彔用戶的緩存將永久保留。用戶回到舊對話,或者隔幾小時再繼續時,都能命中緩存,不會產生額外費用。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊