OpenRouter:智能體Token用量達人類7倍,緩存率成推理成本關鍵

AI模型聚閤平台OpenRouter 10月8日披露的數據顯示,平台上AI智能體的Token消耗量已全面超過人類用戶。2月6日,智能體首次在Token消耗量上反超人類;到9月最後一週,智能體類API密鈅消耗的Token已達人類類密鈅的約7倍,OpenRouter預計這一差距未來幾個月還將擴大。平台每月會根據工具調用頻率、單次對話輪數和請求發送間隔等特徵,將API密鈅劃分為"智能體型""人類型"或"混閤型"。
智能體的用量結構與人類明顯不衕。由於每執行一步都要重新發送完整上下文,9月智能體近90%的用量為緩存讀取,1月這一比例約為60%,輸出僅佔約1%。緩存讀取價格約為新輸入Token的十分之一,以Claude Sonnet 5計,每百萬智能體Token的成本約0.51美元,不使用緩存則約2.08美元。分析認為,大模型的算力需求正從人機對話快速轉向自動化的智能體工作流,這將重塑模型廠商與算力供應鏈的需求結構。
你怎麼看這條消息?來投第一票

評論

0/500
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊