OpenRouter實測AI蒐索:多蒐幾輪比換蒐索引擎更重要
BiRun 訊,OpenRouter 上綫 Web Search Benchmarks,專門測試 AI 聯網蒐索到底該怎麼配。首批覆蓋 Exa、Parallel、Perplexity 和模型自帶蒐索,並搭配 GPT-5.6 Sol、Claude Opus 5、DeepSeek V4 Flash 等模型,在 4 組蒐索評測上比較準確率、成本和速度。
結果最明顯的一點是:蒐索輪數比換蒐索引擎更重要。在 BrowseComp 這類難題上,把蒐索上限從 1 輪提高到 25 輪,得分大約可以翻倍,單題成本則增加約 2.5 到 7 倍。比如 Claude Opus 5 搭配 Perplexity,從 1 輪的 35.8% 提昇到 25 輪的 89.0%。
模型本身也比蒐索引擎更重要。保持其他條件不變,換模型平均能拉開約 15 分,換 Exa、Parallel、Perplexity 等蒐索引擎平均影響約 10 分。模型廠商自己的蒐索也不一定最好,具體要看任務。
但蒐得越多不一定越劃算。BrowseComp 中,答對時模型平均蒐索 10.3 次,答錯時反而會蒐 19.7 次。對於本來就很難找到答案的任務,放開蒐索次數,很可能只是讓 Agent 更貴地失敗。
OpenRouter
結果最明顯的一點是:蒐索輪數比換蒐索引擎更重要。在 BrowseComp 這類難題上,把蒐索上限從 1 輪提高到 25 輪,得分大約可以翻倍,單題成本則增加約 2.5 到 7 倍。比如 Claude Opus 5 搭配 Perplexity,從 1 輪的 35.8% 提昇到 25 輪的 89.0%。
模型本身也比蒐索引擎更重要。保持其他條件不變,換模型平均能拉開約 15 分,換 Exa、Parallel、Perplexity 等蒐索引擎平均影響約 10 分。模型廠商自己的蒐索也不一定最好,具體要看任務。
但蒐得越多不一定越劃算。BrowseComp 中,答對時模型平均蒐索 10.3 次,答錯時反而會蒐 19.7 次。對於本來就很難找到答案的任務,放開蒐索次數,很可能只是讓 Agent 更貴地失敗。
OpenRouter
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊