Cua實測AI後台操作電腦:自身通過率58%,browser-use僅3%
BiRun 訊,Cua 聯閤 Scale AI 推出電腦操作評測 Cua Driver Bench。它要求 AI Agent 在後台操作軟件,衕時不能搶走用戶的鼠標、鍵盤,也不能彈出窗口打斷工作。
在 macOS 測試中,Cua Driver 的完整通過率達到 58%,Codex Computer Use 為 33%,Vercel agent-desktop 為 20%,browser-use 只有 3%。
Cua 的優勢來自直接操作後台窗口。普通電腦操作工具通常模擬人類點擊、打字,需要把目標窗口切到前台。Cua 則利用 macOS 的輔助功能接口,直接找到後台應用的按鈕、輸入框並執行操作。它還能單獨截取窗口畫面,不必把窗口移到最上層。
差距在 browser-use 身上尤其明顯。40 次測試中,它成功完成了 32 次任務,但其中 31 次幹擾了用戶,最終只有 1 次完全通過。Cua 雖然只完成了 25 次,卻有 23 次沒有打擾用戶,測試中一次也沒有搶走鍵盤焦點。
所有工具均使用 Claude Sonnet 5.5,比較的是電腦操作工具,而非模型本身。測試覆蓋瀏覽器、郵件、日歷、表格等任務,每項需要在用戶持續打字的情況下完成。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
在 macOS 測試中,Cua Driver 的完整通過率達到 58%,Codex Computer Use 為 33%,Vercel agent-desktop 為 20%,browser-use 只有 3%。
Cua 的優勢來自直接操作後台窗口。普通電腦操作工具通常模擬人類點擊、打字,需要把目標窗口切到前台。Cua 則利用 macOS 的輔助功能接口,直接找到後台應用的按鈕、輸入框並執行操作。它還能單獨截取窗口畫面,不必把窗口移到最上層。
差距在 browser-use 身上尤其明顯。40 次測試中,它成功完成了 32 次任務,但其中 31 次幹擾了用戶,最終只有 1 次完全通過。Cua 雖然只完成了 25 次,卻有 23 次沒有打擾用戶,測試中一次也沒有搶走鍵盤焦點。
所有工具均使用 Claude Sonnet 5.5,比較的是電腦操作工具,而非模型本身。測試覆蓋瀏覽器、郵件、日歷、表格等任務,每項需要在用戶持續打字的情況下完成。
信源
動察 Beating 頻道 · 動察 Beating 交流羣。
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊