AI实习7个月后超过真人:Fable 5.1会计岗成功率72%
BiRun 讯,AI Agent 创业公司 NeoCognition 发布 ApprenticeBench,专门测 AI 能不能像新人一样,入职后自己学会一份工作。第一版让 Agent 进入一家模拟的加州建筑公司做应付账款。它先读半年历史账单、公司手册和 Odoo 教程,再连续处理 7 个月的 100 张账单,期间还会遇到规则变化和主管反馈。
Fable 5.1 最终成功率达到 72%,GPT-6 Astra 为 68%,最佳人类测试者只有 51%。任务除了录发票,还包括发现错误、分配成本码、联系供应商、走审批,以及从历史记录和反馈里学会公司的内部规则。两款模型直接操作 GUI 的成绩甚至略高于调用 API,过去 Computer Use 常见的性能损失基本消失。
不过,「超过人类」只成立于这一个模拟岗位,而且真人样本只有 2 个。成本也更高,Fable 5.1 平均每个任务要 18.23 美元,人类约 7.21 美元。人类越做越快,Agent 反而会因为记的东西越来越多而变慢。
信源
动察 Beating 频道 · 动察 Beating 交流群。
Fable 5.1 最终成功率达到 72%,GPT-6 Astra 为 68%,最佳人类测试者只有 51%。任务除了录发票,还包括发现错误、分配成本码、联系供应商、走审批,以及从历史记录和反馈里学会公司的内部规则。两款模型直接操作 GUI 的成绩甚至略高于调用 API,过去 Computer Use 常见的性能损失基本消失。
不过,「超过人类」只成立于这一个模拟岗位,而且真人样本只有 2 个。成本也更高,Fable 5.1 平均每个任务要 18.23 美元,人类约 7.21 美元。人类越做越快,Agent 反而会因为记的东西越来越多而变慢。
信源
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯