Claude Code自己给AI应用调优：改Prompt、换模型，变差就回滚

BiRun 讯，Anthropic 给 Claude Code 的官方 claude-api Skill 加了一套自动调优工作流。build-eval 先从真实对话、Bug 或人工案例里做出测试集和评分方法，hillclimb 再让 Claude Code 反复修改系统 Prompt、工具说明、模型和推理强度。每次改完都重新跑测试，效果变好就保留，变差就回滚。

为了避免 Claude 只针对测试题优化，它不会拿所有样本一起调。部分案例用于找问题和改配置，另留一批案例检查修改能不能用在没见过的问题上。如果前面的分数涨了，留出的测试结果没有改善，这次修改就可能被判定为过拟合并撤回。

Anthropic 用 44 条客服工单演示了这套流程。Claude Code 先后清理 Prompt、补充业务规则、尝试不同模型并降低推理强度。最终找到一套 Sonnet 5 低 effort 配置。在 14 条没有参与调优的工单上，准确率从初始配置的 78.6% 提到 90.5%，成本降到约原来的五分之一。

信源

动察 Beating 频道 · 动察 Beating 交流群。