结论先行
模型通用评测接近满分,但真实商业任务无人干预通过率仅 61% 出头——"数学/通用 agentic 能力得分高,与它在电商里能完成多少工作,相关性其实没那么大"。
Agent = Model × Harness × Context(乘法关系),任一项为 0 结果就是 0。竞争已从"单一模型比拼"转向"三个维度同时较量"。
同样跑完 107 题,Accio Work 约 3.69 美元,是 Codex / Claude Code(9 美元以上)的 1/3,靠帕累托最优模型路由 + 集约采购 + harness/context 工程效率。
AI 接手大量重复执行,但支付/采购的最终按钮、产品品味、市场直觉与预算分配,仍必须由人来判断。
一、榜单满分,为什么真实工作还是失败?
这是全篇的题眼。张阔给出的判断很直白:模型发布频次越来越快,榜单上 99 分、满分 100,进步被压缩到小数点之后,但团队在真实经营里"并没有感觉到那么好"。他们由此发现一个关键事实:一个模型在数学或通用 agentic 能力上得分高,跟它在电商里能完成多少工作,相关性其实没那么大。
为什么 Coding 的 Agent 渗透率已经到 99%(几乎找不到还在自己写代码的研发),商业场景却"才刚刚开始"?张阔给了三条结构性原因:
代码是 100% 数字化的,散落在 GitHub 和代码库里,容易被 AI 广泛学习;商业数据更多元、碎片化、跨系统。
写代码有通用流程;做生意没有"通用流程",且不同企业对"经营结果好坏"的判断标准都不一样。
代码编译通过即可验证;商业结果可能以天、周、月甚至一年为单位才能闭环,反馈周期极长。
二、107 个真实任务:把落差量化
阿里国际站基于 Alibaba.com 上百万条真实经营数据 + Accio 真实问答数据,提炼出 107 个电商任务(覆盖七大类、已开源)。结果是:最前沿模型在完全无人干预的条件下,通过率仅 61% 多一点,及格都费劲。关键是"无人干预"这个限定——它衡量的正是"人要不要反复解释、检查和兜底"。
任务按真实商业动作定义,不是刷题。举三类:
| 任务类型 | 通过标准 | 难在哪 |
|---|---|---|
| 选最优供应商 | 从大量商家回复的报价单中选出最合适的一家 | 要识别掺杂其中的钓鱼邮件、区分有害/有价值信息,并把"工厂价到含税到手价"每一笔都算对——任一步失败整题不过 |
| 预订船期 | 要在那家船务公司网站真正订到船 | 考的是执行成功与否,不是回答得像不像 |
| 交易纠纷 | 基于买卖双方投诉做最终判断 | 先判断"信息是否完整、是否还需更多信息",而不是急着判赔或不赔 |
难度分 L1–L4:越长程、结果越开放,能通过的模型越少。张阔还特别强调:模型或 Agent 迭代一段时间会出现性能退化(团队内部叫"腐化"),结果变差是不能接受的,所以评测必须持续做,并且他们会持续把更复杂的问题加进去,保证测试与真实经营结果一致。
三、Agent = Model × Harness × Context
这是张阔给 Agent 竞争下的定义式,也解释了为什么"通用模型 + 几句提示词"出不了垂直产品。三个维度不是加法,而是乘法——任何一项是 0,整体就是 0。
不能只套一个前沿模型。要按一定尺寸的模型做后训练,并在 model、serving(推理服务)、harness 三处都做精细打磨,才能让产出效率最高、成本最低、准确率上台阶。
连接不同工具、管理 memory、做好用户授权——这一整套工程保证系统能持续运行。电商天生是长程任务,要连续几个月执行和经营,harness 尤其关键。
阿里 20 多年积累的电商、跨境、sourcing 和采购数据,大量与供应商的沟通信息、行业属性和平台趋势,都是通用玩家没有的上下文。
他举例印证 Model 与 Harness 必须联合优化:用通义千问最新版本的小尺寸模型做后训练,效果已经非常接近前沿的 top 模型。这也直接呼应了后面"最贵的不一定最好"的成本逻辑。
四、最贵的模型,不一定是最好的选择
跑完 107 个任务,Accio Work 的估算成本约 3.69 美元,而 Codex 和 Claude Code 都在 9 美元以上——同等通过率下,成本只有后两者的约三分之一。做法是帕累托最优路由:
- L3 以下相对简单的工作:用小尺寸、高性价比模型完成,最大程度省成本(尤其中国出的模型)。
- 多模态/视频要求强的任务:路由到特定模型。
- 复杂困难的问题:才交给前沿模型。
成本优势来自三件事:集约采购(比个人去用模型便宜)、harness 工程实践与 context 管理效率(同一模型拿更好结果)、以及多模型路由——Codex/Claude Code 本身是 Agent、跟自己模型绑定,很多路由相关的工作做不了。
张阔提醒商家"觉得贵"往往是因为固定用最贵的模型解决所有问题,建议直接用 Auto 模型,让系统基于帕累托最优帮每个任务挑模型。他还由此判断:模型正在变成"商品",OpenRouter、Fireworks 这类"帮人挑模型"的生意会越来越大,中间还有巨大的优化空间。
五、AI 会替代 SaaS 吗?
张阔的判断是双向集成,而非单方面替代。内容简单、可被 AI 自动完成的 SaaS 确实会被削弱;但 SaaS 的核心资产是理解企业上下文(ontology / 业务知识模型)——这些数据意味着什么、企业想基于什么做优化,就算请一个人来也很难搞清楚。
所以趋势是:SaaS 自己用更多 AI 去升级对上下文的理解,AI 进入企业也必须理解这些语义。他举了一个关键例子:一笔交易成交了,不代表它就是一笔好交易——这笔交易是为了利润率,还是为了市场份额?预算怎么花、库存怎么管、广告怎么做,答案完全不同。这些没法靠往企业里扔一个通用 AI 就保证完成。
六、中美 Agent 生态差异
七、哪些判断必须留给人
张阔划出 AI 不碰、留给人的事,理由不是"技术做不到",而是"责任归属"。
八、"上云"和"长程"是两码事
张阔对行业热词做了一次祛魅:上云是件简单的事——Accio Work PC 版上线几天后就有云端,"今天你说一个 Agent 没上云,那只能说功能还没做完"。真正的难点是长程,他从商业角度拆成三类:
| 类型 | 场景 | 关键点 |
|---|---|---|
| 定时任务 | 每天看店铺经营、看员工工作表现,定时出报告 | 重复、按固定节奏执行 |
| 事件驱动 | 找供应商、下单、跟多个供应商沟通 | AI 要基于更新的信息持续推进沟通结果 |
| 季度级结果 | 整盘生意最终赚没赚钱、过程中要复盘的东西 | 经营本身就是一个非常长程的任务 |
所以做长程任务的核心,不是"让模型跑 7×24 小时不挂",而是定义清楚在什么场景下要完成什么目标——挂得再久,解决不了问题也没有意义。
九、中小企业叙事与"商业 AGI"
CoCreate 峰会现场来了 15000 人,张阔最惊讶的是人太多,以及越来越多中小企业真的基于 AI 和全球供应链把生意做了起来:
- 15 岁英国少年:用 Accio Work 找供应商、开发出"自动降温毛巾"系列,年销售额约 100 万英镑。
- Christian Reed(MIT 毕业):做测量设备,从创意到找供应链都基于 Alibaba.com 和 Accio Work,客户包括施耐德电气和 SpaceX,生意今年约几千万美金。
他的底层判断是:全球中小企业是各区域的经济主力和就业主力,他们面对的核心问题不是"AI 会不会取代工作",而是"没有那么多资源和经验,却想把生意做大、想利用全球供应链"。AI + Alibaba.com / 1688 让"一个人、一个想法"就能撬动全球生意成为可能。
由此他给出一个务实的"商业 AGI"定义:在预算和供应链相同的边界下,用这个 Agent 经营这盘生意,一定比一个人做日常操作和判断赚到更多的钱——那就是商业领域里的 AGI。这把 AGI 从能力神话,拉回到"经营结果"的检验标准上。
最终判断
这期节目最有价值的地方,是把"模型变强"和"用户没感觉"这对矛盾讲透了:榜单上的满分,落到真实商业任务里只剩 61% 的无人干预通过率,差距来自商业场景的数据多元、无通用流程和超长验证周期。而破局之道,不是坐等更强的通用模型,而是三条——
- 靠 Model × Harness × Context 的乘法,把 20 多年的行业上下文变成通用玩家拿不走的壁垒;
- 靠 帕累托最优的多模型路由,把成本压到竞品的 1/3,让 AI 成为商家"用得起"的日常工具;
- 把人留在最终判断的位置上——AI 接手重复执行,人负责对结果负责的决策。
一句话:Agent 变强,不是让人失业,而是把人的精力重新配置到"只有人能做的判断"上。