AI Agent · 电商 · 播客观点

模型越来越强,为什么用户没感觉?

硅谷101 E255 再访阿里国际站总裁张阔。核心张力在于:通用模型榜单成绩接近满分,但真正把工作交给 AI 的商家体验并没有同步提升——阿里自建的 107 个真实电商任务里,最前沿模型无人干预通过率仅 61%。这份整理拆解这个落差,并还原垂直 Agent 靠什么跑赢通用模型。

发布时间:2026-10-17 来源:硅谷101 E255(2026-10-08 首播) 嘉宾:张阔(阿里国际站总裁) 主题:AI Agent / 电商 / 评测基准 / Token 经济学

结论先行

核心判断

模型通用评测接近满分,但真实商业任务无人干预通过率仅 61% 出头——"数学/通用 agentic 能力得分高,与它在电商里能完成多少工作,相关性其实没那么大"。

竞争公式

Agent = Model × Harness × Context(乘法关系),任一项为 0 结果就是 0。竞争已从"单一模型比拼"转向"三个维度同时较量"。

成本优势

同样跑完 107 题,Accio Work 约 3.69 美元,是 Codex / Claude Code(9 美元以上)的 1/3,靠帕累托最优模型路由 + 集约采购 + harness/context 工程效率。

人的位置

AI 接手大量重复执行,但支付/采购的最终按钮、产品品味、市场直觉与预算分配,仍必须由人来判断。

一、榜单满分,为什么真实工作还是失败?

这是全篇的题眼。张阔给出的判断很直白:模型发布频次越来越快,榜单上 99 分、满分 100,进步被压缩到小数点之后,但团队在真实经营里"并没有感觉到那么好"。他们由此发现一个关键事实:一个模型在数学或通用 agentic 能力上得分高,跟它在电商里能完成多少工作,相关性其实没那么大。

通用智能变好确实能让通过率更高,但底层的实际水位并没有拉那么大。

为什么 Coding 的 Agent 渗透率已经到 99%(几乎找不到还在自己写代码的研发),商业场景却"才刚刚开始"?张阔给了三条结构性原因:

数据形态

代码是 100% 数字化的,散落在 GitHub 和代码库里,容易被 AI 广泛学习;商业数据更多元、碎片化、跨系统。

流程可通约性

写代码有通用流程;做生意没有"通用流程",且不同企业对"经营结果好坏"的判断标准都不一样。

验证周期

代码编译通过即可验证;商业结果可能以天、周、月甚至一年为单位才能闭环,反馈周期极长。

二、107 个真实任务:把落差量化

阿里国际站基于 Alibaba.com 上百万条真实经营数据 + Accio 真实问答数据,提炼出 107 个电商任务(覆盖七大类、已开源)。结果是:最前沿模型在完全无人干预的条件下,通过率仅 61% 多一点,及格都费劲。关键是"无人干预"这个限定——它衡量的正是"人要不要反复解释、检查和兜底"。

任务按真实商业动作定义,不是刷题。举三类:

任务类型 通过标准 难在哪
选最优供应商 从大量商家回复的报价单中选出最合适的一家 要识别掺杂其中的钓鱼邮件、区分有害/有价值信息,并把"工厂价到含税到手价"每一笔都算对——任一步失败整题不过
预订船期 要在那家船务公司网站真正订到船 考的是执行成功与否,不是回答得像不像
交易纠纷 基于买卖双方投诉做最终判断 先判断"信息是否完整、是否还需更多信息",而不是急着判赔或不赔

难度分 L1–L4:越长程、结果越开放,能通过的模型越少。张阔还特别强调:模型或 Agent 迭代一段时间会出现性能退化(团队内部叫"腐化"),结果变差是不能接受的,所以评测必须持续做,并且他们会持续把更复杂的问题加进去,保证测试与真实经营结果一致。

三、Agent = Model × Harness × Context

这是张阔给 Agent 竞争下的定义式,也解释了为什么"通用模型 + 几句提示词"出不了垂直产品。三个维度不是加法,而是乘法——任何一项是 0,整体就是 0。

Model

不能只套一个前沿模型。要按一定尺寸的模型做后训练,并在 model、serving(推理服务)、harness 三处都做精细打磨,才能让产出效率最高、成本最低、准确率上台阶。

Harness

连接不同工具、管理 memory、做好用户授权——这一整套工程保证系统能持续运行。电商天生是长程任务,要连续几个月执行和经营,harness 尤其关键。

Context

阿里 20 多年积累的电商、跨境、sourcing 和采购数据,大量与供应商的沟通信息、行业属性和平台趋势,都是通用玩家没有的上下文。

他举例印证 Model 与 Harness 必须联合优化:用通义千问最新版本的小尺寸模型做后训练,效果已经非常接近前沿的 top 模型。这也直接呼应了后面"最贵的不一定最好"的成本逻辑。

四、最贵的模型,不一定是最好的选择

跑完 107 个任务,Accio Work 的估算成本约 3.69 美元,而 Codex 和 Claude Code 都在 9 美元以上——同等通过率下,成本只有后两者的约三分之一。做法是帕累托最优路由:

  • L3 以下相对简单的工作:用小尺寸、高性价比模型完成,最大程度省成本(尤其中国出的模型)。
  • 多模态/视频要求强的任务:路由到特定模型。
  • 复杂困难的问题:才交给前沿模型。

成本优势来自三件事:集约采购(比个人去用模型便宜)、harness 工程实践与 context 管理效率(同一模型拿更好结果)、以及多模型路由——Codex/Claude Code 本身是 Agent、跟自己模型绑定,很多路由相关的工作做不了。

必须是一个用得起的 AI,才是一个有价值的 AI。

张阔提醒商家"觉得贵"往往是因为固定用最贵的模型解决所有问题,建议直接用 Auto 模型,让系统基于帕累托最优帮每个任务挑模型。他还由此判断:模型正在变成"商品",OpenRouter、Fireworks 这类"帮人挑模型"的生意会越来越大,中间还有巨大的优化空间。

五、AI 会替代 SaaS 吗?

张阔的判断是双向集成,而非单方面替代。内容简单、可被 AI 自动完成的 SaaS 确实会被削弱;但 SaaS 的核心资产是理解企业上下文(ontology / 业务知识模型)——这些数据意味着什么、企业想基于什么做优化,就算请一个人来也很难搞清楚。

所以趋势是:SaaS 自己用更多 AI 去升级对上下文的理解,AI 进入企业也必须理解这些语义。他举了一个关键例子:一笔交易成交了,不代表它就是一笔好交易——这笔交易是为了利润率,还是为了市场份额?预算怎么花、库存怎么管、广告怎么做,答案完全不同。这些没法靠往企业里扔一个通用 AI 就保证完成。

六、中美 Agent 生态差异

办公场景
差异相对小。回到最终交付给用户的结果上,各家想做的事情是一样的。
企服演进路径
美国 SaaS 本身就是大生意且天然垂直(CRM、广告投放、法律、医疗都有成熟垂直体系);中国更多是平台侧把垂直功能直接整合进去。AI 进来时也带着这种惯性差异。
电商形态
中国企业在中国经营,第一想法不是做独立站;美国 Shopify、独立站生意很大且持续增长。Amazon 是平台(FBA 发货,客户接触不到),淘宝天猫介于"平台低成本获客"与"集成大量电商工具"之间。
产品设计范式
Accio 第一天就是全球平台产品:LUI(语言界面)天生无语言问题、交互门槛极低,差别只在 harness 和 context 接的工具/平台不同——这可能是 AI Agent 时代新的产品设计范式。

七、哪些判断必须留给人

张阔划出 AI 不碰、留给人的事,理由不是"技术做不到",而是"责任归属"。

支付 / 采购按钮
所有交易条款生成好之后,要不要做这笔采购,一定由人决定——因为你要对经营结果负责。
产品品味
这个想法靠不靠谱、是不是真问题、客户群体够不够大、愿不愿意付溢价,都要靠人来判断。
市场直觉与预算分配
同一笔钱是投广告还是铺库存?要毛利、要规模还是要速度?这是经营者独有的判断。
最终对商品的判断、对"大问题还是小问题"的判断、对商业节奏的判断,一定是人要去做的。

八、"上云"和"长程"是两码事

张阔对行业热词做了一次祛魅:上云是件简单的事——Accio Work PC 版上线几天后就有云端,"今天你说一个 Agent 没上云,那只能说功能还没做完"。真正的难点是长程,他从商业角度拆成三类:

类型 场景 关键点
定时任务 每天看店铺经营、看员工工作表现,定时出报告 重复、按固定节奏执行
事件驱动 找供应商、下单、跟多个供应商沟通 AI 要基于更新的信息持续推进沟通结果
季度级结果 整盘生意最终赚没赚钱、过程中要复盘的东西 经营本身就是一个非常长程的任务

所以做长程任务的核心,不是"让模型跑 7×24 小时不挂",而是定义清楚在什么场景下要完成什么目标——挂得再久,解决不了问题也没有意义。

九、中小企业叙事与"商业 AGI"

CoCreate 峰会现场来了 15000 人,张阔最惊讶的是人太多,以及越来越多中小企业真的基于 AI 和全球供应链把生意做了起来:

  • 15 岁英国少年:用 Accio Work 找供应商、开发出"自动降温毛巾"系列,年销售额约 100 万英镑。
  • Christian Reed(MIT 毕业):做测量设备,从创意到找供应链都基于 Alibaba.com 和 Accio Work,客户包括施耐德电气和 SpaceX,生意今年约几千万美金。
你不需要一家很大的公司,也可以把生意做得很大。

他的底层判断是:全球中小企业是各区域的经济主力和就业主力,他们面对的核心问题不是"AI 会不会取代工作",而是"没有那么多资源和经验,却想把生意做大、想利用全球供应链"。AI + Alibaba.com / 1688 让"一个人、一个想法"就能撬动全球生意成为可能。

由此他给出一个务实的"商业 AGI"定义:在预算和供应链相同的边界下,用这个 Agent 经营这盘生意,一定比一个人做日常操作和判断赚到更多的钱——那就是商业领域里的 AGI。这把 AGI 从能力神话,拉回到"经营结果"的检验标准上。

最终判断

这期节目最有价值的地方,是把"模型变强"和"用户没感觉"这对矛盾讲透了:榜单上的满分,落到真实商业任务里只剩 61% 的无人干预通过率,差距来自商业场景的数据多元、无通用流程和超长验证周期。而破局之道,不是坐等更强的通用模型,而是三条——

  • 靠 Model × Harness × Context 的乘法,把 20 多年的行业上下文变成通用玩家拿不走的壁垒;
  • 靠 帕累托最优的多模型路由,把成本压到竞品的 1/3,让 AI 成为商家"用得起"的日常工具;
  • 把人留在最终判断的位置上——AI 接手重复执行,人负责对结果负责的决策。

一句话:Agent 变强,不是让人失业,而是把人的精力重新配置到"只有人能做的判断"上。