AI行业有两种人:追指标的和看结构的

AI行业有两种人:追指标的和看结构的

系统不在乎你觉得什么重要。你衡量什么,它就生产什么。你衡量的是震撼感,你收获的就是一次性烟花。

最难 debug 的 bug,不是代码写错了,是系统结构让每个人都”对”了,但结果还是错的。

追指标是使劲推,看结构是找杠杆。

我一直以为在 AI 行业,拼的就是谁跑得快。谁先发模型谁赢,谁先上线谁赢,谁先刷屏谁赢。我带着这个信念做了一年产品,越做越感觉不对劲。明明团队所有人都在拼命跑,回头看怎么感觉像在原地转圈?

最近看了德内拉·梅多斯的《系统之美》。读完之后我发现,也许我们可以从系统运行底层规律的角度来理解。

如果你也有过这些困惑:为什么有的产品首周爆火,两个月就凉了?为什么团队里每个人都没做错,结果还是一团糟?为什么越卷越累,但看不到终点?

这本书可能会给你一个全新的角度。

接下来是我的理解。简单说就一件事:AI 行业的很多问题,不是技术问题,而是系统结构问题。而大多数人解决问题的方式,恰恰在强化这个结构。


两种人,两种游戏

工作中其实有两类人、两种做事方式,分别是追指标看结构

追指标的人盯着数字干活:下载量、日活、融资额、发布速度。数字涨了就是对的,跌了就换方向。

看结构的人问的是另一层问题:这个数字为什么涨了?涨了之后系统会怎么反应?我优化的这个东西,真的是最重要的东西吗?

表面上这两类人可能在做同一件事,但结果完全不同。


追指标长什么样?

陷阱一:你衡量什么,系统就生产什么

Sora 就是一个教科书级的例子。

2024 年末发布,首周 iOS 下载 62.7 万次,比 ChatGPT 当年还猛。所有人都觉得这是下一个现象级产品。两个月后,日下载从 10 万掉到不足 2.5 万。

为什么?因为 Sora 从第一天起优化的就不是”用户能拿它干什么”,而是”用户看到它有多震撼”。但震撼感这个东西,用一次就没了。你不会每天打开一个 app 就为了再震撼一次。

系统不在乎你觉得什么重要。你衡量什么,它就生产什么。你衡量的是震撼感,你收获的就是一次性烟花。

整个娱乐赛道都在滑向同样的坑。有创业者说得很直白:“大家越来越不在意完整性,只在意过程中每一段的正反馈够不够强。就像短剧,越往后越没意思,但这不重要,过程中你爽过了就行。”

爽感是消耗品,但产品不应该是。


陷阱二:每个人都只盯着自己的指标

追指标还有一个更隐蔽的表现:团队里每个人都在追自己的指标,每个人都”做对了”,但加在一起结果是错的。

我亲身经历过一个例子。产品和技术吵架。技术要自建,盯的是架构扩展性的指标。产品要用第三方快速上线,盯的是 MVP 交付时间的指标。

两边都有道理,因为两边看到的信息不一样,优化的目标也不一样。选了技术的方案,交付延期了。选了产品的方案,MVP 过关了,但公司最终还是要自建,之前的投入也是浪费。

事后看,很难说谁对谁错。

梅多斯管这叫”有限理性”,意思是每个人基于自己能看到的那一段做了最合理的决定,但个体最优加在一起,不等于全局最优。

最难 debug 的 bug,不是代码写错了,是系统结构让每个人都”对”了,但结果还是错的。

追指标的人遇到这种事会想:下次多开会、多沟通,大家要有全局意识。看结构的人会想:怎么改变流程,让两个团队在做决策之前就不得不看到对方的约束?


如何从”追指标”切换到”看结构”?

那你可能会问:道理我懂了,具体怎么做?

书里给了几条线索。

第一,别藏信息。

她原话说:“你不可扭曲、延迟或隐瞒信息。”

这正是产品和技术吵架那个问题的药方。两个团队之所以做出互相矛盾的”正确决策”,根源就是各自只看到了自己那一段的信息。解决方案不是多开几次会,而是在结构上让信息流通。比如让技术在产品规划阶段就看到交付压力,让产品在选型阶段就看到长期架构成本。

第二,别一口气跑完,步步验证。

有人算过:一个 18 步的任务,每步准确率 90%,最终成功率只剩 15%。

AI Agent 的演进就是这条教训的最佳注脚。早期做 Agent 的思路是往模型里塞更多指令,让它一口气跑完整个任务。结果开发者试过了,成功率反而下降,token 成本还多了 20%。现在流行的做法是 Harness Engineering:在系统层面加约束,代码拦截器、自动重试、分步验证,在关键节点停下来,让人看一眼、校准一下,再跑下一段。

不是教模型想得更对,是让架构兜住它想错的时候。

设计一个容错的结构,比培养一群完美的个体现实得多。

第三,别预设,去感知。

梅多斯在书里讲过她滑雪的感悟:在雪道上,你没法在山顶就规划好每一个弯怎么转,雪况、坡度、速度随时在变,你只能盯着前方、感受脚下、不断调整。她说她后来才意识到,做管理、做决策也是一样的道理。

Sora 的问题就是反面。团队从一开始就预设了用户要的是对技术的”震撼”,然后照着这个假设一路冲。如果他们不是追着”首周下载量”跑,而是像在雪道上一样,边滑边感受地形,观察用户真实的使用行为,比如他们拿视频生成做什么、在哪个环节放弃、什么场景下会回来,产品走向可能完全不同。

回头看前面这三件事,其实都指向同一个道理:你不需要在系统里每个环节都使更大的力,你需要找到那一个对的位置。让信息流通是一个杠杆点,加一层分步验证是一个杠杆点,把衡量标准从”震撼感”换成”留存率”也是一个杠杆点。改动不大,但撬动的东西完全不同。

追指标是使劲推,看结构是找杠杆。


所以回到开头

我以前觉得 AI 行业拼的是速度。现在我觉得,速度只是放大器:方向对了它放大成功,方向错了它放大灾难。

Sora 的死不是因为技术不行,是没有去感知用户真正需要什么。Agent 不稳定不是因为模型笨,是没人给它设计容错的系统。团队内耗不是因为谁不够努力,是信息结构让每个人都只看到了局部。

这些问题,都不是”更快”能解决的。

速度决定你能跑多远,结构决定你能不能跑对方向。

0 点赞 0 评论