信任是造出来的:poteto 如何让 agent 自己合并代码

November 15, 2026 · Tech Blog

poteto(Lauren Tan,前 Cursor,现 SpaceX AI)讲她怎么从盯着每一个 agent,走到让 agent 自动合并 PR。这篇整理她的方法——一座"信任金字塔"、feature map、为 agent 重写的 Dune 架构、把 review 变成规则——以及我自己的几点延伸。


这场分享的核心只有一句:你对 agent 的信任不是靠模型变强得来的,而是靠工程手段一层层造出来的。 有了这份信任,她一个月能落地上千个 PR,早上醒来发现 agent 已经把 20 个 PR 合进了 main,而她事后审查时发现它们都是好的。

信任曲线:管 agent 和管团队是一回事

她的类比来自工程管理。一个经理如果不信任手下的工程师,就只能微观管理:盯每一步、审每一行,团队规模也就被经理的注意力卡死了。用 agent 一模一样。一年前她只敢开几个 agent,每个输出都要看,根本不敢并行,因为没有一个是她信得过的。

五个月后她走到了曲线的另一端:agent 自动合并 PR,她只在合并之后抽查。这中间发生的不是模型换代,而是她给 agent 搭了一整套让它可以被信任的环境。

这里有一个容易被忽略的反直觉点:不信任才是并行的瓶颈。 大家都在讨论怎么同时开一百个 agent,但如果你连一个都信不过,开一百个只是把需要人审的代码放大一百倍、把 token 账单放大一百倍。

金字塔:信任从哪里来

她把让 agent 可信的手段排成一座倒金字塔:越靠上越便宜、越确定,越靠下越贵、越依赖人。

poteto pyramid:五层信任来源

上面三层是硬约束:违反了构建就失败,agent 不可能"忘了"。Prose 是软约束:写在 AGENTS.md 里的规矩只能靠 agent 自觉,它会忘、会误解、上下文一长就被挤掉。Human review 最可靠也最贵,而且完全不可扩展——人的注意力就是整个系统的吞吐上限。

整套方法其实只有一个动作:把每一条约束尽可能往上层搬。 能靠架构解决的不写 lint,能写成 lint 的不写进文档,能写进文档的不留给人。

这也解释了一个很常见的现象:大多数团队提升 agent 质量的第一反应是"把 AGENTS.md 写得更详细"。这恰好是金字塔里最不可靠的一层——它好写,所以大家都往这里堆努力,堆得越多,规则之间抢上下文抢得越厉害,效果反而下降。她的结论很直白:只靠软规则和风格指南,代码库迟早会变乱。

Verification:让 agent 自己闭环

她认为和 agent 合作最重要的一项能力是 verification:让 agent 能把真实的应用跑起来,自己检查自己的活。它不保证代码好,但让"正确"第一次变得可以达到。没有它,人就是瓶颈:你得一遍遍截图、复制报错、粘贴给 agent,自己变成了它的眼睛和手。

一个踩坑:看着截图猜原因

她加入一个前端团队时离发布只剩一周,任务是性能优化。她给 agent 看火焰图截图,agent 很自信地说出了几个原因,结果都是错的。问题不在模型,在于它拿到的是二手信息。解决方式是给工具:她的第一个 skill 就是包一层 Chrome DevTools,让 agent 自己跑应用、自己抓 trace 和堆快照。

Feature map:产品知识的机器可读版

有了工具还不够,agent 不会在 UI 里找路。于是她在 skill 里加了一份 feature map,每个功能写清三件事:

  1. 有什么功能
  2. 用户怎么走到它:点哪里、快捷键是什么、通过 CDP 选中元素要用的 DOM 属性
  3. 什么现象证明它正常

再配一套 CLI(按无障碍名称点击、抓界面快照、截图留证),agent 就能拿着地图驱动真实的 app,逐条走一遍,交出证据。它还有个意外的好处:用户只发一张截图加一个问号这种模糊反馈,agent 也能对照地图定位到具体功能。

我认为 feature map 是整场演讲里被讲小了的东西。它表面上是"教 agent 找路"的辅助文档,实际补上的是开发流程里一直缺失的一层——产品意图的可执行版本。"产品能做什么、怎样算没坏"这份知识,平时散在 PRD、测试同学的脑子和零散的 e2e 脚本里。收拢成一份地图之后,它同时是:

  • 完成的定义:受影响的路径都走通并拿到证据,才算做完。"做完了"从 agent 的自我声明变成可以检查的事实。
  • 回归保护:agent 最常见的问题是修好 A、悄悄弄坏 B。每次改完把受影响的条目重新走一遍,就能拦住。
  • review 的依据:reviewer 不必逐行猜影响范围,直接看证据。

和传统 e2e 测试比,e2e 是写死的脚本,UI 一改就成片失效;feature map 写的是"去哪、做什么、看到什么算对",具体怎么点由 agent 现场完成,维护成本低得多。它的弱点是只保护写在上面的功能——这个问题下面的 Dune 会给出答案。

Formal verification:从样例到穷举

测试只检查你举出的几个例子,形式化验证证明"所有情况下都成立"。她的幻灯片列了两种:

  • TLA+:给系统建一个状态机模型,写下"无论如何都不能发生的事",由 model checker 穷举所有状态和执行顺序。它擅长的正是测试最难覆盖的地方:并发、重试、超时、宕机重启交织在一起才会触发的 bug。比如一个任务调度器里"同一个任务不能被两个 worker 同时执行"、"任务不会永远卡在 running"。
  • Lean:针对代码本身写数学证明,Lean 逐步检查每一步推理。比 TLA+ 更强,证明的对象是实现而不是模型,代价也更高。

为什么现在值得提?形式化验证以前几乎没人用,是因为写 spec 和证明太费人力。agent 改变了这笔账:spec 和证明可以让 agent 写,而检查器是确定性的。 你不需要信任 agent 写的证明,只要检查器通过,结论就成立。这和"让一个 LLM 评判另一个 LLM"正好相反——后者是用不可靠的东西检查不可靠的东西。

这是一个可以推广的原则:让 agent 做生成,让确定性程序做裁判。 编译器、类型检查、lint、model checker、证明助手都是这类裁判。不过形式化验证的性价比只在少数核心部件上成立,状态机加并发的地方值得用,不必铺开。

Dune:为 agent 重写架构

金字塔最顶上的 codebase 层,她是真的动手重写了。她把一个新 app 整体迁到一套叫 Dune 的架构上,按她的统计用了 600 多个 PR。她对 Dune 的描述是"Electron app 版的 Next.js",而且从一开始就是为 agent 设计的。

为什么要重写

她的判断反直觉:有强护栏的老代码库其实很适合 agent,因为它照着周围的代码写,自然就是对的;反而是 vibe coding 出来的原型最危险。同一件事有十种写法,agent 每次挑最省事的一种,下一个 agent 又照着最乱的那部分去抄,代码库会加速腐烂。

所以她要做的不是"在 prompt 里告诉 agent 请这样写",而是把代码库改成只有一种写法能通过。指导原则只有一句:最短路径就是正确路径。 agent 本来就会走最省事的路,那就让最省事的路恰好是对的。

五个名词

Dune 给整个 app 定了一套固定的"零件类型",每个名词在目录树里只有一个位置,运行时只干一件事:

名词它是什么关键约束
Feature一个功能的产品 UI一个功能一个自己拥有的文件夹
Entrypoint用户能打开的一个界面可枚举,对应"用户怎么走到它"
Transcript card对话记录里一种条目的渲染归某个 feature 所有
Client持久化的前端状态只能通过 hooks 读、commands 写,只有一个写入方
Host后台常驻逻辑只能通过带类型的合约和前端通信

"Next.js 版"指的就是这种约定式结构:在 Next.js 里,文件放进 app/foo/page.tsx 它就自动是一个页面。在 Dune 里,东西放在哪里,就决定了它是什么、能做什么。agent 接到任务不需要理解整个仓库,只要判断"这是哪个名词",代码该放哪里、怎么连就都定了。

删掉自由度

CI 强制执行的几条规则:

  • 禁用 useEffect。它是 React 里最容易写出隐蔽 bug 的地方,干脆不让用,逼着状态走 Client 那套统一机制。
  • 禁止写代码注释。agent 爱写"这里原来是 X,后来改成 Y"的注释,代码一改就过时,反而误导下一个 agent。注释本质上是 prose 层的东西,没人强制维护。
  • 主进程和渲染进程分目录,CI 检查 import 图。这同时是性能规则:60fps 下每帧只有约 16ms,重活或 I/O 漏进渲染进程就会卡。
  • 同一个功能的代码集中放一个目录。改动影响了哪些功能,看路径就知道。

固定名词的第二个好处

这一点演讲里没有明说,但我觉得是 Dune 最妙的地方:它让下面几层变得可以被机器检查。 "feature 之间不许互相 import""只有 Client 能写状态"可以写成 lint;Host 的合约交给类型检查;而 Entrypoint 既然可以枚举,CI 就能检查"有没有哪个入口没登记在 feature map 上"——feature map 只保护写在上面的功能这个弱点,就这样被架构补上了。

把 review 变成规则

金字塔是静态的结构,让它随时间变强的是这一条:一条 review 意见第二次出现,就是坏味道。 不要再评论一遍,而是把它变成 lint 规则、CI 失败,或者改设计让这一类问题不可能再出现。

落到哪一层,沿着金字塔从上往下找,越高越好:

  1. 能不能改架构,让这种错误写不出来?(Dune 禁 useEffect 就是这一级)
  2. 能不能写成 lint、类型约束、import 规则或 CI 检查?
  3. 能不能变成一条运行时验证,比如给 feature map 加一条通过标准?
  4. 都不行,才写进 rules 或 skill。
  5. 真的只能靠人判断的,留给 review,但写清楚什么情况必须人看。

这个闭环改变了 review 的意义。在普通团队里,review 是一次性消耗:你纠正了这个 PR,下一个 PR 可能又犯同样的错。在这套体系里,每一次 review 都在给系统加一道护栏,人的判断被沉淀成了机器可以执行的东西。时间一长,需要人看的东西越来越少,自动合并的范围就能越来越大——这就是她那条信任曲线背后的引擎。

线上漏网的 bug 也走同一条路:先把复现步骤写成 feature map 条目或测试,确认它能抓到这个 bug,再修。

还有一个可以自然推出来的方向:这个闭环本身也可以交给 agent。挖掘历史 review 评论,聚类出高频问题,自动生成自定义 lint 规则的候选,交给人确认后上线。Cursor 的 Bugbot 已经在做类似的事:把开发者的点赞、点踩、回复当信号,人的纠正变成学到的规则和回归评测用例。

Eval:给 skill 写单元测试

她把 eval 当作 agent 的单元测试,不需要任何专门的框架。她的流程写在自己的插件 pstack 里:

  1. 一个 coordinator agent 写 rubric,定义什么算做对。
  2. sub-agent 在特意命名过的目录里执行 skill,让它们不知道自己正在被测。
  3. 用另一家的模型当 judge,避免同源偏差。
  4. hill-climb:改 skill、重跑、再打分,循环到分数达到目标,比如 10/10。

第 2、3 条最值得展开。"不让被测者知道自己在被测",是因为模型一旦意识到自己在做测试,行为就会变——你测到的是它考试时的样子,不是它干活时的样子。"跨模型当裁判"是因为同一个模型评自己的输出,会系统性地喜欢自己的风格。

找失败模式时,她不只看最终输出,而是去读工具调用和 thinking block,核对 agent 是不是真的读过它声称关键的那段代码。这是一个很实用的习惯:agent 常常得出了对的结论,但理由是编的。只看结果的 eval 抽不出这种问题,下次它就会编出错的。

这里的深层 insight 是:skill 和 prompt 也是代码,也需要金字塔。 你给 agent 写的 skill 如果没有 eval,就是没有测试的代码,改一句话会不会把别的场景弄坏,完全靠运气。同样的,Cursor 内部也在给 skill 做减法——skill 多了会互相抢上下文,精炼比数量重要。

先信任一个 agent,再信任一群

她的扩展顺序是先本地、后云端。在本地,你能亲眼看着 agent 和 app 交互,确认它的验证是真的在验证,而不是走过场。这一步过了,再把同样的 skill 交给云端 agent。

她有一个叫 Benny 的云端 agent:接到用户的 bug 报告后,在自己的机器上把 app 跑起来尝试复现。有一次它发现用户报的 bug 在 main 上已经修好了,这条工单不需要任何人碰就有了结论。

她也明确劝大家:还没信任一个 agent 之前,别急着开几百几千个。一是 token 成本扛不住,二是不可信的产出放大了,人审的压力也跟着放大。她把 token 支出看成 ROI 问题:前期在护栏上投入很贵,但它让一个小团队做到了原本需要很多工程师才能做的事。

关于 PR 的一个小细节:她没有硬性的 PR 大小限制,但鼓励 agent 把活拆成小的原子 PR,这样 git 历史有用、回滚容易。这一点在自动合并的世界里尤其重要:你允许机器自己合并,就必须保证出了问题能便宜地撤回。

我从里面带走的几件事

信任是一个可以被工程化的属性。 大家谈 agent 可不可靠,常常是在谈模型够不够强。poteto 的答案是把问题换了一个对象:你信任的不应该是"它大概写对了",而是"有一套它绕不过去的检查已经通过了"。前者只能等模型升级,后者今天就能动手。

生成和裁判要分离。 金字塔里每一层硬约束,都是"agent 生成、确定性程序裁判"这个结构的实例。需要用模型当裁判的地方,就用另一家的模型,并且不让被测者知道自己在被测。

为 agent 设计的代码库,和为人设计的不一样。 人类团队靠文化和口口相传维持约定,可以容忍灵活性;agent 没有文化,只有当前的上下文。所以一些对人友好的东西(注释、多种写法的自由)对 agent 反而是噪音。Dune 禁掉注释这一条,是我觉得整场最有启发的细节。

review 的对象正在从代码变成证据。 当代码主要由 agent 生成,人不可能也不必逐行读。人该看的是:受影响的功能有没有都走通、截图和 trace 对不对得上、这个改动属不属于高风险类别。

这套方法不只适用于写代码。 任何要让 agent 在生产环境里自主干活的场景——问数、客服、运维——都可以照着这座金字塔问自己:哪些错误可以通过结构让它不可能发生?哪些可以被确定性地检查?哪些需要跑起来才知道?哪些真的只能人看?每一次人的纠正,有没有变成一道新的护栏?

最后一句话总结:让最省事的路恰好是对的路,然后把每一次纠正都变成路的一部分。

来源