Agent Harness 已死？越复杂的 Agent，越像智商税

0:00 十 月 十 九 号， 也 就是 上 周 一， AI Engineer 大 会 的 官 方 频 道 发 了 一 场 演 讲， 主 题 是 A gent H arness 已经 死 了 吗？ 演 讲 的人 叫 J edia Kat z， 他 二 零 二 五 年 初 加入 C urs or， 是 C urs or 做 H arness 的人 里 资 历 最 老 的 一个。 今年 八 月， Space X 花 了 大 约 六

0:19 百 亿 美元 把 C urs or 买 了 下 来， 他 也 跟 着 进 了 Space X 的 AI 部 门， 现在 叫 Space X AI。 一个 靠 做 harness 吃 饭 的人 上 台 直接 问 自己 的 饭 碗 砸 没 砸， 然后 他的 回 答 让 人 出 乎 意 料。 写 代 码 这 一 块 花 哨 的 harness 已经 不能 让 模 型 变 得 更 聪 明 了， 但 他 紧

0:39 接 着 又 说 harness 比 以 往 任 何 时候 都 更 重要。 这 两 句 话 怎么 能 同 时 成 立？ 听 完 这 期 你 会 知道 三 样 东 西： h arness 到底 是 什么？ 为什么 这 半 年 大家都 在 聊 它？ 还有 它 接 下 来 会 怎么 发 展 这 一点 跟你 以 后 用 什么 AI 工 具 花 多少 钱 关 系 非常 非常 大 先 说 一下 h arness

1:01 这个 词 直 译 过 来 是 马 具 就是 套 在 马 身 上 的 缰 绳 和 车 辕 马 有 力 气 但 不 套 上 这 一 套 东 西 它 拉 不了 车 放 到 AI 里 模 型 就是 那 匹 马 harness 就是 包 在 模 型 外 面 让 它 能 真 正 干 活 的 那 一 层 软 件 Cat 自己 的 比 喻 是， H arness 是 模 型

1:22 的 眼 睛 和 手， 给 它 什么 提 示 词， 能 用 哪 些 工 具， 记 忆 怎么 存， 对 话 太 长 了 怎么 压 缩， 哪 些 事 要 拦 住 不 让 做， 任 务 在 哪 台 机 器 上 跑， 断 了 怎么 接 着 跑， 这 些 全 归 H arness 管。 大家 天 天 在 用 的 Cloud Code、 C ode x、 C urs or 里 的 A gent， 说 白

1:40 了 都是 一个 模 型 加 一 套 H arness， 模 型 可以 换， 外 面 这 一 层 决 定 了 它 用 起 来 顺 不 顺 手。 二 零 二 三 年 最 火 的 职 位 叫 提 示 词 工 程 师， 到 二 零 二 五 年 年 中 变 成 了 上 下 文 工 程 师， 专 门 在 每 次 调 用 前 把 最 合 适 的 材 料 拼

1:58 好 塞 给 模 型。 今年 年 初 才 终 于 落 到 harness 工 程 师 这个 词 上， 三 年 换 了 三 个 名 字， 干 的 其实 是 同 一 件 事： 模 型 外 面 那 一 层 怎么 搭 才 好 用？ 可 这 才 火 了 半 年。 就 有人 说 他 死 了。 先 看看 H arness 最 风 光 的时候， 一 月 十 四 号， C urs or 发 了 一

2:19 篇 博 客， 让 几 百 个 Agent 同 时 干 活， 目 标 是 从 零 写 一个 浏 览 器。 原 文 写 的是： 这 些 Agent 跑 了 将 近 一个 星 期， 写 了 超 过 一 百 万 行 代 码， 分 布 在 一 千 个 文 件 里。 这 就是 年 初 的 思 路， 模 型 不 够 强 就 靠 H arness 来 补， 几 百 个 Agent 分 工 协

2:37 调， 大 力 出 奇 迹。 当然 代 价 也 很 大 这 套 系 统 调 动 了 大 量 的 机 器 可以 说 非常 非常 烧 钱 然后 就是 下 半 年 风 向 似 乎 变 了 7 月 24 号 Anth ropic 做 Cloud Code 的 工 程 师 发 了 一 条 帖 子 为 了 新 一 代 模 型 他 们 把 Cloud Code 的 系 统 提 示 词 删 掉

2:57 了 大 约 80 说 明 书 删 掉 5 分 之 4 但 新 模 型 照 样 干 得 好 还有 就是 Y C 的 总 裁 Gary Tan 说 得 更 直接 如果 你的 harness 一 挂， 记 忆 就 跟 着 没 了， 说 明 你 把 harness 做 得 太 厚 了。 记 忆 是 Mark down 文 件， 技 能 也是 Mark down 文 件。 h arness 只是 一个 指 挥， 它 读 这

3:18 些 文 件， 但 不 拥 有 它 们， 包括 cursor 自己。 C at 和 同 事 写 过 一 篇 文 章， 讲 他们 怎么 把 一 堆 护 栏 拆 掉。 比如 说， 以前 cursor 里 专 门 有 一个 小 模 型， 只 负 责 把 改 好的 代 码 贴 进 文 件 里， 因为 当 时 的 大 模 型 连 这 一 步 都 做 不好。 现在 这个 小 模 型 也 拆 了，

3:38 所以 harness 已 死 不是 一 句 空 话。 最 懂 harness 的 那 几 家 都 在 做 减 法。 光 说 做 减 法 还 不 够， 得 有 数 字。 假 设 有 一个 极 简 的 harness 模 型， 只 能 用 命 令 行 再 加 上 它 所有 的 密 钥， 这 东 西 跑 编 程 题 能 不能 跟 复 杂 的 harness 一 样 好？ 接 下 来 他 就 拿

3:57 出 了 两 项 研 究。 第一 项 来 自 UC Berkeley 和 Arena 团 队。 作 者 里 有 Sp ark 的 作 者 M atte o Z aria 问题 很 朴 素 同 一个 模 型 换 一个 H arness 能 不能 多 做 对 几 道 题 或者 少 花 点 钱 他 们 拿 了 7 个 模 型 配 上 3 种 H arness 一 共 21 种 组 合 在 两 套 公 开

4:19 的 编 程 测 试 上 跑 这 3 种 H arness 一个 是 Cloud Code 一个 是 Open AI 的 C ode x 还有 一个 叫 P y 的 开 源 小 工 具 全部 加 档 只有 4 个 工 具 读 文 件、 写 文 件、 改 文 件、 跑 命 令。 结 论 有 三 条： 第一， 换 harness 对 做 对 多少 题 影 响 很 小， 对 花 多少 钱 影 响 很 大。

4:40 同 样 的 成 绩， 成 本 最 多 能 差 到 五 倍。 第二， 最 简 单 的 派 成 绩 和 成 本 都 能 打。 第三， 模 型 配 别 家 的 harness 有 时候 比 配 自 家 的 还 好。 在 Anth ropic 和 Open AI 的 十 二 组 比 较 里， 有 九 组 是 这样。 看 来 Cloud 模 型 也 许 并 不 需要 Cloud Code。 最 直 观 的是 这

5:01 组 数， 可以 看到 原 文 里 写 的 很 清楚： Cloud 的 F able 五 放 在 Cloud Code 里 做 对 百 分 之 九 十 七 点 八， 放 在 Code x 和 Pi 里 都是 百 分 之 九 十 六 点 七， 差 了 一点 一个 百 分 点。 也 就是 说， 大概 每 九 十 道 题 多 做 对 一 道。 成 本 呢？ Cloud Code 里 每 次 一点 三 三 美元，

5:20 P i 里 只 要 零 点 六 七 美元， 正 好 贵 一 倍。 那 贵 在 哪？ 在 七 个 模 型 上， Cloud Code 第一 次 调 用 模 型 时 塞 进 去 的 内 容 平 均 是 派 的 十 倍 还 多， 主 要 是 更 长 的 说 明 和 更 多 的 工 具 定 义， 相 当 于 还 没 开始 干 活 先 读 了 十 倍 长 的

5:38 说 明 书。 第二 项 研 究 来 自 瑞 士 洛 桑 联 邦 理 工， 九 月 三 十 号 挂 到 Arch ive 上， 测 的是 让 AI 自己 做 机 器 学 习 工 程。 这个 方 向 的 Agent 外 面 往 往 套 着 一 大 堆 规 则。 多 个 agent 互 相 编 排， 还有 专 门 查 资 料 的 子 agent。 结 论 是， 同 样 的 模 型、 同

5:57 样 的 时间， 这 些 精 心 搭 出来 的 系 统 和 一个 只 会 读 写 跑 命 令 的 极 简 agent 比 没有 优 势。 两 项 研 究 放 在 一起 指 向 同 一 件 事： 模 型 够 强 以 后， 外 面 那 层 花 哨 的 东 西 分 数 上 加 不了 多少 了。 那 模 型 真的 把 harness 吃 掉 了 吗？ 这 张 图 是 整 个

6:17 演 讲 最 核 心 的 一 张 图 标 题 是 模 型 吃 掉 h arness harness 去 开 辟 下一 片 疆 土 中 间 写 着 数 据 飞 轮 一 圈 五 个 节 点 咱 们 过 一 遍 你就 理 解 了 第一 h arness 先 帮 模 型 解 锁 能 力 模 型 自己 做 不到 的 事 靠 提 示 词 工 具 护 栏 先 把它 扶 起 来

6:38 第二 ag ent 开始 接 手 新 任 务 能 做 了 用 的人 就 多 了 第三， 这 些 任 务 变 成 了 训 练 数 据。 大家 每 天 让 agent 写 代 码， 这 些 过 程 都 流 向 了 做 模 型 的 实 验 室。 第 四， 模 型 把 这个 能 力 学 进 去了， 比如 怎么 在 一个 陌 生 的 代 码 库 里 找 东 西， 怎么 一 口

6:58 气 连 着 干 很 长 时间 不 跑 偏， 改 完 代 码 怎么 自己 跑 测 试 检 查， 这 些 以前 都 得 在 harness 里 一 条 条 教， 现在 模 型 自己 就 会。 最 后， H arness 把 当 初 那 些 脚 手 架 删 掉。 删 完 之 后 呢？ 飞 轮 回 到 第一 步 H arness 去 找 下 一个 模 型 还 不会 的 地方 重 新 服 一

7:18 遍。 这样 的话， 前 面 那个 矛 盾 似 乎 就 解 开 了。 写 代 码 这 件 事， 飞 轮 基本 上 已经 完 整 转 过 一 圈， 所以 写 代 码 的 H arness 越 来 越 薄。 这 不是 H arness 失 败 了， 是 它的 活 干 完了。 C at 发 这 场 演 讲 的时候， 在 X 上 写 了 一 句。 因为 模 型 变 聪 明， C oding Agent H arness

7:38 经 历 了 一 段 停 滞， 但 现在 飞 轮 又 回 到 起 点 了。 AI Engineer 官 方 转 发 了 帖 子， 并 补 充 了 证 据： 为什么 更 聪 明 的 模 型 让 C urs or 删 掉 了 提 示 词 和 护 栏， 而 Gro k Bot 却 在 把它 们 加 回去？ G rok Bot 就是 那个 加 回去 的 例 子。 八 月 十 一 号， Space X AI

7:58 发 布 了 Gro k Bot 的 早 期 测 试 版。 官 方 的 介 绍 是， B ot 是 帮 你 干 真 活 的 AI 同 事， 它 会 登 录 你的 各 种 工 具， 像 你 一 样 去 用， 然后 把 做 完 的 结 果 交 回 来。 它 干 的 不 只是 写 代 码， 是 办 公 室 里 的 各 种 活： 做 幻 灯 片、 订 机 票、 给

8:16 同 事 发 邮 件。 C ats 的 原 话 是： 这 些 新 领 域 里 的 很多 事 模 型 还 没 拿 下， 所以 在 G rok bot 上 他们 做 的 事情 正 好 和 在 C urs or 时 反 过 来。 一 条 条 把 提 示 词 和 护 栏 加 回去， 比如 说 网 页 上 的 流 程 怎么 走、 做 PP T、 订 机 票 这 种， 多 久 跟你

8:35 汇 报 一次 进 度， 既 让 你知道 他 在 干 什么， 又 不 至 于 一直 打 扰 你。 还有 一个 非常 非常 关 键 的 判 断： 什么 时候 自己 直接 做， 什么 时候 先 停 下 来 问 一 句。 给 同 事 发 邮 件 这 种 事， 你 希望 他 能 做， 但 得 按 你想 的 那 样 做， 结 构 上 也 不 一 样。 Block bot 里 有 长 期 在 线

8:55 的 协 调 者， 下面 指 挥 一 群 干 活 的 ag ent。 像 请 了 一个 很 厉 害 的 律 师， 他 直接 跟你 对 接， 管 大 方 向， 具 体 的 活 分 给 手 下一 群 助 理。 那 你 可能 会 想， 等 办 公 这 块 也 被 模 型 学 会 了， H arness 不 就 又 该 死 了 吗？ 其实 有 三 件 事， 模 型 再 聪 明

9:15 也 吃 不 掉。 第一 件， 在 哪 儿 跑？ 过 去 一 年 多， ag ent 干 一个 任 务 从 几 分 钟 变 成 了 几 个 小 时、 几 天 甚 至 更 长， 这 种 活。 不 可能 挂 在 你的 笔 记 本 上， 你 一 合 盖 电 脑 睡 了， 它 也 就 断 了。 这 需要 云 端 的 机 器 状 态 的 保 存， 断 了 能 接 着

9:33 跑， 这 些 是 基 础 设 施， 不是 智 能。 第二 件 能 碰 什么？ 还 记 得 开 头 那个 只 用 命 令 行 再 加 上 全部 密 钥 的 极 简 harness 吗？ 它 跑 编 程 题 确 实 不 差， 但 你 大概 不会 想 把 所有 密 钥 塞 进 一个 文 件 交 给 模 型。 就 算 你 自己 无 所 谓， 你们 公 司 管 安全 的人 肯 定

9:53 有 话 要 说。 谁 也 不 想 某 天 早 上 醒 来 发 现 agent 干 了 一 件。 没 法 挽 回 的 事， 所以 每 个 agent 每 个 人 能 动 什么 得 有人 来 划 线。 这 件 事 只 能 在 harness 里 做。 第三 件 花 多少 钱？ 成 绩 追 平 了， 成 本 没有 追 平。 C at 说 他 自己 过 去 一个 月 一直 在 优 化 Gro

10:13 k Bot 的 缓 存 命 中 率、 t oken 用 量 和 模 型 搭 配， 成 本 和 速 度 都 降 下 来了， 质 量 没 掉。 你 越 多 的 用 agent 干 活， 这 一 层 就 越 值 钱。 在 哪 儿 跑， 能 碰 什么， 花 多少 钱， 这 三 件 事 跟 模 型 聪 不 聪 明 没 关 系， 本 来 就是 外 面 这 一 层 的 活。 至

10:31 于 以 后 的 harness 长 什么 样， 他 给 了 两 个 方 向： 一个 是 过 去 的 harness 是 把 一 堆 模 型 调 用 拼 起 来， 以 后 是 把 一 堆 agent 拼 合 起 来。 他 举 了 cursor 内 部 的 例 子， 有人 在 群 里 报 一个 bug 自 动 分 诊， 接 着 拉 起 一个 云 端 agent 去 修， 修 完 录 一 段 修 复

10:50 前 后 的 对 比 视 频 当 证 据。 代 码 上 线 以 后， 再 拉 起 一个 agent 盯 着 线 上 有 没有 出 问题。 另 一个 方 向 是 内 部 越 来 越 复 杂， 给 用 户 看到 的 越 来 越 少， 因为 暴 露 出来 的 每 一个 细 节 都 会 有人 去 依 赖， 以 后 就 改 不 动 了。 看 完 以 后， 我 自己 的 判

11:07 断 是 harness 会 越 来 越 薄， 模 型 也 会 越 来 越 智 能， 这 些 是 趋 势。 那 回 到 我们 用 户 本 身， 真 正 值 钱 的 还是 skills。 记 忆 这 些 你 自己 积 累 下 来 的 文 件， 上面 的 测 试 同 一个 模 型 换 一个 精 简 的 harness 成 绩 几 乎 一 样， 钱 能 省 一 半。 十 二 组 比 较

11:28 里， 九 组 是 别 家 的 harness 跑 得 最 好， 也 就是 说 工 具 是 可以 换 的， 谁 便 宜 谁 顺 手 就 用 谁。 换 工 具 的时候 带 不 走 的 东 西 才 是 损 失， 所以 落 到 手 上 有 两 件 事 可以 做： 第一。 你 平 时 给 AI 写 的 规 则、 要 求 踩 过 的 坑， 尽 量 写 成 普 通 的 文 件

11:48 放 在 你 自己 的 项 目 里， 也 只 存 在 某 一个 工 具 的 设 置 里。 这样 明 天 换 一个 H arness， 这 些 东 西 跟 着 你 走。 第二， 看 一 眼 你的 账 单， 按 量 付 费 的 挑 一个 平 时 常 做 的 任 务， 同 一个 模 型 在 两 个 工 具 里 各 跑 一 遍， 看 T oken 用 了 多少。 包 月 的 看

12:06 的 就是 额 度 用 的 快 不 快， 差 别 可能 比 你想 的 大。