# 智驾是如何看视频的 · 幕后：一晚上，37 个 agent 把 10 分钟口播做成全 3D 片子 视频《智驾是如何看视频的》，9 分 50 秒，4:3。上期讲「AI 看视频默认 1 秒只看 1 帧」，评论区有人问：那开车的 AI 怎么办？这期就回答这个问题。 这期没有我露脸的画面：两次录音摄像头都没进录制软件，只录到了声音。画面全部是代码写的 3D（夜路、红车、塑料袋），是 Claude Code 在一个晚上自己做完的。 **[看网页版 →](https://chenyuxiaojin.github.io/vibevideo/2026-10-18-36-frames/)** 有 12 段画面的循环小片段、包装那一晚的时间图、返修前后对照。 ## 谁做了什么 | | 做了什么 | 多少 | |---|---|---| | 我 | 拍板选题、两次录口播、剪掉不要的话、听气口、看片挑毛病、挑封面底图并调位置、点发布 | 102 条消息 | | Claude Code（主会话） | 查资料核事实、改稿、达芬奇粗剪和染色、补气口、修干声、搭 3D 世界、派活、审片、渲染、混音、字幕、自查返修、出发布物料、填发布表 | 13 段对话，1,885 次操作 | | 子 agent | 查事实卡、12 段画面并行搭建、备选开头、音效素材包、配乐、音效点位、精修 7 段 | 43 个，2,851 次操作 | Claude Code 主会话的 1,885 次：跑命令 1,147、操作浏览器 273、读文件 214、操作达芬奇 58、写和改文件 56、查资料 52、派活和协调 44、其他 41。 子 agent 的 2,851 次：跑命令 1,705、读文件 793、查资料 156、写和改文件 124、其他 54、派活和协调 19。其中 37 个、2,600 次是包装那一晚的。 用到的模型：Claude Code 主力是 Opus 5.5（立项、首录粗剪、重录粗剪三段对话用的是 Fable 5.1）；稿子初稿和几轮修改是 Gemini 4 Argon 写的；配乐是 Lyria 生成的；Waymo 那 1.7 秒是用这条片的干声克隆的（Fish）；包装那晚 AI 还让千问看片、听声，当线索用。 统计范围：10-18 到 11-02 做这条片的 13 段对话（工具调用里提到本期文件 ≥3 次，再人工剔掉别的片、定位课等无关对话），加上它们派出去的全部子 agent。不含：10-16、10-17 第一次开题（被一条约稿顶掉）、10-28 发布后把逐字稿写回笔记的对话、11-03 一次被叫停的重渲，以及做这个幕后页的对话。 ## 时间线 - **10-18 立项**：上期评论区又有人问「1 秒 1 帧的话，智能驾驶怎么办」，我说继续做。两个子 agent 同时查事实卡（帧率与训练、塑料袋与长尾），Gemini 4 Argon 写出 v1。查了 YouTube：没有专讲这个的。 - **10-20 – 10-22 改稿**：我说「用最新的技术去讲」，三个子 agent 查 2026 年的新进展，主会话逐条抓原文核对，出第三张事实卡；Gemini 写 v4，核对挑出 7 处事实偏差，改出 v5；砍字 3,850 → 3,100；「念出来检查」把 45 句每句给 3 种说法让我挑。到 v9。 - **10-22 – 10-23 首录**：10-22 夜里录了前三分之一（7 分 16 秒），摄像头没进录制软件，只有声音。AI 在达芬奇里粗剪 21 刀、染色；Gemini 照我录音时的口气续写后三分之二，出 v10。我问「0.9 米很短吗」，换成「电影 1 秒 24 帧，车看 36 张」。 - **10-24 – 10-26 重录、粗剪、气口**：全篇重录 19 分 17 秒（又只有声音）。AI 粗剪去 54 处静音、语义预切 151 段；我删掉不要的话；AI 逐个判断 138 处停顿该留几帧，定剪 9 分 49.6 秒、155 段。导出干声时发现原录音有约 0.8 秒超过 0 dB、会被削平，AI 从原始录音重拼，只替换了 39,704 个被削平的采样。 - **10-27 凌晨 一晚包装**：00:56 给 Claude Code 定下目标、开 max 档，之后我一条消息没发。它搭好 3D 世界，派 12 个 agent 并行各做一段，另开 agent 做音效素材包、配乐、备选开头、音效点位、精修，06:01 交付成片和交付说明。 - **10-27 下午 看片返修**：我提四处：车不像特斯拉、地面光效太乱、字幕字体不对、Waymo 读错了。AI 全改完重渲。开头运镜我嫌快，试了两种改法都不如原版，退回。 - **10-27 晚 – 11-02 发布**：定标题「智驾是如何看视频的」（和上期《模型是如何看视频的》成对）；封面我挑底图、自己调位置。AI 填发布表、查历史数据定在傍晚发，10-28 17:30 首发；11-02 其余五个平台 AI 传片填表，发布键我点。 ## 稿子：10 版 | 版 | 谁动的手 | 做了什么 | |---|---|---| | v1 | Gemini 4 Argon | 按两张事实卡写初稿，8 段约 7.5 分钟 | | v2 | Claude Code | 按我的意见加回「树枝 vs 转向灯」的例子，27 句改说法 | | v3 | 外部编辑 | 删到约 2,000 字，开头直接讲塑料袋追尾 | | v4 | Gemini 4 Argon | 我要「用最新的技术去讲」，按第三张事实卡重写 | | v5 | Gemini 4 Argon | 修 7 处事实偏差 | | v6 | Claude Code | 只删原句，约 3,850 → 3,100 字 | | v7 | Claude Code | 拔掉「第一站…第六站」这种报站腔 | | v8 | Claude Code | 合入我在 v6 里勾的 11 句 | | v9 | Gemini 4 Argon | 只修 4 处小问题，开头逐字保留 | | v10 | Gemini 4 Argon | 前三分之一照我实际录的整理，后三分之二照我的口气续写 | 最后成片说的话和 v10 还有 28 处不同：录音时我又改了一些说法，成片字幕按我实际说的写。 ## 剪辑：19 分 17 秒 → 9 分 50 秒 | 步 | 谁 | 结果 | |---|---|---| | 全篇重录 | 我 | 19:17，只有声音 | | 粗剪 | AI | 去 54 处静音 → 15:19；有一刀会切掉重录的第二遍，AI 发现后改成按保留区间手拼 | | 语义预切 | AI | 151 段：建议删的染粉（217 秒），要我复查的染橙（19.5 秒） | | 删不要的话 | 我 | 在预切上删 | | 补气口 | AI | 逐个判断 138 处停顿：卡壳留 3 帧、句中换气 5、句末 8、换段落 15、抛问题 18 | | 定剪 | 我听完 | 9:49.6，17,688 帧，155 段 | | 导出干声 | AI | 原录音约 0.8 秒超 0 dB，达芬奇导出会削平；按剪点从原始录音重拼，只替换 39,704 个被削平的采样 | 第一版补气口有很多 1–2 帧的碎片，我发现后 AI 重剪了一版。我还说：别发判定表给我看，直接剪完，要我听的地方染色。 ## 一晚包装：00:56 定目标，06:01 交片 10-27 凌晨 00:56，我在一段新对话里给 Claude Code 定了目标、开 max 档和工作流模式。到下午 13:58 我回来看片之前，这段对话里我没有再发一条消息。 | 时间 | Claude Code 在做什么 | |---|---| | 00:56 – 01:32 | 读稿和时间表（77 句、589.6 秒），搭工程（4:3、30 帧、17,688 帧），建所有段共用的 3D 世界：雨后夜路、红车、塑料袋、远处城市 | | 01:33 | 把工程复制 12 份，派 12 个 agent 各做一段，同时跑 | | 01:35 – 03:00 | 另一个 agent 做音效素材包：最后 132 个声音、37 类 | | 01:43 – 02:42 | 另一个 agent 做开头的备选版「定格先行」，成片用的是它 | | 01:44 | 全局调色：画面里偏紫的像素 5.3% → 1.7%，路面黄绿色 3.4% → 0.6% | | 02:04 – 02:32 | 12 段陆续交付（最快约 30 分钟，最慢约 58 分钟） | | 02:15 – 03:39 | 做素材包的 agent 迟迟没开始配乐，拆出一个 agent 专门配乐：Lyria 生成，D 小调 120 BPM，按画面重拍对位 | | 02:30 – 02:46 | 13 个 agent 按画面写音效点位，几分钟写完 | | 02:38 – 03:09 | 挑出最弱的 7 段，派 7 个 agent 定点精修 | | 03:29 | 12 段全部渲完，帧数加起来正好 17,688 | | 03:33 | 混音：568 个音效，配乐比人声低约 12 dB，-15.0 LUFS | | 03:42 – 05:53 | 自查返修（见下） | | 06:01 | 交付：带字幕成片、无字幕版、字幕、分轨、交付说明 | 这一段对话：37 个 agent，3,216 次操作，打开自己渲的图片检查 865 次。12 段并行那一步用了 58 分钟、1,413 次操作。 ## 12 段画面 | # | 段 | 成片时间 | 画面 | 搭建这段的 agent | |---|---|---|---|---| | 1 | 开场·塑料袋 | 0:00–0:18 | 第 0 帧就是追尾前一瞬的定格 → 倒带 → 袋子飘来 → 蓝色扫描认出袋子 → 一脚刹停 | 39 分钟 · 120 次操作 · 看图 44 次（成片用的是备选版） | | 2 | 1 秒只看 1 帧 | 0:18–0:49 | 1 秒 30 帧只看 1 帧 → 频闪黑暗 → 摄像头镜片里的袋子 | 52 分钟 · 137 次 · 49 次 | | 3 | 眼睛够快 | 0:49–1:51 | 33 米发光卷尺 → 一整块篮球场砸进那 33 米 → 电影 24 张 vs 车 36 张 → 7 个摄像头 | 42 分钟 · 119 次 · 48 次 · 精修过 | | 4 | 20 亿压成 2 | 1:51–2:37 | 画面切碎变 token → 30 秒的帧隧道 → 20 亿 token 的星系坍缩成两个光点 | 39 分钟 · 108 次 · 39 次 | | 5 | 怎么学会开车 | 2:37–3:17 | 30 万行规则高塔 → 一刀斩断 → 神经网络 → 打方向盘就是打标签 | 36 分钟 · 124 次 · 45 次 · 精修过 | | 6 | 因果弄反 | 3:17–4:24 | A/B 两车实验 →「踩刹车 → 灯亮」的箭头翻过来 | 40 分钟 · 129 次 · 37 次 | | 7 | 没见过就不会 | 4:24–5:24 | 停车牌的四种样子 → 录像堆成山 → 只涨 2 倍 | 54 分钟 · 131 次 · 50 次 · 精修过 | | 8 | 挑难题重练 | 5:24–6:05 | 训练光门 → 加分扣分 → 三轮躲狐狸 | 44 分钟 · 129 次 · 50 次 · 精修过 | | 9 | 世界模型 | 6:05–7:04 | AI 生成整个世界：龙卷风、光点组成的大象、和车一样大的风滚草 | 33 分钟 · 72 次 · 26 次 · 精修过 | | 10 | 先想再开 | 7:04–7:40 | 车身上一层录像拼成的壳 → 碎成玻璃车 → 先说理由再让行 | 58 分钟 · 126 次 · 40 次 · 精修过 | | 11 | 回到塑料袋 | 7:40–8:57 | 回到开头的定格 → 四样怪东西 → 三种走法 → 60.8% | 47 分钟 · 139 次 · 54 次 | | 12 | 结尾 | 8:57–9:50 | 最核心的是智能 → 回顾飞越 →「穷举所有可能」的星河 | 30 分钟 · 79 次 · 23 次 · 精修过 | 用时按 agent 记录的首末时间算，精确到分钟。全部是 three.js 代码 3D，在 Remotion 里逐帧渲，2880×2160 原生出图，没有用视频生成模型。 ## AI 自己查出来、自己修的 | 发现 | 怎么处理的 | |---|---| | 第一次试渲：镜头站在车前时一片白雾 | 查出是镜头站进了车灯光锥，光锥改成默认关、亮度限幅 | | 路面偏黄绿、画面偏紫 | 全局调色，偏紫像素 5.3% → 1.7%、黄绿 3.4% → 0.6% | | 有几下音效比人声还响，最多高 17 dB | 音效轨加「护字」，压在字上的那一下自动让开 | | 替换占位音效的 agent 半小时没动静 | 停掉它，主会话在 130 个占位点里按规则换掉能明确对上的；误换的 4 处从版本记录里原样恢复 | | 交付前看片：第 5 段整整 39 秒定格 | 单独补过一帧的那块和其他段格式对不上，拼起来卡住了；重拼 | | 交付的成片没有音效 | 一个后台 agent 做了次「不带音效」试混，把正式混音覆盖了；重混，568 个音效全回来 | | 镜头升高时路面一闪一闪 | 6 段一百多帧，原因是画面引擎的深度精度不够；修好后这 6 段重渲，逐帧和旧版对比，只有原来闪的帧变了 | | 第 5589 帧镜头跳了一下 | 定位到这一帧，修好后复查 | | 千问看片指出二十多处画面问题 | 逐帧核对：一半左右是千问看错了，剩下的是故意的效果，没改；千问说刹车声刺耳，量了比人声低 5–6 dB，留给我自己听 | | 8 个等渲染的脚本永远不结束 | 它们的判断条件把自己也算进去了；全部停掉 | ## 我看片后提的 - 「智驾的视频，我觉得画面是很可以，但是车不像一个特斯拉」→ 换成特斯拉 Model 3 车模（Ameer Studio，CC BY 4.0，简介里署名），车内镜头和 7 个摄像头按左舵重新对位。 - 「同时地面的光效有点太多了」→ 湿路倒影不再映远处城市的窗户和星星。 - 「然后字幕是我之前的字体吗？」→ 换回之前在达芬奇里用的那套字幕样式（普惠体粗体 + 半透明黑底框）。 - 「所以就是 Waymo 这个没读对」→ 用克隆音补这 1.7 秒。第一版用了以前的声音，我说：「你只能用我当前视频的声音去克隆，不能用之前的」。换成这条片的干声，出了几版，我挑 B。 - 「我只是觉得镜头的移动有点快，我有点晕」→ 拆成 5 个镜头、把最快的速度砍一半，都试过；我说：「这不行，还不如之前的……你回到那一版吧。」最后：「就用已经导出的吧，发布一下。」 ## 我说过的话（改变了片子的那几句） - 10-18「智能驾驶的那个稿子，评论区又有人问，1秒1帧的话，智能驾驶怎么办？我觉得可以继续弄。」→ 立项。 - 10-21「用最新的技术去讲，最新的。」→ 查 2026 年新进展，重写 v4。 - 10-21「核对原文啊」→ 主会话逐条打开原文核。 - 10-23「我觉得这个 0.9 米不就 90 厘米吗？90 厘米在实际开车的过程中，它不是也很慢吗？」→ 我自己想到电影 1 秒 24 帧，换成「车看 36 张，比电影还多 12 张」。 - 10-23「在看看剩下的，所有的概念必须简单易懂。」→ 后三分之二改了 8 处说法。 - 10-26「我还没有剪气口呢，我只是去掉了不要的话。然后我想挖深一点，标准的气口停顿是多少帧？」→ 按停顿类型定帧数。 - 10-27「不对啊，这个克隆音完全不像，你只能用我当前视频的声音去克隆，不能用之前的」→ 只用本片干声克隆。 - 10-27「这不行，还不如之前的最开始取消镜头晃动之前的那一版，你回到那一版吧。」→ 开头退回原版。 ## 收获 1. **给目标，让它跑一夜。** 定好目标、开 max 档，它自己拆成 12 段、派 37 个 agent，我一条消息没发，早上就有成片。 2. **它会自己找错，但看片还得我。** 定格、空音效、一百多帧闪烁，都是它交付前自己查出来的；车不像特斯拉、镜头看着晕，是我看出来的。 3. **改不好就退回。** 开头运镜试了两种改法都不如原版，直接用已经导出的那版。 ## 问答 **画面是视频生成模型做的吗？** 不是。全部是 three.js 代码写的 3D，在 Remotion 里逐帧渲出来。车模是 Ameer Studio 的「Tesla 2018 Model 3」（CC BY 4.0），路人车是 Khronos 的「Car Concept」（CC-BY 4.0），环境光是 Poly Haven 的 CC0 HDRI。 **这条片用的什么模型？** Claude Code 主力是 Opus 5.5，包装那晚开的 max 档。稿子是 Gemini 4 Argon 写的，配乐是 Lyria，Waymo 那 1.7 秒是 Fish 克隆音。 **为什么这期没露脸？** 两次录口播，摄像头都没进录制软件，只录到了声音。 **花了多少钱？** 没算出来。这期没有用 claude -p，工作流的记录里只有 token 数、没有金额：包装那晚 6 次工作流（32 个 agent）合计约 811 万 token。 --- [← 全部幕后](https://chenyuxiaojin.github.io/vibevideo/) · **陈与小金**（chenyuxiaojin）· 非程序员，用 Claude Code 做一切 · [个人网站](https://xiaochens.com/) · [博客](https://blog.xiaochens.com/) · [GitHub](https://github.com/chenyuxiaojin) · [YouTube](https://www.youtube.com/@cyxj_ai) · [B 站](https://space.bilibili.com/505358756) · [抖音](https://v.douyin.com/A1qVQrOgPjY/) · [X](https://x.com/cyxjya)