先说结论:Claude Code 自己不会「看」视频,但它能在你的电脑上调用 Whisper 把每段素材的话转成带时间戳的文字,再按文字挑出说得最好的一条、切掉开头结尾的空白,最后用 ffmpeg 拼成成片、生成字幕。这一步叫粗剪,正好是剪 vlog 最费时间的部分。
- 这波讨论来自 levelsio。据 levelsio 11 月 1 日的帖子,他把 DJI 相机里的素材拷到一个文件夹,在里面打开 Claude Code(Opus 5.5),让它剪成一条 10 分钟的 vlog,他自己「只做了少量调整」,语音转写用的是 mlx-whisper。这条帖子截至 11 月 2 日下午有约 13.3 万次浏览、2100 多次收藏。
- 我们用 6 段测试素材复刻了一遍,Claude Code 和 Codex 都跑通了:两边都丢掉了口误重来的一段和重复的一条,保留 4 段,53.8 秒的素材剪成约 18 秒的成片,并生成了 SRT 字幕和可重复使用的
edit_vlog.py脚本。 - 要注意两点:Whisper 会认错地名(我们的「洱海」被转成了「海」,两个客户端都没发现);Claude Code 这次只检查了声音和时长,没看画面,它自己也提醒发布前要看一遍。
创建 API Key,在 Claude Code、Codex、Cursor 里试这套剪辑流程 →
levelsio 是怎么做的
据 levelsio 的原帖,流程只有三步:把相机素材拷到一个文件夹,在文件夹里打开 Claude Code,告诉它「剪成一条 10 分钟的 vlog」。Claude Code 先用 mlx-whisper 把他说的话全部转写出来,再据此决定留哪些、怎么排。
帖子下面,Sam Parr 追问时间戳、照片叠加这些是谁做的,说明不少人关心「AI 到底剪到了哪一步」。有人问剪辑是不是已经被解决了,据 levelsio 的回复,他认为这种简单的 vlog 剪辑现在已经可以,更复杂的剪辑大概还要一年。
这个判断和我们的实测一致:按说话内容来剪(挑最好的一条、去掉口误和停顿、排顺序、配字幕)现在 AI 已经能做好;按画面来剪(选镜头、调色、卡音乐节奏)仍然要人来。
这套流程的原理
Claude Code 和 Codex 都是在终端里干活的编程 Agent,它们读不了视频画面,但能写代码、跑命令。所以剪视频被拆成了它们擅长的几步:
| 步骤 | 用什么 | 产出 |
|---|---|---|
| 1. 转写 | faster-whisper 或 mlx-whisper,开词级时间戳 | transcripts/<素材名>.json,每个字从第几秒到第几秒 |
| 2. 挑片 | 模型读转写稿,判断重复、口误、重来 | 保留哪几段、为什么 |
| 3. 修剪 | 词级时间戳,必要时用 ffmpeg 的 silencedetect 核对 | 每段的起止秒数 |
| 4. 剪辑清单 | 一个 JSON 文件 | cuts.json,人可以直接改 |
| 5. 出片 | ffmpeg 裁切并拼接 | final.mp4 和 subtitles.srt |
关键是第 4 步:剪辑决定写成一个普通的 JSON 文件,你不满意哪一刀就直接改数字,再让脚本重新出片,不用每次都让 AI 从头剪。
第 1 步:创建 API Key 并接入 Claude Code 或 Codex
- 在 aicodewith.ai 注册并登录,进入「密钥管理」,创建一个 Key,复制生成时显示的完整字符串。
- Claude Code:设置地址和 Key,然后在素材文件夹里启动:
export ANTHROPIC_BASE_URL="https://api.aicodewith.ai"
export ANTHROPIC_AUTH_TOKEN="你的 API Key"
cd ~/Videos/2026-11-02 # the folder with your DJI_*.MP4 clips
claude --model claude-opus-5-5
想长期保存配置、在 Windows 上设置或者遇到登录冲突,看《Claude Code 如何接入第三方 API》。模型怎么选可以参考《Claude Code 用哪个模型》。
- Codex:在
~/.codex/config.toml里写入下面的配置,Key 直接写在experimental_bearer_token:
# ~/.codex/config.toml
model = "gpt-6.1-sol"
model_reasoning_effort = "medium"
model_provider = "aicodewith"
[model_providers.aicodewith]
name = "aicodewith"
base_url = "https://api.aicodewith.ai/chatgpt/v1"
wire_api = "responses"
experimental_bearer_token = "你的 API Key"
Codex 的完整安装步骤见《Codex 安装教程》。
第 2 步:装好转写和剪辑工具
Agent 会自己写脚本,但 Whisper 和 ffmpeg 最好先装好,省得它中途去装、还要你一次次点确认:
# Windows / Linux / Intel Mac
pip install faster-whisper
# Apple Silicon Mac (what levelsio used)
pip install mlx-whisper
# ffmpeg: brew install ffmpeg / sudo apt install ffmpeg / winget install ffmpeg
ffmpeg -version
mlx-whisper 只能在 Apple Silicon 的 Mac 上用(mlx-examples 里的 whisper)。Windows、Linux 和 Intel Mac 用 faster-whisper,我们的实测用的就是它,small 模型第一次运行会自动下载。
第 3 步:把提示词交给 Agent
在素材文件夹里,把原始素材放进 clips/,然后把下面这段提示词交给 Claude Code 或 Codex。这是我们实测时用的原文,中文素材所以写了 language zh,英文素材改成 en:
The clips/ folder has raw vlog clips straight off my camera (DJI_*.MP4, Chinese speech). Edit them into one short vlog:
1. Transcribe every clip with faster-whisper (model "small", language zh, word timestamps) and save the transcripts to transcripts/<clip>.json.
2. Pick the best takes: when I repeat a sentence keep only the better, more complete take, and drop clips that are only filler or me restarting. Trim the leading and trailing silence of each kept clip.
3. Write the edit decision list to cuts.json as [{"clip": ..., "start": seconds, "end": seconds, "reason": ...}] in playback order.
4. Render final.mp4 (1280x720, 30fps, H.264 + AAC) from cuts.json with ffmpeg, and write subtitles.srt with the kept speech, timed to final.mp4.
5. Verify with ffprobe that final.mp4 plays end to end, then reply with a short summary: which clips you kept or dropped and why, and the final duration.
Write the pipeline as a reusable script edit_vlog.py so I can rerun it on tomorrow's clips.
提示词里有三个要点:要求词级时间戳,修剪才能精确到字;要求输出 cuts.json,剪辑决定才能被人检查和修改;要求写成可复用的脚本,第二天的素材直接重跑,不用再花一次对话。
想在后台跑、不在终端里一步步确认,可以用非交互模式。Claude Code 用 --allowedTools 只放行 Python 和 ffmpeg 相关命令,比直接跳过所有权限确认稳妥:
# Claude Code, non-interactive
claude -p "$(cat prompt.txt)" --model claude-opus-5-5 \
--permission-mode acceptEdits \
--allowedTools "Bash(python3:*)" "Bash(ffmpeg:*)" "Bash(ffprobe:*)" "Bash(ls:*)" "Bash(mkdir:*)"
# Codex, non-interactive
codex exec --skip-git-repo-check --sandbox danger-full-access "$(cat prompt.txt)"
我们跑 Codex 时用了 --sandbox danger-full-access,因为 faster-whisper 第一次运行要联网下载模型,默认沙盒会拦住;这个权限很大,只在专门放素材的文件夹里用。Codex 自动执行的权限怎么设,见《Codex 自动化权限配置》。
实测:用本站 Key 跑 Claude Code 和 Codex
我们准备了 6 段 720p 测试素材,每段 8 到 11 秒,开头和结尾各有 2 秒以上的空白,内容是一段大理 vlog 的口播,其中故意放了两类常见问题:
DJI_0002:只有「呃,那个,嗯,等一下,我重新说一遍」,是一段口误重来;DJI_0003和DJI_0004:同一句话拍了两条,第二条更完整(多了「网速也很快」),但中间夹了一个「嗯」。
两个客户端用同一段提示词,在同一台 Linux 机器上跑:
| Claude Code 2.1.316 + Opus 5.5 | Codex 0.164.0 + GPT-6.1 Sol | |
|---|---|---|
| 耗时 | 约 287 秒,25 轮 | 约 93 秒 |
| 保留 | 0001、0004、0005、0006 | 0001、0004、0005、0006 |
| 丢掉 | 0002(口误重来)、0003(不完整的重复条) | 同左 |
| 成片 | 18.13 秒,1280×720,30fps,H.264 + AAC | 18.2 秒,参数相同 |
| 字幕 | 4 条,每段一条 | 6 条,按停顿再切开 |
| 自检 | ffprobe 加整片解码,并用 silencedetect 核对修剪点 | ffprobe 加整片解码 |
两边的挑片结论完全一样。Claude Code 慢一些,多花的时间主要用在自查:它用 ffmpeg 的静音检测核对了每个修剪点,还碰到并绕过了一个转写库的报错(见下文)。它写出的 cuts.json 是这样的:
[
{"clip": "DJI_0001.MP4", "start": 1.99, "end": 5.98, "reason": "大家好,今天我在大理,早上先去海边走一走。"},
{"clip": "DJI_0004.MP4", "start": 1.83, "end": 8.66, "reason": "best of 2 takes (DJI_0003.MP4, DJI_0004.MP4)"},
{"clip": "DJI_0005.MP4", "start": 1.87, "end": 5.96, "reason": "下午我们开车去苍山,路上风景特别好。"},
{"clip": "DJI_0006.MP4", "start": 2.17, "end": 5.34, "reason": "好了,今天的视频就到这里,我们明天见!"}
]
生成的 edit_vlog.py 支持分阶段重跑,改完 cuts.json 只需要重新出片:
python3 edit_vlog.py # full pipeline, reuses cached transcripts
python3 edit_vlog.py --stage select # only rebuild cuts.json and print keep/drop reasons
python3 edit_vlog.py --stage render # re-render after you hand-edit cuts.json
实测发现的三个问题
- 地名被认错了。两个客户端的转写里,「早上先去洱海边走一走」都变成了「早上先去海边走一走」,字幕里也是错的,而且两边都没发现。Whisper 碰到专有名词经常这样,字幕发布前一定要人看一遍。
- 句中的「嗯」没剪掉。0004 那一条中间的「嗯」被 Whisper 直接省略了,转写稿里没有它,所以 AI 也不知道要剪,成片里还听得到。想剪掉句中的语气词,要在提示词里要求按词级时间戳把它们切出去,并且接受画面会有跳切。
- Agent 只听不看。Claude Code 在总结里明确说它只检查了声音、时间和文件,没看画面。画面糊了、镜头盖没开、拍到不该拍的东西,它都不会知道。
常见问题和报错
faster-whisper 读音频时报 PyAV 相关错误
Claude Code 实测时就碰到了:机器上已装的 PyAV 和 faster-whisper 1.2.1 自带的音频读取不兼容。它的处理是绕开 PyAV,改用 ffmpeg 解码成 16kHz 单声道再交给模型,之后一切正常:
# decode with ffmpeg instead of faster-whisper's built-in PyAV loader
import subprocess, numpy as np
def load_audio(path, sr=16000):
raw = subprocess.run(["ffmpeg", "-v", "error", "-i", str(path), "-vn", "-ac", "1",
"-ar", str(sr), "-f", "f32le", "-"],
check=True, capture_output=True).stdout
return np.frombuffer(raw, dtype=np.float32).copy()
segs, info = model.transcribe(load_audio(clip), language="zh", word_timestamps=True)
地名、人名、品牌名转写错
在 initial_prompt 里给一句包含这个词的完整句子,再加上 hotwords。我们实测只传 initial_prompt="洱海 苍山 大理 手冲" 这样的词表没用,只传 hotwords="洱海" 也没用;两样一起用、而且提示是一句话时,「洱海」就转对了:
segs, info = model.transcribe(audio, language="zh",
initial_prompt="今天去洱海边散步。", # a sentence that contains the word
hotwords="洱海")
字幕时间和画面对不上
让 Agent 按 cuts.json 里每段的起点重新计算字幕时间,而不是直接沿用原素材的时间戳。我们这次两个客户端生成的字幕都从成片的 0 秒开始,第一条是这样的:
1
00:00:00,150 --> 00:00:03,690
大家好,今天我在大理,早上先去海边走一走。
素材很长、转写太慢
先让 Agent 用 small 模型转写,确认流程跑通再换大模型;转写结果存到 transcripts/ 里,之后改剪辑清单不用重新转写。Opus 5.5 的 effort 档位也会影响耗时,挑片这种范围明确的活用默认档就够,见《Claude Opus 5.5 effort 怎么选》。
想每天自动剪
把这套提示词和 edit_vlog.py 写成一个 Skill,每次说「剪今天的 vlog」就能触发,写法见《怎么写 SKILL.md》。
小结
用 Claude Code 或 Codex 剪视频,现在适合做「按说话内容粗剪」:转写、挑最好的一条、去掉口误和空白、出片、配字幕,几分钟就能从一堆素材得到一条能看的初剪。字幕里的专有名词、画面质量、节奏和配乐,仍然要你自己过一遍。



