結論から:Claude Code は動画を「見る」ことはできませんが、手元のマシンで Whisper を動かして各素材の発話をタイムスタンプ付きのテキストにし、そのテキストからベストテイクを選び、前後の無音を切り、ffmpeg で字幕ごとつなげることはできます。これが粗編集で、vlog 編集でいちばん時間のかかる工程です。
- 発端は levelsio です。levelsio の 11 月 1 日の投稿によると、DJI カメラの素材をフォルダにコピーし、そこで Claude Code(Opus 5.5)を開いて 10 分の vlog にするよう頼んだとのこと。本人は「少し調整したが多くはない」と書いており、文字起こしには mlx-whisper が使われました。11 月 2 日午後(UTC+8)時点で、この投稿は約 13.3 万回表示、ブックマークは 2,100 件を超えていました。
- 6 本のテスト素材で再現したところ、Claude Code も Codex も最後まで完走しました。どちらも言い直しの素材と出来の悪い重複テイクを外して 4 本を残し、53.8 秒の素材を約 18 秒に詰め、SRT 字幕と再利用できる
edit_vlog.pyスクリプトを書き出しました。 - 注意点は 2 つ。Whisper が地名を聞き間違えました(雲南省の湖「洱海」が「海」になり、どちらのクライアントも気づきませんでした)。また Claude Code が確認したのは音声と長さだけで、映像は見ていません。本人もそう明言し、公開前に一度見るよう勧めていました。
API Key を作成して、Claude Code・Codex・Cursor でこの編集フローを試す →
levelsio がやったこと
levelsio の投稿によると、手順は 3 つだけです。カメラの素材をフォルダにコピーし、そのフォルダで Claude Code を開き、「10 分の vlog に編集して」と頼む。Claude Code はまず mlx-whisper で彼の話した内容をすべて文字起こしし、それをもとに何を残しどう並べるかを決めました。
返信欄では Sam Parr がタイムスタンプや写真のオーバーレイは誰がやったのかと質問しており、みんなが気にしているのは「AI はどこまでやれるのか」だとわかります。編集はもう解決したのかという質問への levelsio の返信によると、彼は今回のような簡単な vlog 編集はもうできる、もっと複雑な編集はあと 1 年くらいだと考えています。
これは私たちの実測とも一致します。話の内容で編集する(ベストテイク選び、言い直しや間のカット、並べ替え、字幕)は今の AI でもうまくできます。映像で編集する(カット選び、色調整、音楽に合わせた編集)はまだ人の仕事です。
この仕組みの考え方
Claude Code と Codex はターミナルで動くコーディングエージェントです。映像のフレームは見えませんが、コードを書いてコマンドを実行できます。そこで編集を、彼らが得意な工程に分けます。
| 工程 | 使うもの | 成果物 |
|---|---|---|
| 1. 文字起こし | faster-whisper または mlx-whisper(単語タイムスタンプ付き) | transcripts/<素材名>.json、各単語の開始と終了の秒数 |
| 2. 選別 | モデルが文字起こしを読み、重複・フィラー・言い直しを見分ける | 残す素材とその理由 |
| 3. トリム | 単語タイムスタンプ、必要なら ffmpeg の silencedetect で確認 | 素材ごとの開始と終了の秒数 |
| 4. 編集リスト | JSON ファイル | cuts.json、手で直せる |
| 5. 書き出し | ffmpeg の trim と concat | final.mp4 と subtitles.srt |
大事なのは工程 4 です。編集の判断がただの JSON ファイルにあるので、気に入らないカットは数字を直して書き出し直すだけで済み、AI に最初からやり直させる必要がありません。
ステップ 1:API Key を作成し、Claude Code か Codex をつなぐ
- aicodewith.ai に登録してログインし、API Key のページで Key を作成し、作成時に表示される文字列をすべてコピーします。
- Claude Code:接続先と Key を設定し、素材フォルダで起動します。
export ANTHROPIC_BASE_URL="https://api.aicodewith.ai"
export ANTHROPIC_AUTH_TOKEN="YOUR_API_KEY"
cd ~/Videos/2026-11-02 # the folder with your DJI_*.MP4 clips
claude --model claude-opus-5-5
設定を永続化したい、Windows で設定したい、ログインが競合するといった場合は「Claude Code をサードパーティ API につなぐ方法」を、モデル選びは「Claude Code はどのモデルを使うべきか」を参照してください。
- Codex:
~/.codex/config.tomlに次の設定を書き、Key はexperimental_bearer_tokenに入れます。
# ~/.codex/config.toml
model = "gpt-6.1-sol"
model_reasoning_effort = "medium"
model_provider = "aicodewith"
[model_providers.aicodewith]
name = "aicodewith"
base_url = "https://api.aicodewith.ai/chatgpt/v1"
wire_api = "responses"
experimental_bearer_token = "YOUR_API_KEY"
Codex の詳しい導入手順は「Codex インストールガイド」にあります。
ステップ 2:文字起こしと編集のツールを入れる
スクリプトはエージェントが書きますが、Whisper と ffmpeg は先に入れておきましょう。途中でインストールが始まり、何度も確認を求められるのを防げます。
# Windows / Linux / Intel Mac
pip install faster-whisper
# Apple Silicon Mac (what levelsio used)
pip install mlx-whisper
# ffmpeg: brew install ffmpeg / sudo apt install ffmpeg / winget install ffmpeg
ffmpeg -version
mlx-whisper は Apple Silicon の Mac 専用です(mlx-examples の whisper)。Windows、Linux、Intel Mac では faster-whisper を使います。今回の実測もこちらで、small モデルは初回実行時に自動でダウンロードされます。
ステップ 3:エージェントにプロンプトを渡す
プロジェクトフォルダの clips/ に元素材を入れ、次のプロンプトを Claude Code か Codex に渡します。実測で使った原文そのままです。素材が中国語なので language zh にしています。日本語の素材なら ja に変えてください。
The clips/ folder has raw vlog clips straight off my camera (DJI_*.MP4, Chinese speech). Edit them into one short vlog:
1. Transcribe every clip with faster-whisper (model "small", language zh, word timestamps) and save the transcripts to transcripts/<clip>.json.
2. Pick the best takes: when I repeat a sentence keep only the better, more complete take, and drop clips that are only filler or me restarting. Trim the leading and trailing silence of each kept clip.
3. Write the edit decision list to cuts.json as [{"clip": ..., "start": seconds, "end": seconds, "reason": ...}] in playback order.
4. Render final.mp4 (1280x720, 30fps, H.264 + AAC) from cuts.json with ffmpeg, and write subtitles.srt with the kept speech, timed to final.mp4.
5. Verify with ffprobe that final.mp4 plays end to end, then reply with a short summary: which clips you kept or dropped and why, and the final duration.
Write the pipeline as a reusable script edit_vlog.py so I can rerun it on tomorrow's clips.
ポイントは 3 つです。単語タイムスタンプを求めると単語単位でトリムできます。cuts.json を出させると編集判断を人が確認・修正できます。再利用できるスクリプトにさせれば、翌日の素材は会話をやり直さず再実行するだけです。
バックグラウンドで走らせ、手順ごとの確認をしない場合は非対話モードを使います。Claude Code では --allowedTools で Python と ffmpeg 関連のコマンドだけを許可するほうが、権限確認をすべて飛ばすより安全です。
# Claude Code, non-interactive
claude -p "$(cat prompt.txt)" --model claude-opus-5-5 \
--permission-mode acceptEdits \
--allowedTools "Bash(python3:*)" "Bash(ffmpeg:*)" "Bash(ffprobe:*)" "Bash(ls:*)" "Bash(mkdir:*)"
# Codex, non-interactive
codex exec --skip-git-repo-check --sandbox danger-full-access "$(cat prompt.txt)"
Codex では --sandbox danger-full-access を使いました。faster-whisper は初回にモデルをダウンロードするため、デフォルトのサンドボックスだと通信が止められるからです。強い権限なので、素材専用のフォルダでだけ使ってください。Codex の自動実行の権限設定は「Codex 自動化の権限設定」を参照してください。
実測:aicodewith の Key で Claude Code と Codex を動かす
720p のテスト素材を 6 本用意しました。各 8〜11 秒で、前後にそれぞれ 2 秒以上の無音があります。中身は大理で撮った vlog のナレーションで、よくある問題を 2 種類わざと入れました。
DJI_0002:「えー、あの、うーん、ちょっと待って、言い直します」だけの言い直し素材。DJI_0003とDJI_0004:同じセリフを 2 テイク撮ったもの。後者のほうが完全(「ネットも速い」が付く)ですが、途中に「うーん」が入っています。
2 つのクライアントに同じプロンプトを、同じ Linux マシンで渡しました。
| Claude Code 2.1.316 + Opus 5.5 | Codex 0.164.0 + GPT-6.1 Sol | |
|---|---|---|
| 所要時間 | 約 287 秒、25 ターン | 約 93 秒 |
| 残した素材 | 0001、0004、0005、0006 | 0001、0004、0005、0006 |
| 外した素材 | 0002(言い直し)、0003(不完全な重複テイク) | 同じ |
| 完成動画 | 18.13 秒、1280×720、30fps、H.264 + AAC | 18.2 秒、同じ仕様 |
| 字幕 | 4 件、素材ごとに 1 件 | 6 件、間で分割 |
| 自己チェック | ffprobe、全編デコード、silencedetect でトリム位置を確認 | ffprobe と全編デコード |
選んだ素材はまったく同じでした。Claude Code は時間がかかった分、自己チェックに使っています。ffmpeg の無音検出で各トリム位置を確かめ、文字起こしライブラリのエラーも回避しました(後述)。Claude Code が書いた cuts.json はこうです。
[
{"clip": "DJI_0001.MP4", "start": 1.99, "end": 5.98, "reason": "大家好,今天我在大理,早上先去海边走一走。"},
{"clip": "DJI_0004.MP4", "start": 1.83, "end": 8.66, "reason": "best of 2 takes (DJI_0003.MP4, DJI_0004.MP4)"},
{"clip": "DJI_0005.MP4", "start": 1.87, "end": 5.96, "reason": "下午我们开车去苍山,路上风景特别好。"},
{"clip": "DJI_0006.MP4", "start": 2.17, "end": 5.34, "reason": "好了,今天的视频就到这里,我们明天见!"}
]
生成された edit_vlog.py は工程ごとに再実行でき、cuts.json を直したあとは書き出しだけやり直せます。
python3 edit_vlog.py # full pipeline, reuses cached transcripts
python3 edit_vlog.py --stage select # only rebuild cuts.json and print keep/drop reasons
python3 edit_vlog.py --stage render # re-render after you hand-edit cuts.json
実測でわかった 3 つの問題
- 地名を聞き間違えた。 どちらの文字起こしでも「早上先去洱海边走一走」(朝、洱海のほとりを散歩する)が「早上先去海边走一走」(海辺を散歩する)になり、字幕も間違ったままで、どちらも気づきませんでした。Whisper は固有名詞でよくこうなるので、公開前に必ず字幕を読んでください。
- 文中の「うーん」が残った。 0004 の途中の「うーん」は Whisper が文字起こしから省いてしまったため、AI は切るべきだと知らず、完成動画でも聞こえます。文中のフィラーを切りたいなら、単語タイムスタンプで切り出すようプロンプトで指示し、映像のジャンプカットは受け入れる必要があります。
- エージェントは聞くが見ない。 Claude Code はまとめで、確認したのは音声・タイミング・ファイルだけで映像は見ていないとはっきり書いていました。ピンぼけ、レンズキャップの付けっぱなし、映ってはいけないものが映っていても気づきません。
よくある問題とエラー
faster-whisper が音声読み込みで PyAV のエラーを出す
Claude Code が実測中に遭遇しました。インストール済みの PyAV が faster-whisper 1.2.1 の音声読み込みと合わなかったのです。Claude Code は PyAV を避けて ffmpeg で 16kHz モノラルにデコードしてからモデルに渡し、その後は問題なく動きました。
# decode with ffmpeg instead of faster-whisper's built-in PyAV loader
import subprocess, numpy as np
def load_audio(path, sr=16000):
raw = subprocess.run(["ffmpeg", "-v", "error", "-i", str(path), "-vn", "-ac", "1",
"-ar", str(sr), "-f", "f32le", "-"],
check=True, capture_output=True).stdout
return np.frombuffer(raw, dtype=np.float32).copy()
segs, info = model.transcribe(load_audio(clip), language="zh", word_timestamps=True)
地名・人名・ブランド名を誤認識する
initial_prompt にその単語を含む完全な文を渡し、hotwords も指定します。実測では initial_prompt="洱海 苍山 大理 手冲" のような単語の羅列は効かず、hotwords="洱海" だけでもだめでした。両方を使い、プロンプトを文にしたときに「洱海」が正しく出ました。
segs, info = model.transcribe(audio, language="zh",
initial_prompt="今天去洱海边散步。", # a sentence that contains the word
hotwords="洱海")
字幕のタイミングが映像とずれる
元素材のタイムスタンプをそのまま使わず、cuts.json の各区間の開始位置から字幕の時間を計算し直すようエージェントに頼みます。今回はどちらのクライアントの字幕も完成動画の 0 秒から始まっていました。1 件目はこうです。
1
00:00:00,150 --> 00:00:03,690
大家好,今天我在大理,早上先去海边走一走。
素材が長くて文字起こしが遅い
まず small モデルで流れが通るか確認し、それから大きいモデルに替えます。文字起こしは transcripts/ に保存されるので、編集リストを直しても文字起こしはやり直しになりません。Opus 5.5 の effort も所要時間に影響します。テイク選びは範囲のはっきりした作業なので、デフォルトで十分です。「Claude Opus 5.5 の effort の選び方」を参照してください。
毎日自動で編集したい
このプロンプトと edit_vlog.py を Skill にまとめれば、「今日の vlog を編集して」で呼び出せます。書き方は「SKILL.md の書き方」を参照してください。
まとめ
Claude Code や Codex での動画編集は、今は「話の内容による粗編集」に向いています。文字起こし、ベストテイク選び、言い直しと無音のカット、書き出し、字幕付けまでなら、数分で素材の山から見られる初稿ができます。字幕の固有名詞、映像の質、テンポや音楽は、引き続き自分で確認しましょう。



