Claude Code で動画編集する方法:levelsio 流 vlog 自動粗編集を Whisper と ffmpeg で実測

levelsio はカメラの素材をフォルダに入れ、Claude Code(Opus 5.5)に 10 分の vlog を編集させました。本記事ではその流れを再現します。Whisper で文字起こしし、ベストテイクを選び、編集リスト cuts.json を書き、ffmpeg で書き出して字幕を付けるまで。実際に使ったプロンプト、Claude Code と Codex での実行方法、aicodewith の Key での実測時間、地名の誤認識や PyAV エラーの対処法をまとめました。

10 分钟阅读
Claude Code で動画編集する方法:levelsio 流 vlog 自動粗編集を Whisper と ffmpeg で実測

結論から:Claude Code は動画を「見る」ことはできませんが、手元のマシンで Whisper を動かして各素材の発話をタイムスタンプ付きのテキストにし、そのテキストからベストテイクを選び、前後の無音を切り、ffmpeg で字幕ごとつなげることはできます。これが粗編集で、vlog 編集でいちばん時間のかかる工程です。

  • 発端は levelsio です。levelsio の 11 月 1 日の投稿によると、DJI カメラの素材をフォルダにコピーし、そこで Claude Code(Opus 5.5)を開いて 10 分の vlog にするよう頼んだとのこと。本人は「少し調整したが多くはない」と書いており、文字起こしには mlx-whisper が使われました。11 月 2 日午後(UTC+8)時点で、この投稿は約 13.3 万回表示、ブックマークは 2,100 件を超えていました。
  • 6 本のテスト素材で再現したところ、Claude Code も Codex も最後まで完走しました。どちらも言い直しの素材と出来の悪い重複テイクを外して 4 本を残し、53.8 秒の素材を約 18 秒に詰め、SRT 字幕と再利用できる edit_vlog.py スクリプトを書き出しました。
  • 注意点は 2 つ。Whisper が地名を聞き間違えました(雲南省の湖「洱海」が「海」になり、どちらのクライアントも気づきませんでした)。また Claude Code が確認したのは音声と長さだけで、映像は見ていません。本人もそう明言し、公開前に一度見るよう勧めていました。

API Key を作成して、Claude Code・Codex・Cursor でこの編集フローを試す →

levelsio がやったこと

levelsio の投稿によると、手順は 3 つだけです。カメラの素材をフォルダにコピーし、そのフォルダで Claude Code を開き、「10 分の vlog に編集して」と頼む。Claude Code はまず mlx-whisper で彼の話した内容をすべて文字起こしし、それをもとに何を残しどう並べるかを決めました。

返信欄では Sam Parr がタイムスタンプや写真のオーバーレイは誰がやったのかと質問しており、みんなが気にしているのは「AI はどこまでやれるのか」だとわかります。編集はもう解決したのかという質問への levelsio の返信によると、彼は今回のような簡単な vlog 編集はもうできる、もっと複雑な編集はあと 1 年くらいだと考えています。

これは私たちの実測とも一致します。話の内容で編集する(ベストテイク選び、言い直しや間のカット、並べ替え、字幕)は今の AI でもうまくできます。映像で編集する(カット選び、色調整、音楽に合わせた編集)はまだ人の仕事です。

この仕組みの考え方

Claude Code と Codex はターミナルで動くコーディングエージェントです。映像のフレームは見えませんが、コードを書いてコマンドを実行できます。そこで編集を、彼らが得意な工程に分けます。

工程使うもの成果物
1. 文字起こしfaster-whisper または mlx-whisper(単語タイムスタンプ付き)transcripts/<素材名>.json、各単語の開始と終了の秒数
2. 選別モデルが文字起こしを読み、重複・フィラー・言い直しを見分ける残す素材とその理由
3. トリム単語タイムスタンプ、必要なら ffmpeg の silencedetect で確認素材ごとの開始と終了の秒数
4. 編集リストJSON ファイルcuts.json、手で直せる
5. 書き出しffmpeg の trim と concatfinal.mp4 と subtitles.srt

大事なのは工程 4 です。編集の判断がただの JSON ファイルにあるので、気に入らないカットは数字を直して書き出し直すだけで済み、AI に最初からやり直させる必要がありません。

ステップ 1:API Key を作成し、Claude Code か Codex をつなぐ

  1. aicodewith.ai に登録してログインし、API Key のページで Key を作成し、作成時に表示される文字列をすべてコピーします。
  2. Claude Code:接続先と Key を設定し、素材フォルダで起動します。
bash
export ANTHROPIC_BASE_URL="https://api.aicodewith.ai"
export ANTHROPIC_AUTH_TOKEN="YOUR_API_KEY"
cd ~/Videos/2026-11-02      # the folder with your DJI_*.MP4 clips
claude --model claude-opus-5-5

設定を永続化したい、Windows で設定したい、ログインが競合するといった場合は「Claude Code をサードパーティ API につなぐ方法」を、モデル選びは「Claude Code はどのモデルを使うべきか」を参照してください。

  1. Codex:~/.codex/config.toml に次の設定を書き、Key は experimental_bearer_token に入れます。
toml
# ~/.codex/config.toml
model = "gpt-6.1-sol"
model_reasoning_effort = "medium"
model_provider = "aicodewith"

[model_providers.aicodewith]
name = "aicodewith"
base_url = "https://api.aicodewith.ai/chatgpt/v1"
wire_api = "responses"
experimental_bearer_token = "YOUR_API_KEY"

Codex の詳しい導入手順は「Codex インストールガイド」にあります。

ステップ 2:文字起こしと編集のツールを入れる

スクリプトはエージェントが書きますが、Whisper と ffmpeg は先に入れておきましょう。途中でインストールが始まり、何度も確認を求められるのを防げます。

bash
# Windows / Linux / Intel Mac
pip install faster-whisper
# Apple Silicon Mac (what levelsio used)
pip install mlx-whisper
# ffmpeg: brew install ffmpeg / sudo apt install ffmpeg / winget install ffmpeg
ffmpeg -version

mlx-whisper は Apple Silicon の Mac 専用です(mlx-examples の whisper)。Windows、Linux、Intel Mac では faster-whisper を使います。今回の実測もこちらで、small モデルは初回実行時に自動でダウンロードされます。

ステップ 3:エージェントにプロンプトを渡す

プロジェクトフォルダの clips/ に元素材を入れ、次のプロンプトを Claude Code か Codex に渡します。実測で使った原文そのままです。素材が中国語なので language zh にしています。日本語の素材なら ja に変えてください。

text
The clips/ folder has raw vlog clips straight off my camera (DJI_*.MP4, Chinese speech). Edit them into one short vlog:
1. Transcribe every clip with faster-whisper (model "small", language zh, word timestamps) and save the transcripts to transcripts/<clip>.json.
2. Pick the best takes: when I repeat a sentence keep only the better, more complete take, and drop clips that are only filler or me restarting. Trim the leading and trailing silence of each kept clip.
3. Write the edit decision list to cuts.json as [{"clip": ..., "start": seconds, "end": seconds, "reason": ...}] in playback order.
4. Render final.mp4 (1280x720, 30fps, H.264 + AAC) from cuts.json with ffmpeg, and write subtitles.srt with the kept speech, timed to final.mp4.
5. Verify with ffprobe that final.mp4 plays end to end, then reply with a short summary: which clips you kept or dropped and why, and the final duration.
Write the pipeline as a reusable script edit_vlog.py so I can rerun it on tomorrow's clips.

ポイントは 3 つです。単語タイムスタンプを求めると単語単位でトリムできます。cuts.json を出させると編集判断を人が確認・修正できます。再利用できるスクリプトにさせれば、翌日の素材は会話をやり直さず再実行するだけです。

バックグラウンドで走らせ、手順ごとの確認をしない場合は非対話モードを使います。Claude Code では --allowedTools で Python と ffmpeg 関連のコマンドだけを許可するほうが、権限確認をすべて飛ばすより安全です。

bash
# Claude Code, non-interactive
claude -p "$(cat prompt.txt)" --model claude-opus-5-5 \
  --permission-mode acceptEdits \
  --allowedTools "Bash(python3:*)" "Bash(ffmpeg:*)" "Bash(ffprobe:*)" "Bash(ls:*)" "Bash(mkdir:*)"

# Codex, non-interactive
codex exec --skip-git-repo-check --sandbox danger-full-access "$(cat prompt.txt)"

Codex では --sandbox danger-full-access を使いました。faster-whisper は初回にモデルをダウンロードするため、デフォルトのサンドボックスだと通信が止められるからです。強い権限なので、素材専用のフォルダでだけ使ってください。Codex の自動実行の権限設定は「Codex 自動化の権限設定」を参照してください。

実測:aicodewith の Key で Claude Code と Codex を動かす

720p のテスト素材を 6 本用意しました。各 8〜11 秒で、前後にそれぞれ 2 秒以上の無音があります。中身は大理で撮った vlog のナレーションで、よくある問題を 2 種類わざと入れました。

  • DJI_0002:「えー、あの、うーん、ちょっと待って、言い直します」だけの言い直し素材。
  • DJI_0003 と DJI_0004:同じセリフを 2 テイク撮ったもの。後者のほうが完全(「ネットも速い」が付く)ですが、途中に「うーん」が入っています。

2 つのクライアントに同じプロンプトを、同じ Linux マシンで渡しました。

Claude Code 2.1.316 + Opus 5.5Codex 0.164.0 + GPT-6.1 Sol
所要時間約 287 秒、25 ターン約 93 秒
残した素材0001、0004、0005、00060001、0004、0005、0006
外した素材0002(言い直し)、0003(不完全な重複テイク)同じ
完成動画18.13 秒、1280×720、30fps、H.264 + AAC18.2 秒、同じ仕様
字幕4 件、素材ごとに 1 件6 件、間で分割
自己チェックffprobe、全編デコード、silencedetect でトリム位置を確認ffprobe と全編デコード

選んだ素材はまったく同じでした。Claude Code は時間がかかった分、自己チェックに使っています。ffmpeg の無音検出で各トリム位置を確かめ、文字起こしライブラリのエラーも回避しました(後述)。Claude Code が書いた cuts.json はこうです。

json
[
  {"clip": "DJI_0001.MP4", "start": 1.99, "end": 5.98, "reason": "大家好,今天我在大理,早上先去海边走一走。"},
  {"clip": "DJI_0004.MP4", "start": 1.83, "end": 8.66, "reason": "best of 2 takes (DJI_0003.MP4, DJI_0004.MP4)"},
  {"clip": "DJI_0005.MP4", "start": 1.87, "end": 5.96, "reason": "下午我们开车去苍山,路上风景特别好。"},
  {"clip": "DJI_0006.MP4", "start": 2.17, "end": 5.34, "reason": "好了,今天的视频就到这里,我们明天见!"}
]

生成された edit_vlog.py は工程ごとに再実行でき、cuts.json を直したあとは書き出しだけやり直せます。

bash
python3 edit_vlog.py                  # full pipeline, reuses cached transcripts
python3 edit_vlog.py --stage select   # only rebuild cuts.json and print keep/drop reasons
python3 edit_vlog.py --stage render   # re-render after you hand-edit cuts.json

実測でわかった 3 つの問題

  1. 地名を聞き間違えた。 どちらの文字起こしでも「早上先去洱海边走一走」(朝、洱海のほとりを散歩する)が「早上先去海边走一走」(海辺を散歩する)になり、字幕も間違ったままで、どちらも気づきませんでした。Whisper は固有名詞でよくこうなるので、公開前に必ず字幕を読んでください。
  2. 文中の「うーん」が残った。 0004 の途中の「うーん」は Whisper が文字起こしから省いてしまったため、AI は切るべきだと知らず、完成動画でも聞こえます。文中のフィラーを切りたいなら、単語タイムスタンプで切り出すようプロンプトで指示し、映像のジャンプカットは受け入れる必要があります。
  3. エージェントは聞くが見ない。 Claude Code はまとめで、確認したのは音声・タイミング・ファイルだけで映像は見ていないとはっきり書いていました。ピンぼけ、レンズキャップの付けっぱなし、映ってはいけないものが映っていても気づきません。

よくある問題とエラー

faster-whisper が音声読み込みで PyAV のエラーを出す

Claude Code が実測中に遭遇しました。インストール済みの PyAV が faster-whisper 1.2.1 の音声読み込みと合わなかったのです。Claude Code は PyAV を避けて ffmpeg で 16kHz モノラルにデコードしてからモデルに渡し、その後は問題なく動きました。

python
# decode with ffmpeg instead of faster-whisper's built-in PyAV loader
import subprocess, numpy as np
def load_audio(path, sr=16000):
    raw = subprocess.run(["ffmpeg", "-v", "error", "-i", str(path), "-vn", "-ac", "1",
                          "-ar", str(sr), "-f", "f32le", "-"],
                         check=True, capture_output=True).stdout
    return np.frombuffer(raw, dtype=np.float32).copy()

segs, info = model.transcribe(load_audio(clip), language="zh", word_timestamps=True)

地名・人名・ブランド名を誤認識する

initial_prompt にその単語を含む完全な文を渡し、hotwords も指定します。実測では initial_prompt="洱海 苍山 大理 手冲" のような単語の羅列は効かず、hotwords="洱海" だけでもだめでした。両方を使い、プロンプトを文にしたときに「洱海」が正しく出ました。

python
segs, info = model.transcribe(audio, language="zh",
                              initial_prompt="今天去洱海边散步。",   # a sentence that contains the word
                              hotwords="洱海")

字幕のタイミングが映像とずれる

元素材のタイムスタンプをそのまま使わず、cuts.json の各区間の開始位置から字幕の時間を計算し直すようエージェントに頼みます。今回はどちらのクライアントの字幕も完成動画の 0 秒から始まっていました。1 件目はこうです。

text
1
00:00:00,150 --> 00:00:03,690
大家好,今天我在大理,早上先去海边走一走。

素材が長くて文字起こしが遅い

まず small モデルで流れが通るか確認し、それから大きいモデルに替えます。文字起こしは transcripts/ に保存されるので、編集リストを直しても文字起こしはやり直しになりません。Opus 5.5 の effort も所要時間に影響します。テイク選びは範囲のはっきりした作業なので、デフォルトで十分です。「Claude Opus 5.5 の effort の選び方」を参照してください。

毎日自動で編集したい

このプロンプトと edit_vlog.py を Skill にまとめれば、「今日の vlog を編集して」で呼び出せます。書き方は「SKILL.md の書き方」を参照してください。

まとめ

Claude Code や Codex での動画編集は、今は「話の内容による粗編集」に向いています。文字起こし、ベストテイク選び、言い直しと無音のカット、書き出し、字幕付けまでなら、数分で素材の山から見られる初稿ができます。字幕の固有名詞、映像の質、テンポや音楽は、引き続き自分で確認しましょう。

API Key を作成して、Claude Code・Codex・Cursor で始める →

相关文章

UI SDK とは何か、どう使うか?Vercel と shadcn が Agent 向けに出した振る舞いライブラリを、Claude Code / Codex / Cursor でインストールして実測する(0.1.0-beta.1)

UI SDK とは何か、どう使うか?Vercel と shadcn が Agent 向けに出した振る舞いライブラリを、Claude Code / Codex / Cursor でインストールして実測する(0.1.0-beta.1)

UI SDK は、Vercel が 2026 年 11 月 12 日に公開した Agent 向けの振る舞い(behaviors)ライブラリで、バージョンは 0.1.0-beta.1 です。振る舞いはフレームワーク非依存の @ui-sdk/core にあり、React、Vue、Svelte、Solid、Web Components のアダプターが描画します。公式ドキュメントに沿って「何か」「どう入れるか」「Claude Code / Codex / Cursor に skill をどう渡すか」を整理し、テスト機で実際に走ったコマンド、所要時間、出力を記録します。

AWS Emulator とは?インストール方法と、Claude Code / Codex でローカルに AWS アプリをテストする手順(1.0.322 で検証)

AWS Emulator とは?インストール方法と、Claude Code / Codex でローカルに AWS アプリをテストする手順(1.0.322 で検証)

AWS Emulator は AWS 公式のローカル AWS エミュレーターで、2026 年 11 月 11 日(米国時間)に一般提供(GA)が始まりました。追加のサービス料金はかからず、ソースは公開されており、AWS アカウントも不要で、200 以上のサービスをカバーします。本記事では Debian 13 上で 1.0.322 を検証し、インストールコマンド、AWS CLI をローカル endpoint に向けて S3 バケットと DynamoDB テーブルを作る手順、遭遇したエラー、Claude Code・Codex・Cursor にエミュレーター相手でコードを書かせてテストさせる方法をまとめます。

T3 Code とは?インストール方法、Claude Code・Codex との接続、サードパーティ API Key の設定とよくあるエラー(0.1.9 で検証)

T3 Code とは?インストール方法、Claude Code・Codex との接続、サードパーティ API Key の設定とよくあるエラー(0.1.9 で検証)

T3 Code は pingdotgg が公開しているオープンソースのコーディングエージェント用コンソールです。モデルは内蔵しておらず、マシンにインストール済みの Claude Code、Codex、Cursor などの CLI を操作します。Linux 上で T3 Code 0.1.9 を検証し、インストールコマンド、Claude Code と Codex を AICodeWith API Key につないで T3 Code から操作する設定、t3 thread コマンドで両方を動かした結果、実際に出たエラーと対処法をまとめました。