En bref : Claude Code ne « regarde » pas la vidéo, mais il peut lancer Whisper sur votre machine pour transformer la parole de chaque rush en texte horodaté, choisir la meilleure prise à partir de ce texte, couper les blancs au début et à la fin, puis assembler le tout avec ffmpeg, sous-titres compris. C'est le dérushage, l'étape la plus longue du montage d'un vlog.
- L'idée vient de levelsio. Selon le post de levelsio du 1er novembre, il a copié les rushs de sa caméra DJI dans un dossier, y a ouvert Claude Code (Opus 5.5) et lui a demandé un vlog de 10 minutes. Il dit n'avoir fait « que quelques ajustements », et la transcription tournait sur mlx-whisper. L'après-midi du 2 novembre (UTC+8), le post comptait environ 133 000 vues et plus de 2 100 signets.
- Nous l'avons refait avec 6 rushs de test, et Claude Code comme Codex sont allés au bout : chacun a écarté le rush de reprise et la prise en double la moins bonne, gardé 4 rushs, réduit 53,8 secondes d'images à environ 18 secondes, et écrit des sous-titres SRT ainsi qu'un script réutilisable
edit_vlog.py. - Deux réserves : Whisper a mal compris un nom de lieu (notre « 洱海 » (lac Erhai) est devenu « 海 » (la mer) sans qu'aucun des deux clients ne le remarque), et Claude Code n'a vérifié que le son et la durée, pas l'image. Il l'a dit lui-même et nous a conseillé de regarder le résultat avant de publier.
Créer une API Key et tester ce workflow dans Claude Code, Codex ou Cursor →
Ce qu'a fait levelsio
Selon le post de levelsio, le workflow tient en trois étapes : copier les rushs dans un dossier, ouvrir Claude Code dans ce dossier, lui demander d'en faire « un vlog de 10 minutes ». Claude Code a d'abord transcrit tout ce qu'il disait avec mlx-whisper, puis a décidé quoi garder et dans quel ordre.
Dans les réponses, Sam Parr a demandé qui s'était occupé des horodatages et de la photo en incrustation, preuve que la vraie question est : jusqu'où va l'IA ? À quelqu'un qui demandait si le montage était résolu, levelsio a répondu que les montages simples de vlog comme celui-ci marchent déjà, et que les montages plus complexes prendront environ un an.
C'est cohérent avec notre test. Monter selon ce qui est dit (meilleure prise, suppression des reprises et des pauses, ordre, sous-titres) fonctionne bien aujourd'hui. Monter selon ce qui est vu (choix des plans, étalonnage, montage sur la musique) demande encore une personne.
Comment fonctionne le workflow
Claude Code et Codex sont des agents de code qui travaillent dans un terminal. Ils ne voient pas les images, mais ils écrivent du code et lancent des commandes. Le montage est donc découpé en étapes qu'ils savent faire :
| Étape | Outil | Résultat |
|---|---|---|
| 1. Transcrire | faster-whisper ou mlx-whisper avec horodatage au mot | transcripts/<rush>.json avec le début et la fin de chaque mot |
| 2. Choisir | Le modèle lit les transcriptions et repère doublons, hésitations et reprises | Les rushs à garder et pourquoi |
| 3. Couper | Horodatage au mot, vérifié si besoin avec silencedetect de ffmpeg | Secondes de début et de fin par rush |
| 4. Liste de montage | Un fichier JSON | cuts.json, modifiable à la main |
| 5. Rendu | trim et concat de ffmpeg | final.mp4 et subtitles.srt |
L'étape 4 est la plus importante : les décisions de montage sont dans un simple fichier JSON. Si une coupe ne vous plaît pas, vous changez un nombre et relancez le rendu, sans demander à l'IA de tout refaire.
Étape 1 : créer une API Key et connecter Claude Code ou Codex
- Inscrivez-vous sur aicodewith.ai, connectez-vous, ouvrez la page des clés API, créez une clé et copiez la chaîne complète affichée à la création.
- Claude Code : définissez l'URL et la clé, puis lancez-le dans le dossier des rushs :
export ANTHROPIC_BASE_URL="https://api.aicodewith.ai"
export ANTHROPIC_AUTH_TOKEN="VOTRE_API_KEY"
cd ~/Videos/2026-11-02 # the folder with your DJI_*.MP4 clips
claude --model claude-opus-5-5
Pour enregistrer la configuration durablement, la faire sous Windows ou régler un conflit de connexion, voir Connecter Claude Code à une API tierce. Pour le choix du modèle, voir Quel modèle utiliser dans Claude Code.
- Codex : mettez ceci dans
~/.codex/config.toml, avec la clé dansexperimental_bearer_token:
# ~/.codex/config.toml
model = "gpt-6.1-sol"
model_reasoning_effort = "medium"
model_provider = "aicodewith"
[model_providers.aicodewith]
name = "aicodewith"
base_url = "https://api.aicodewith.ai/chatgpt/v1"
wire_api = "responses"
experimental_bearer_token = "VOTRE_API_KEY"
L'installation complète de Codex est dans le guide d'installation de Codex.
Étape 2 : installer les outils de transcription et de montage
L'agent écrit ses propres scripts, mais installez Whisper et ffmpeg avant, pour qu'il ne s'arrête pas en route pour les installer en vous demandant de valider chaque étape :
# Windows / Linux / Intel Mac
pip install faster-whisper
# Apple Silicon Mac (what levelsio used)
pip install mlx-whisper
# ffmpeg: brew install ffmpeg / sudo apt install ffmpeg / winget install ffmpeg
ffmpeg -version
mlx-whisper ne fonctionne que sur les Mac Apple Silicon (whisper dans mlx-examples). Sous Windows, Linux et sur les Mac Intel, utilisez faster-whisper ; c'est lui que notre test a utilisé, et le modèle small se télécharge tout seul au premier lancement.
Étape 3 : donner le prompt à l'agent
Mettez les rushs bruts dans clips/ dans le dossier du projet et donnez le prompt ci-dessous à Claude Code ou Codex. C'est le texte exact de notre test. Nos rushs étaient en chinois, d'où language zh ; mettez fr pour des rushs en français :
The clips/ folder has raw vlog clips straight off my camera (DJI_*.MP4, Chinese speech). Edit them into one short vlog:
1. Transcribe every clip with faster-whisper (model "small", language zh, word timestamps) and save the transcripts to transcripts/<clip>.json.
2. Pick the best takes: when I repeat a sentence keep only the better, more complete take, and drop clips that are only filler or me restarting. Trim the leading and trailing silence of each kept clip.
3. Write the edit decision list to cuts.json as [{"clip": ..., "start": seconds, "end": seconds, "reason": ...}] in playback order.
4. Render final.mp4 (1280x720, 30fps, H.264 + AAC) from cuts.json with ffmpeg, and write subtitles.srt with the kept speech, timed to final.mp4.
5. Verify with ffprobe that final.mp4 plays end to end, then reply with a short summary: which clips you kept or dropped and why, and the final duration.
Write the pipeline as a reusable script edit_vlog.py so I can rerun it on tomorrow's clips.
Trois points comptent dans ce prompt. L'horodatage au mot permet de couper au mot près. cuts.json rend les décisions de montage vérifiables et modifiables. Un script réutilisable fait des rushs du lendemain une simple relance, pas une nouvelle conversation.
Pour le lancer en arrière-plan sans valider chaque étape, utilisez le mode non interactif. Dans Claude Code, --allowedTools n'autorise que les commandes Python et ffmpeg, ce qui est plus sûr que de sauter toutes les demandes d'autorisation :
# Claude Code, non-interactive
claude -p "$(cat prompt.txt)" --model claude-opus-5-5 \
--permission-mode acceptEdits \
--allowedTools "Bash(python3:*)" "Bash(ffmpeg:*)" "Bash(ffprobe:*)" "Bash(ls:*)" "Bash(mkdir:*)"
# Codex, non-interactive
codex exec --skip-git-repo-check --sandbox danger-full-access "$(cat prompt.txt)"
Pour Codex, nous avons utilisé --sandbox danger-full-access, car faster-whisper télécharge son modèle au premier lancement et le bac à sable par défaut bloque le réseau. Cet accès est large : ne l'utilisez que dans un dossier réservé à vos rushs. Pour les autorisations d'automatisation de Codex, voir le guide des autorisations d'automatisation Codex.
Test : Claude Code et Codex avec une clé aicodewith
Nous avons préparé 6 rushs de test en 720p, de 8 à 11 secondes chacun, avec au moins 2 secondes de silence au début et à la fin. La voix est celle d'un vlog tourné à Dali, avec deux problèmes courants placés exprès :
DJI_0002ne contient que « euh, bon, attends, je recommence », une reprise.DJI_0003etDJI_0004sont deux prises de la même phrase. La seconde est plus complète (elle ajoute « et le Wi-Fi est rapide ») mais contient un « euh » au milieu.
Les deux clients ont reçu le même prompt sur la même machine Linux :
| Claude Code 2.1.316 + Opus 5.5 | Codex 0.164.0 + GPT-6.1 Sol | |
|---|---|---|
| Durée | Environ 287 secondes, 25 tours | Environ 93 secondes |
| Gardés | 0001, 0004, 0005, 0006 | 0001, 0004, 0005, 0006 |
| Écartés | 0002 (reprise), 0003 (prise incomplète en double) | Idem |
| Vidéo finale | 18,13 s, 1280×720, 30 i/s, H.264 + AAC | 18,2 s, mêmes paramètres |
| Sous-titres | 4 entrées, une par rush | 6 entrées, coupées aux pauses |
| Vérification | ffprobe, décodage complet, points de coupe vérifiés avec silencedetect | ffprobe et décodage complet |
Les deux ont fait exactement la même sélection. Claude Code a été plus lent et a passé ce temps à se vérifier : il a contrôlé chaque point de coupe avec la détection de silence de ffmpeg et a contourné une erreur de la bibliothèque de transcription (voir plus bas). Son cuts.json ressemblait à ceci :
[
{"clip": "DJI_0001.MP4", "start": 1.99, "end": 5.98, "reason": "大家好,今天我在大理,早上先去海边走一走。"},
{"clip": "DJI_0004.MP4", "start": 1.83, "end": 8.66, "reason": "best of 2 takes (DJI_0003.MP4, DJI_0004.MP4)"},
{"clip": "DJI_0005.MP4", "start": 1.87, "end": 5.96, "reason": "下午我们开车去苍山,路上风景特别好。"},
{"clip": "DJI_0006.MP4", "start": 2.17, "end": 5.34, "reason": "好了,今天的视频就到这里,我们明天见!"}
]
Le script edit_vlog.py généré peut relancer une seule étape : après avoir modifié cuts.json, il suffit de refaire le rendu :
python3 edit_vlog.py # full pipeline, reuses cached transcripts
python3 edit_vlog.py --stage select # only rebuild cuts.json and print keep/drop reasons
python3 edit_vlog.py --stage render # re-render after you hand-edit cuts.json
Trois problèmes révélés par le test
- Un nom de lieu mal transcrit. Dans les deux transcriptions, « 早上先去洱海边走一走 » (une balade matinale au bord du lac Erhai) est devenu « 早上先去海边走一走 » (une balade au bord de la mer). Les sous-titres étaient faux aussi, et aucun client ne l'a vu. Whisper fait souvent ça avec les noms propres : relisez toujours les sous-titres avant de publier.
- Le « euh » en milieu de phrase est resté. Whisper a tout simplement omis le « euh » du rush 0004 dans la transcription, l'IA ne savait donc pas qu'il fallait le couper, et on l'entend encore dans la vidéo. Pour couper les hésitations à l'intérieur d'une phrase, demandez des coupes aux horodatages des mots dans le prompt, et acceptez des faux raccords à l'image.
- L'agent écoute mais ne regarde pas. Claude Code a clairement dit qu'il n'avait vérifié que le son, le minutage et le fichier, pas l'image. Un plan flou, un cache d'objectif oublié, quelque chose dans le cadre que vous ne vouliez pas montrer : il n'en saura rien.
Problèmes et erreurs courants
faster-whisper plante avec une erreur PyAV à la lecture de l'audio
Claude Code l'a rencontrée pendant notre test : la version de PyAV installée ne fonctionnait pas avec le lecteur audio de faster-whisper 1.2.1. Il a contourné PyAV en décodant en mono 16 kHz avec ffmpeg avant de passer l'audio au modèle, et tout a fonctionné ensuite :
# decode with ffmpeg instead of faster-whisper's built-in PyAV loader
import subprocess, numpy as np
def load_audio(path, sr=16000):
raw = subprocess.run(["ffmpeg", "-v", "error", "-i", str(path), "-vn", "-ac", "1",
"-ar", str(sr), "-f", "f32le", "-"],
check=True, capture_output=True).stdout
return np.frombuffer(raw, dtype=np.float32).copy()
segs, info = model.transcribe(load_audio(clip), language="zh", word_timestamps=True)
Noms de lieux, de personnes ou de marques mal transcrits
Passez une phrase complète qui contient le mot dans initial_prompt et ajoutez hotwords. Dans notre test, une simple liste de mots comme initial_prompt="洱海 苍山 大理 手冲" n'a rien changé, pas plus que hotwords="洱海" seul. Avec les deux ensemble, et le prompt rédigé comme une phrase, « 洱海 » était correct :
segs, info = model.transcribe(audio, language="zh",
initial_prompt="今天去洱海边散步。", # a sentence that contains the word
hotwords="洱海")
Les sous-titres sont décalés par rapport à l'image
Demandez à l'agent de recalculer les temps des sous-titres à partir du début de chaque rush dans cuts.json, au lieu de reprendre les horodatages des rushs d'origine. Dans notre test, les sous-titres des deux clients commençaient à 0 seconde de la vidéo finale. La première entrée ressemblait à ceci :
1
00:00:00,150 --> 00:00:03,690
大家好,今天我在大理,早上先去海边走一走。
Des rushs longs prennent trop de temps à transcrire
Commencez avec le modèle small, vérifiez que la chaîne fonctionne, puis passez à un modèle plus gros. Les transcriptions sont enregistrées dans transcripts/ : modifier la liste de montage ne relance pas la transcription. Le niveau d'effort d'Opus 5.5 joue aussi sur la durée ; choisir des prises est une tâche bien délimitée, le niveau par défaut suffit. Voir Choisir le niveau d'effort de Claude Opus 5.5.
Vous voulez un montage chaque jour
Transformez le prompt et edit_vlog.py en Skill pour que « monte le vlog du jour » le déclenche. Voir Écrire un SKILL.md.
En résumé
Monter une vidéo avec Claude Code ou Codex fonctionne aujourd'hui pour un dérushage basé sur la parole : transcrire, choisir la meilleure prise, enlever les reprises et les blancs, faire le rendu et les sous-titres. En quelques minutes, un dossier de rushs devient un premier montage regardable. Les noms propres dans les sous-titres, la qualité d'image, le rythme et la musique demandent encore votre propre passage.
Créer une API Key et commencer dans Claude Code, Codex ou Cursor →



