Monter une vidéo avec Claude Code : le dérushage de vlog façon levelsio avec Whisper et ffmpeg (testé)

levelsio a mis les rushs de sa caméra dans un dossier et a demandé à Claude Code (Opus 5.5) d'en tirer un vlog de 10 minutes. Nous avons refait le workflow : transcription Whisper, choix de la meilleure prise, liste de montage cuts.json, rendu ffmpeg et sous-titres. Vous trouverez le prompt exact, l'exécution dans Claude Code et Codex, les durées mesurées avec une clé aicodewith et les solutions aux noms mal transcrits et à l'erreur PyAV.

10 分钟阅读
Monter une vidéo avec Claude Code : le dérushage de vlog façon levelsio avec Whisper et ffmpeg (testé)

En bref : Claude Code ne « regarde » pas la vidéo, mais il peut lancer Whisper sur votre machine pour transformer la parole de chaque rush en texte horodaté, choisir la meilleure prise à partir de ce texte, couper les blancs au début et à la fin, puis assembler le tout avec ffmpeg, sous-titres compris. C'est le dérushage, l'étape la plus longue du montage d'un vlog.

  • L'idée vient de levelsio. Selon le post de levelsio du 1er novembre, il a copié les rushs de sa caméra DJI dans un dossier, y a ouvert Claude Code (Opus 5.5) et lui a demandé un vlog de 10 minutes. Il dit n'avoir fait « que quelques ajustements », et la transcription tournait sur mlx-whisper. L'après-midi du 2 novembre (UTC+8), le post comptait environ 133 000 vues et plus de 2 100 signets.
  • Nous l'avons refait avec 6 rushs de test, et Claude Code comme Codex sont allés au bout : chacun a écarté le rush de reprise et la prise en double la moins bonne, gardé 4 rushs, réduit 53,8 secondes d'images à environ 18 secondes, et écrit des sous-titres SRT ainsi qu'un script réutilisable edit_vlog.py.
  • Deux réserves : Whisper a mal compris un nom de lieu (notre « 洱海 » (lac Erhai) est devenu « 海 » (la mer) sans qu'aucun des deux clients ne le remarque), et Claude Code n'a vérifié que le son et la durée, pas l'image. Il l'a dit lui-même et nous a conseillé de regarder le résultat avant de publier.

Créer une API Key et tester ce workflow dans Claude Code, Codex ou Cursor →

Ce qu'a fait levelsio

Selon le post de levelsio, le workflow tient en trois étapes : copier les rushs dans un dossier, ouvrir Claude Code dans ce dossier, lui demander d'en faire « un vlog de 10 minutes ». Claude Code a d'abord transcrit tout ce qu'il disait avec mlx-whisper, puis a décidé quoi garder et dans quel ordre.

Dans les réponses, Sam Parr a demandé qui s'était occupé des horodatages et de la photo en incrustation, preuve que la vraie question est : jusqu'où va l'IA ? À quelqu'un qui demandait si le montage était résolu, levelsio a répondu que les montages simples de vlog comme celui-ci marchent déjà, et que les montages plus complexes prendront environ un an.

C'est cohérent avec notre test. Monter selon ce qui est dit (meilleure prise, suppression des reprises et des pauses, ordre, sous-titres) fonctionne bien aujourd'hui. Monter selon ce qui est vu (choix des plans, étalonnage, montage sur la musique) demande encore une personne.

Comment fonctionne le workflow

Claude Code et Codex sont des agents de code qui travaillent dans un terminal. Ils ne voient pas les images, mais ils écrivent du code et lancent des commandes. Le montage est donc découpé en étapes qu'ils savent faire :

ÉtapeOutilRésultat
1. Transcrirefaster-whisper ou mlx-whisper avec horodatage au mottranscripts/<rush>.json avec le début et la fin de chaque mot
2. ChoisirLe modèle lit les transcriptions et repère doublons, hésitations et reprisesLes rushs à garder et pourquoi
3. CouperHorodatage au mot, vérifié si besoin avec silencedetect de ffmpegSecondes de début et de fin par rush
4. Liste de montageUn fichier JSONcuts.json, modifiable à la main
5. Rendutrim et concat de ffmpegfinal.mp4 et subtitles.srt

L'étape 4 est la plus importante : les décisions de montage sont dans un simple fichier JSON. Si une coupe ne vous plaît pas, vous changez un nombre et relancez le rendu, sans demander à l'IA de tout refaire.

Étape 1 : créer une API Key et connecter Claude Code ou Codex

  1. Inscrivez-vous sur aicodewith.ai, connectez-vous, ouvrez la page des clés API, créez une clé et copiez la chaîne complète affichée à la création.
  2. Claude Code : définissez l'URL et la clé, puis lancez-le dans le dossier des rushs :
bash
export ANTHROPIC_BASE_URL="https://api.aicodewith.ai"
export ANTHROPIC_AUTH_TOKEN="VOTRE_API_KEY"
cd ~/Videos/2026-11-02      # the folder with your DJI_*.MP4 clips
claude --model claude-opus-5-5

Pour enregistrer la configuration durablement, la faire sous Windows ou régler un conflit de connexion, voir Connecter Claude Code à une API tierce. Pour le choix du modèle, voir Quel modèle utiliser dans Claude Code.

  1. Codex : mettez ceci dans ~/.codex/config.toml, avec la clé dans experimental_bearer_token :
toml
# ~/.codex/config.toml
model = "gpt-6.1-sol"
model_reasoning_effort = "medium"
model_provider = "aicodewith"

[model_providers.aicodewith]
name = "aicodewith"
base_url = "https://api.aicodewith.ai/chatgpt/v1"
wire_api = "responses"
experimental_bearer_token = "VOTRE_API_KEY"

L'installation complète de Codex est dans le guide d'installation de Codex.

Étape 2 : installer les outils de transcription et de montage

L'agent écrit ses propres scripts, mais installez Whisper et ffmpeg avant, pour qu'il ne s'arrête pas en route pour les installer en vous demandant de valider chaque étape :

bash
# Windows / Linux / Intel Mac
pip install faster-whisper
# Apple Silicon Mac (what levelsio used)
pip install mlx-whisper
# ffmpeg: brew install ffmpeg / sudo apt install ffmpeg / winget install ffmpeg
ffmpeg -version

mlx-whisper ne fonctionne que sur les Mac Apple Silicon (whisper dans mlx-examples). Sous Windows, Linux et sur les Mac Intel, utilisez faster-whisper ; c'est lui que notre test a utilisé, et le modèle small se télécharge tout seul au premier lancement.

Étape 3 : donner le prompt à l'agent

Mettez les rushs bruts dans clips/ dans le dossier du projet et donnez le prompt ci-dessous à Claude Code ou Codex. C'est le texte exact de notre test. Nos rushs étaient en chinois, d'où language zh ; mettez fr pour des rushs en français :

text
The clips/ folder has raw vlog clips straight off my camera (DJI_*.MP4, Chinese speech). Edit them into one short vlog:
1. Transcribe every clip with faster-whisper (model "small", language zh, word timestamps) and save the transcripts to transcripts/<clip>.json.
2. Pick the best takes: when I repeat a sentence keep only the better, more complete take, and drop clips that are only filler or me restarting. Trim the leading and trailing silence of each kept clip.
3. Write the edit decision list to cuts.json as [{"clip": ..., "start": seconds, "end": seconds, "reason": ...}] in playback order.
4. Render final.mp4 (1280x720, 30fps, H.264 + AAC) from cuts.json with ffmpeg, and write subtitles.srt with the kept speech, timed to final.mp4.
5. Verify with ffprobe that final.mp4 plays end to end, then reply with a short summary: which clips you kept or dropped and why, and the final duration.
Write the pipeline as a reusable script edit_vlog.py so I can rerun it on tomorrow's clips.

Trois points comptent dans ce prompt. L'horodatage au mot permet de couper au mot près. cuts.json rend les décisions de montage vérifiables et modifiables. Un script réutilisable fait des rushs du lendemain une simple relance, pas une nouvelle conversation.

Pour le lancer en arrière-plan sans valider chaque étape, utilisez le mode non interactif. Dans Claude Code, --allowedTools n'autorise que les commandes Python et ffmpeg, ce qui est plus sûr que de sauter toutes les demandes d'autorisation :

bash
# Claude Code, non-interactive
claude -p "$(cat prompt.txt)" --model claude-opus-5-5 \
  --permission-mode acceptEdits \
  --allowedTools "Bash(python3:*)" "Bash(ffmpeg:*)" "Bash(ffprobe:*)" "Bash(ls:*)" "Bash(mkdir:*)"

# Codex, non-interactive
codex exec --skip-git-repo-check --sandbox danger-full-access "$(cat prompt.txt)"

Pour Codex, nous avons utilisé --sandbox danger-full-access, car faster-whisper télécharge son modèle au premier lancement et le bac à sable par défaut bloque le réseau. Cet accès est large : ne l'utilisez que dans un dossier réservé à vos rushs. Pour les autorisations d'automatisation de Codex, voir le guide des autorisations d'automatisation Codex.

Test : Claude Code et Codex avec une clé aicodewith

Nous avons préparé 6 rushs de test en 720p, de 8 à 11 secondes chacun, avec au moins 2 secondes de silence au début et à la fin. La voix est celle d'un vlog tourné à Dali, avec deux problèmes courants placés exprès :

  • DJI_0002 ne contient que « euh, bon, attends, je recommence », une reprise.
  • DJI_0003 et DJI_0004 sont deux prises de la même phrase. La seconde est plus complète (elle ajoute « et le Wi-Fi est rapide ») mais contient un « euh » au milieu.

Les deux clients ont reçu le même prompt sur la même machine Linux :

Claude Code 2.1.316 + Opus 5.5Codex 0.164.0 + GPT-6.1 Sol
DuréeEnviron 287 secondes, 25 toursEnviron 93 secondes
Gardés0001, 0004, 0005, 00060001, 0004, 0005, 0006
Écartés0002 (reprise), 0003 (prise incomplète en double)Idem
Vidéo finale18,13 s, 1280×720, 30 i/s, H.264 + AAC18,2 s, mêmes paramètres
Sous-titres4 entrées, une par rush6 entrées, coupées aux pauses
Vérificationffprobe, décodage complet, points de coupe vérifiés avec silencedetectffprobe et décodage complet

Les deux ont fait exactement la même sélection. Claude Code a été plus lent et a passé ce temps à se vérifier : il a contrôlé chaque point de coupe avec la détection de silence de ffmpeg et a contourné une erreur de la bibliothèque de transcription (voir plus bas). Son cuts.json ressemblait à ceci :

json
[
  {"clip": "DJI_0001.MP4", "start": 1.99, "end": 5.98, "reason": "大家好,今天我在大理,早上先去海边走一走。"},
  {"clip": "DJI_0004.MP4", "start": 1.83, "end": 8.66, "reason": "best of 2 takes (DJI_0003.MP4, DJI_0004.MP4)"},
  {"clip": "DJI_0005.MP4", "start": 1.87, "end": 5.96, "reason": "下午我们开车去苍山,路上风景特别好。"},
  {"clip": "DJI_0006.MP4", "start": 2.17, "end": 5.34, "reason": "好了,今天的视频就到这里,我们明天见!"}
]

Le script edit_vlog.py généré peut relancer une seule étape : après avoir modifié cuts.json, il suffit de refaire le rendu :

bash
python3 edit_vlog.py                  # full pipeline, reuses cached transcripts
python3 edit_vlog.py --stage select   # only rebuild cuts.json and print keep/drop reasons
python3 edit_vlog.py --stage render   # re-render after you hand-edit cuts.json

Trois problèmes révélés par le test

  1. Un nom de lieu mal transcrit. Dans les deux transcriptions, « 早上先去洱海边走一走 » (une balade matinale au bord du lac Erhai) est devenu « 早上先去海边走一走 » (une balade au bord de la mer). Les sous-titres étaient faux aussi, et aucun client ne l'a vu. Whisper fait souvent ça avec les noms propres : relisez toujours les sous-titres avant de publier.
  2. Le « euh » en milieu de phrase est resté. Whisper a tout simplement omis le « euh » du rush 0004 dans la transcription, l'IA ne savait donc pas qu'il fallait le couper, et on l'entend encore dans la vidéo. Pour couper les hésitations à l'intérieur d'une phrase, demandez des coupes aux horodatages des mots dans le prompt, et acceptez des faux raccords à l'image.
  3. L'agent écoute mais ne regarde pas. Claude Code a clairement dit qu'il n'avait vérifié que le son, le minutage et le fichier, pas l'image. Un plan flou, un cache d'objectif oublié, quelque chose dans le cadre que vous ne vouliez pas montrer : il n'en saura rien.

Problèmes et erreurs courants

faster-whisper plante avec une erreur PyAV à la lecture de l'audio

Claude Code l'a rencontrée pendant notre test : la version de PyAV installée ne fonctionnait pas avec le lecteur audio de faster-whisper 1.2.1. Il a contourné PyAV en décodant en mono 16 kHz avec ffmpeg avant de passer l'audio au modèle, et tout a fonctionné ensuite :

python
# decode with ffmpeg instead of faster-whisper's built-in PyAV loader
import subprocess, numpy as np
def load_audio(path, sr=16000):
    raw = subprocess.run(["ffmpeg", "-v", "error", "-i", str(path), "-vn", "-ac", "1",
                          "-ar", str(sr), "-f", "f32le", "-"],
                         check=True, capture_output=True).stdout
    return np.frombuffer(raw, dtype=np.float32).copy()

segs, info = model.transcribe(load_audio(clip), language="zh", word_timestamps=True)

Noms de lieux, de personnes ou de marques mal transcrits

Passez une phrase complète qui contient le mot dans initial_prompt et ajoutez hotwords. Dans notre test, une simple liste de mots comme initial_prompt="洱海 苍山 大理 手冲" n'a rien changé, pas plus que hotwords="洱海" seul. Avec les deux ensemble, et le prompt rédigé comme une phrase, « 洱海 » était correct :

python
segs, info = model.transcribe(audio, language="zh",
                              initial_prompt="今天去洱海边散步。",   # a sentence that contains the word
                              hotwords="洱海")

Les sous-titres sont décalés par rapport à l'image

Demandez à l'agent de recalculer les temps des sous-titres à partir du début de chaque rush dans cuts.json, au lieu de reprendre les horodatages des rushs d'origine. Dans notre test, les sous-titres des deux clients commençaient à 0 seconde de la vidéo finale. La première entrée ressemblait à ceci :

text
1
00:00:00,150 --> 00:00:03,690
大家好,今天我在大理,早上先去海边走一走。

Des rushs longs prennent trop de temps à transcrire

Commencez avec le modèle small, vérifiez que la chaîne fonctionne, puis passez à un modèle plus gros. Les transcriptions sont enregistrées dans transcripts/ : modifier la liste de montage ne relance pas la transcription. Le niveau d'effort d'Opus 5.5 joue aussi sur la durée ; choisir des prises est une tâche bien délimitée, le niveau par défaut suffit. Voir Choisir le niveau d'effort de Claude Opus 5.5.

Vous voulez un montage chaque jour

Transformez le prompt et edit_vlog.py en Skill pour que « monte le vlog du jour » le déclenche. Voir Écrire un SKILL.md.

En résumé

Monter une vidéo avec Claude Code ou Codex fonctionne aujourd'hui pour un dérushage basé sur la parole : transcrire, choisir la meilleure prise, enlever les reprises et les blancs, faire le rendu et les sous-titres. En quelques minutes, un dossier de rushs devient un premier montage regardable. Les noms propres dans les sous-titres, la qualité d'image, le rythme et la musique demandent encore votre propre passage.

Créer une API Key et commencer dans Claude Code, Codex ou Cursor →

相关文章

C'est quoi le UI SDK, et comment l'utiliser ? La bibliothèque de comportements Vercel et shadcn pour les agents, installée et testée dans Claude Code / Codex / Cursor (0.1.0-beta.1)

C'est quoi le UI SDK, et comment l'utiliser ? La bibliothèque de comportements Vercel et shadcn pour les agents, installée et testée dans Claude Code / Codex / Cursor (0.1.0-beta.1)

Le UI SDK est la bibliothèque de comportements de Vercel pour les agents, publiée le 12 novembre 2026 en version 0.1.0-beta.1. Les comportements vivent dans le paquet indépendant du framework @ui-sdk/core, puis sont rendus par les adaptateurs React, Vue, Svelte, Solid et Web Components. Ce guide suit la documentation officielle sur ce que c'est, comment l'installer et comment ajouter le skill pour Claude Code, Codex et Cursor, et consigne les commandes, durées et sorties relevées sur notre machine de test.

AWS Emulator, c'est quoi et comment l'installer ? Tester des applications AWS en local avec Claude Code et Codex (testé sur 1.0.322)

AWS Emulator, c'est quoi et comment l'installer ? Tester des applications AWS en local avec Claude Code et Codex (testé sur 1.0.322)

AWS Emulator est l'émulateur local officiel des API AWS, disponible en version GA depuis le 11 novembre 2026 (heure des États-Unis). Il n'entraîne aucuns frais de service supplémentaires, son code source est ouvert, il ne demande aucun compte AWS et couvre plus de 200 services. Nous avons testé la version 1.0.322 sous Debian 13 : commandes d'installation, AWS CLI pointé vers l'endpoint local pour créer un bucket S3 et une table DynamoDB, erreurs rencontrées, et comment laisser Claude Code, Codex et Cursor écrire et tester du code contre l'émulateur.

T3 Code, c'est quoi et comment l'installer ? Connecter Claude Code et Codex, utiliser une clé API tierce, corriger les erreurs courantes (testé sur 0.1.9)

T3 Code, c'est quoi et comment l'installer ? Connecter Claude Code et Codex, utiliser une clé API tierce, corriger les erreurs courantes (testé sur 0.1.9)

T3 Code est la console open source de pingdotgg pour piloter des agents de code. Elle n'embarque aucun modèle et pilote les CLI Claude Code, Codex, Cursor et autres déjà installés sur votre machine. Nous avons testé T3 Code 0.1.9 sous Linux. Ce guide couvre les commandes d'installation, la configuration de Claude Code et de Codex avec une clé API AICodeWith pour que T3 Code les pilote, un essai complet des deux agents avec la commande t3 thread, puis les erreurs rencontrées et leurs solutions.