결론부터: Claude Code는 영상을 "볼" 수 없지만, 내 컴퓨터에서 Whisper를 돌려 각 소스의 말을 타임스탬프가 붙은 텍스트로 바꾸고, 그 텍스트로 베스트 테이크를 고르고, 앞뒤 무음을 잘라낸 뒤 ffmpeg로 자막까지 붙여 이어 붙일 수 있습니다. 이것이 가편집이고, vlog 편집에서 가장 시간이 많이 드는 단계입니다.
- 시작은 levelsio입니다. levelsio의 11월 1일 게시물에 따르면, 그는 DJI 카메라의 소스를 폴더에 복사하고 그 안에서 Claude Code(Opus 5.5)를 열어 10분짜리 vlog로 편집해 달라고 했습니다. 본인은 "조금 손봤지만 많지는 않다"고 했고, 전사에는 mlx-whisper가 쓰였습니다. 11월 2일 오후(UTC+8) 기준 이 게시물은 조회수 약 13.3만 회, 북마크 2,100개 이상이었습니다.
- 테스트 소스 6개로 재현해 보니 Claude Code와 Codex 모두 끝까지 해냈습니다. 둘 다 다시 말하기 소스와 덜 좋은 중복 테이크를 빼고 4개를 남겼고, 53.8초 분량을 약 18초로 줄였으며, SRT 자막과 다시 쓸 수 있는
edit_vlog.py스크립트를 만들었습니다. - 주의할 점은 두 가지입니다. Whisper가 지명을 잘못 알아들었고(윈난성의 호수 "洱海"가 "海(바다)"가 됐는데 두 클라이언트 모두 눈치채지 못했습니다), Claude Code는 소리와 길이만 확인했을 뿐 화면은 보지 않았습니다. 본인도 그렇게 밝히며 올리기 전에 한 번 보라고 권했습니다.
API Key를 만들고 Claude Code, Codex, Cursor에서 이 편집 흐름 써 보기 →
levelsio가 한 일
levelsio의 게시물에 따르면 과정은 세 단계뿐입니다. 카메라 소스를 폴더에 복사하고, 그 폴더에서 Claude Code를 열고, "10분짜리 vlog로 편집해 줘"라고 요청합니다. Claude Code는 먼저 mlx-whisper로 그가 한 말을 모두 전사한 뒤, 이를 바탕으로 무엇을 남기고 어떤 순서로 놓을지 정했습니다.
답글에서 Sam Parr는 타임스탬프와 사진 오버레이는 누가 했는지 물었습니다. 사람들이 궁금한 건 "AI가 어디까지 하느냐"라는 뜻입니다. 편집은 이제 해결된 거냐는 질문에 대한 levelsio의 답글에 따르면, 이런 간단한 vlog 편집은 이미 되고 더 복잡한 편집은 1년쯤 걸릴 거라고 봅니다.
우리 실측과도 맞습니다. 말한 내용으로 편집하기(베스트 테이크, 다시 말하기와 공백 제거, 순서, 자막)는 지금도 잘 됩니다. 화면으로 편집하기(컷 선택, 색 보정, 음악에 맞춘 편집)는 아직 사람이 해야 합니다.
이 흐름의 원리
Claude Code와 Codex는 터미널에서 일하는 코딩 에이전트입니다. 영상 프레임은 못 보지만 코드를 쓰고 명령을 실행할 수 있습니다. 그래서 편집을 이들이 잘하는 단계로 나눕니다.
| 단계 | 도구 | 결과물 |
|---|---|---|
| 1. 전사 | faster-whisper 또는 mlx-whisper, 단어 타임스탬프 사용 | transcripts/<소스>.json, 단어마다 시작과 끝 초 |
| 2. 선별 | 모델이 전사본을 읽고 중복, 군말, 다시 말하기를 가려냄 | 남길 소스와 이유 |
| 3. 트리밍 | 단어 타임스탬프, 필요하면 ffmpeg silencedetect로 확인 | 소스별 시작과 끝 초 |
| 4. 편집 목록 | JSON 파일 하나 | cuts.json, 직접 고칠 수 있음 |
| 5. 출력 | ffmpeg trim과 concat | final.mp4와 subtitles.srt |
핵심은 4단계입니다. 편집 결정이 평범한 JSON 파일에 있으니, 마음에 안 드는 컷은 숫자만 고치고 다시 출력하면 되고 AI에게 처음부터 다시 시킬 필요가 없습니다.
1단계: API Key를 만들고 Claude Code나 Codex 연결하기
- aicodewith.ai에 가입해 로그인하고, API Key 페이지에서 Key를 만든 뒤 생성할 때 보이는 전체 문자열을 복사합니다.
- Claude Code: 주소와 Key를 설정하고 소스 폴더에서 실행합니다.
export ANTHROPIC_BASE_URL="https://api.aicodewith.ai"
export ANTHROPIC_AUTH_TOKEN="YOUR_API_KEY"
cd ~/Videos/2026-11-02 # the folder with your DJI_*.MP4 clips
claude --model claude-opus-5-5
설정을 계속 저장하거나 Windows에서 설정하거나 로그인 충돌이 나면 「Claude Code를 서드파티 API에 연결하는 법」을, 모델 선택은 「Claude Code에서 어떤 모델을 쓸까」를 보세요.
- Codex:
~/.codex/config.toml에 아래 설정을 넣고 Key는experimental_bearer_token에 씁니다.
# ~/.codex/config.toml
model = "gpt-6.1-sol"
model_reasoning_effort = "medium"
model_provider = "aicodewith"
[model_providers.aicodewith]
name = "aicodewith"
base_url = "https://api.aicodewith.ai/chatgpt/v1"
wire_api = "responses"
experimental_bearer_token = "YOUR_API_KEY"
Codex 전체 설치 과정은 「Codex 설치 가이드」에 있습니다.
2단계: 전사와 편집 도구 설치하기
스크립트는 에이전트가 직접 쓰지만, Whisper와 ffmpeg는 미리 설치해 두세요. 중간에 설치하느라 멈추고 매번 확인을 요청하는 일을 줄일 수 있습니다.
# Windows / Linux / Intel Mac
pip install faster-whisper
# Apple Silicon Mac (what levelsio used)
pip install mlx-whisper
# ffmpeg: brew install ffmpeg / sudo apt install ffmpeg / winget install ffmpeg
ffmpeg -version
mlx-whisper는 Apple Silicon Mac에서만 돌아갑니다(mlx-examples의 whisper). Windows, Linux, Intel Mac에서는 faster-whisper를 쓰세요. 우리 실측도 이것으로 했고, small 모델은 처음 실행할 때 자동으로 내려받습니다.
3단계: 에이전트에게 프롬프트 주기
프로젝트 폴더의 clips/에 원본 소스를 넣고 아래 프롬프트를 Claude Code나 Codex에 줍니다. 실측 때 쓴 원문 그대로입니다. 소스가 중국어라서 language zh로 했고, 한국어 소스라면 ko로 바꾸세요.
The clips/ folder has raw vlog clips straight off my camera (DJI_*.MP4, Chinese speech). Edit them into one short vlog:
1. Transcribe every clip with faster-whisper (model "small", language zh, word timestamps) and save the transcripts to transcripts/<clip>.json.
2. Pick the best takes: when I repeat a sentence keep only the better, more complete take, and drop clips that are only filler or me restarting. Trim the leading and trailing silence of each kept clip.
3. Write the edit decision list to cuts.json as [{"clip": ..., "start": seconds, "end": seconds, "reason": ...}] in playback order.
4. Render final.mp4 (1280x720, 30fps, H.264 + AAC) from cuts.json with ffmpeg, and write subtitles.srt with the kept speech, timed to final.mp4.
5. Verify with ffprobe that final.mp4 plays end to end, then reply with a short summary: which clips you kept or dropped and why, and the final duration.
Write the pipeline as a reusable script edit_vlog.py so I can rerun it on tomorrow's clips.
프롬프트의 요점은 세 가지입니다. 단어 타임스탬프를 요구해야 단어 단위로 자를 수 있습니다. cuts.json을 내게 해야 편집 결정을 사람이 확인하고 고칠 수 있습니다. 다시 쓸 수 있는 스크립트로 만들게 하면 다음 날 소스는 대화를 새로 할 필요 없이 다시 실행만 하면 됩니다.
백그라운드에서 단계마다 확인 없이 돌리려면 비대화형 모드를 씁니다. Claude Code에서는 --allowedTools로 Python과 ffmpeg 관련 명령만 허용하는 편이 모든 권한 확인을 건너뛰는 것보다 안전합니다.
# Claude Code, non-interactive
claude -p "$(cat prompt.txt)" --model claude-opus-5-5 \
--permission-mode acceptEdits \
--allowedTools "Bash(python3:*)" "Bash(ffmpeg:*)" "Bash(ffprobe:*)" "Bash(ls:*)" "Bash(mkdir:*)"
# Codex, non-interactive
codex exec --skip-git-repo-check --sandbox danger-full-access "$(cat prompt.txt)"
Codex는 --sandbox danger-full-access로 돌렸습니다. faster-whisper가 처음 실행할 때 모델을 내려받는데 기본 샌드박스는 네트워크를 막기 때문입니다. 권한이 크니 소스 전용 폴더에서만 쓰세요. Codex 자동 실행 권한 설정은 「Codex 자동화 권한 설정」을 보세요.
실측: aicodewith Key로 Claude Code와 Codex 돌리기
720p 테스트 소스 6개를 만들었습니다. 각각 8~11초이고 앞뒤로 2초 이상 무음이 있습니다. 내용은 다리(大理)에서 찍은 vlog 내레이션이고, 흔한 문제 두 가지를 일부러 넣었습니다.
DJI_0002: "어, 그, 음, 잠깐만, 다시 말할게"뿐인 다시 말하기 소스.DJI_0003과DJI_0004: 같은 대사를 두 번 찍은 테이크. 두 번째가 더 완전하지만("인터넷도 빨라요"가 붙음) 중간에 "음"이 들어 있습니다.
두 클라이언트에 같은 프롬프트를 같은 Linux 머신에서 줬습니다.
| Claude Code 2.1.316 + Opus 5.5 | Codex 0.164.0 + GPT-6.1 Sol | |
|---|---|---|
| 소요 시간 | 약 287초, 25턴 | 약 93초 |
| 남긴 소스 | 0001, 0004, 0005, 0006 | 0001, 0004, 0005, 0006 |
| 뺀 소스 | 0002(다시 말하기), 0003(불완전한 중복 테이크) | 같음 |
| 완성본 | 18.13초, 1280×720, 30fps, H.264 + AAC | 18.2초, 같은 사양 |
| 자막 | 4개, 소스마다 1개 | 6개, 쉼에서 나눔 |
| 자체 확인 | ffprobe, 전체 디코딩, silencedetect로 트리밍 지점 확인 | ffprobe와 전체 디코딩 |
선택 결과는 완전히 같았습니다. Claude Code가 더 오래 걸린 만큼 자체 확인에 시간을 썼습니다. ffmpeg 무음 감지로 트리밍 지점을 하나하나 확인했고, 전사 라이브러리 오류도 우회했습니다(아래 참고). Claude Code가 쓴 cuts.json은 이렇습니다.
[
{"clip": "DJI_0001.MP4", "start": 1.99, "end": 5.98, "reason": "大家好,今天我在大理,早上先去海边走一走。"},
{"clip": "DJI_0004.MP4", "start": 1.83, "end": 8.66, "reason": "best of 2 takes (DJI_0003.MP4, DJI_0004.MP4)"},
{"clip": "DJI_0005.MP4", "start": 1.87, "end": 5.96, "reason": "下午我们开车去苍山,路上风景特别好。"},
{"clip": "DJI_0006.MP4", "start": 2.17, "end": 5.34, "reason": "好了,今天的视频就到这里,我们明天见!"}
]
생성된 edit_vlog.py는 단계별로 다시 실행할 수 있어서, cuts.json을 고친 뒤에는 출력만 다시 하면 됩니다.
python3 edit_vlog.py # full pipeline, reuses cached transcripts
python3 edit_vlog.py --stage select # only rebuild cuts.json and print keep/drop reasons
python3 edit_vlog.py --stage render # re-render after you hand-edit cuts.json
실측에서 드러난 세 가지 문제
- 지명을 잘못 알아들었습니다. 두 전사본 모두 "早上先去洱海边走一走"(아침에 얼하이 호숫가를 걷는다)가 "早上先去海边走一走"(바닷가를 걷는다)로 바뀌었고, 자막도 틀렸으며 둘 다 몰랐습니다. Whisper는 고유명사에서 자주 이러니 올리기 전에 꼭 자막을 읽어 보세요.
- 문장 중간의 "음"이 남았습니다. 0004 중간의 "음"을 Whisper가 전사본에서 아예 빼 버려서 AI는 잘라야 한다는 걸 몰랐고, 완성본에서도 들립니다. 문장 안의 군말을 자르려면 프롬프트에서 단어 타임스탬프로 잘라 내라고 요구하고, 화면의 점프 컷은 감수해야 합니다.
- 에이전트는 듣기만 하고 보지는 않습니다. Claude Code는 요약에서 소리, 타이밍, 파일만 확인했고 화면은 보지 않았다고 분명히 말했습니다. 초점이 나갔거나 렌즈 캡을 안 열었거나 찍히면 안 되는 게 찍혀도 모릅니다.
자주 생기는 문제와 오류
faster-whisper가 오디오를 읽을 때 PyAV 관련 오류가 난다
Claude Code가 실측 중에 만났습니다. 설치된 PyAV가 faster-whisper 1.2.1의 오디오 로더와 맞지 않았습니다. Claude Code는 PyAV를 피해 ffmpeg로 16kHz 모노로 디코딩한 뒤 모델에 넘겼고, 그 뒤로는 잘 돌았습니다.
# decode with ffmpeg instead of faster-whisper's built-in PyAV loader
import subprocess, numpy as np
def load_audio(path, sr=16000):
raw = subprocess.run(["ffmpeg", "-v", "error", "-i", str(path), "-vn", "-ac", "1",
"-ar", str(sr), "-f", "f32le", "-"],
check=True, capture_output=True).stdout
return np.frombuffer(raw, dtype=np.float32).copy()
segs, info = model.transcribe(load_audio(clip), language="zh", word_timestamps=True)
지명, 인명, 브랜드명이 잘못 전사된다
initial_prompt에 그 단어가 들어간 완전한 문장을 주고 hotwords도 지정합니다. 실측에서 initial_prompt="洱海 苍山 大理 手冲" 같은 단어 나열은 효과가 없었고 hotwords="洱海"만 줘도 안 됐습니다. 둘을 함께 쓰고 프롬프트를 문장으로 줬을 때 "洱海"가 제대로 나왔습니다.
segs, info = model.transcribe(audio, language="zh",
initial_prompt="今天去洱海边散步。", # a sentence that contains the word
hotwords="洱海")
자막 타이밍이 화면과 안 맞는다
원본 소스의 타임스탬프를 그대로 쓰지 말고 cuts.json의 각 구간 시작점을 기준으로 자막 시간을 다시 계산하라고 에이전트에게 요청하세요. 이번에는 두 클라이언트의 자막 모두 완성본의 0초부터 시작했습니다. 첫 번째 자막은 이렇습니다.
1
00:00:00,150 --> 00:00:03,690
大家好,今天我在大理,早上先去海边走一走。
소스가 길어서 전사가 느리다
먼저 small 모델로 흐름이 도는지 확인한 뒤 큰 모델로 바꾸세요. 전사 결과는 transcripts/에 저장되므로 편집 목록을 고쳐도 다시 전사하지 않습니다. Opus 5.5의 effort도 소요 시간에 영향을 줍니다. 테이크 고르기는 범위가 분명한 일이라 기본값이면 충분합니다. 「Claude Opus 5.5 effort 고르는 법」을 참고하세요.
매일 자동으로 편집하고 싶다
이 프롬프트와 edit_vlog.py를 Skill로 만들어 두면 "오늘 vlog 편집해 줘"로 실행할 수 있습니다. 작성법은 「SKILL.md 쓰는 법」을 보세요.
정리
Claude Code나 Codex로 하는 영상 편집은 지금 "말한 내용에 따른 가편집"에 잘 맞습니다. 전사, 베스트 테이크 선택, 다시 말하기와 무음 제거, 출력과 자막까지 몇 분이면 소스 더미가 볼 만한 초벌 편집본이 됩니다. 자막 속 고유명사, 화면 품질, 템포와 음악은 여전히 직접 확인해야 합니다.



