OpenMontage：把你的Codex变成AI视频工作室，从一句话到完整成片的开源Agent工作流

qq_25295997

387人浏览 · 2026-08-18 13:05:55

qq_25295997 · 2026-08-18 13:05:55 发布

OpenMontage把AI编程助手变成完整视频生产系统

AI视频工具已经能生成惊艳的5到10秒片段，但真正让创作者疲惫的，往往是后面的脚本、分镜、找素材、选镜头、配音、字幕、混音、合成和反复返工。OpenMontage瞄准的正是这段“从素材到成片”的生产链。

它不是一个新的视频生成模型，而是一套由Codex、Claude Code、Cursor、Copilot或Windsurf负责调度的开源视频制片系统。截至本文整理，官方仓库约4.86万Star，项目概括为12条生产管线、100+工具与700+ Agent技能/制作知识文件。

站内OpenMontage相关页面：
https://www.zuoshipin.com/link/22965.html

OpenMontage官方GitHub项目：
https://github.com/calesthio/OpenMontage

OpenMontage真正做的，是把“视频制作公司”交给Agent

OpenMontage开源仓库与项目结构

在传统AI视频工作流里，人要在文生视频、图像、TTS、音乐、字幕和剪辑平台之间来回切换。OpenMontage把这些能力统一注册为工具，再用YAML管线和Markdown技能告诉Agent：每个阶段要完成什么、调用什么、如何自检、何时必须停下来让人审批。

OpenMontage从创意到成片的七阶段工作流

一条任务会沿着 research → proposal → script → scene_plan → assets → edit → compose 推进。这套结构的重要性不在于“全自动”，而在于把容易混乱的创作过程变成可检查、可恢复、可复盘的生产状态。

它覆盖哪些视频类型？

OpenMontage覆盖脚本、分镜、资产、剪辑与交付

官方管线覆盖10余类常见制作需求，可大致分为四组：

从零创作
动画科普、动态图形、电影感预告、虚拟人播报。

真实素材
纪录片蒙太奇、实拍与AI混合、Talking Head。

内容再利用
长视频切片、播客转短视频、社交媒体版本。

发行与演示
多语言字幕配音、软件屏幕演示和教程。

它的“免费路径”不是只把几张图做成缓慢推拉。Documentary Montage可以从Archive.org、NASA、Wikimedia、Pexels等开放或免费素材源建立语义索引，检索真实动态影像后再进入时间线。

从参考视频出发，比空写Prompt更实用

用户可以粘贴YouTube视频、Short、Reel、TikTok或提供本地片段。Agent会分析转写、节奏、场景、关键帧和视觉风格，再给出2到3个差异化方案、工具路径、成本估算和样片方向。真正值得保留的是参考片的结构、节奏与钩子，而不是照搬题材和镜头。

参考视频只能作为分析和创作坐标。商业项目仍需确认素材、音乐、人物肖像、品牌元素与风格模仿的授权边界。

Backlot：让Agent的制作过程变得可见

Backlot实时制作看板展示管线阶段和生成资产

聊天窗口只能看到Agent说了什么，Backlot看板则显示项目实际进行到哪里：管线阶段、剧本页、场景卡、生成资产、供应商选择和已花成本都会随项目文件更新。

Backlot分镜审批页展示镜头、版本、成本与质量评分

更关键的是，分镜板已经成为真实的审批门。系统会按场景展示候选版本、Prompt、单项成本与质量评分，用户确认后才进入后续生成和渲染。这比成片出来后才发现角色、光线或构图错误，节省得多。

Backlot脚本审批门等待用户确认后继续制作

提案、剧本、场景计划、生成资产与发布节点都可以设置强制确认；被替换的检查点仍会归档，因此修改过程和决策依据可以追溯。

Backlot项目库集中展示本机的全部视频制作任务

模型很多，重点不是多，而是如何选择

OpenMontage的多管线与多工具Agent架构

OpenMontage把视频生成、图像、TTS、音乐、素材库和本地后期工具放进统一能力层。云端可以接入Kling、Veo、Runway、Seedance、FLUX、GPT Image、ElevenLabs、Suno等服务；本地则可使用FFmpeg、Remotion、HyperFrames、Piper TTS，以及具备GPU时的WAN、Hunyuan、CogVideo和LTX。

供应商选择会按7个维度评分：任务适配30%、输出质量20%、控制能力15%、可靠性15%、成本效率10%、延迟5%、连续性5%。被选方案、备选项、置信度和回退原因会写入决策日志。

OpenMontage开源本地部署与可扩展工具链

预算治理与质检，决定它能不能用于生产

真正面向交付的部分，不是模型列表，而是下面这些硬约束：

执行前估价、预留预算，执行后按实际花费对账。
单次动作默认超过0.50美元暂停审批，总预算默认10美元，两者均可调整。
合成前检查画面方案、渲染器和“幻灯片风险”，避免把静态图堆叠冒充电影感。
渲染后运行ffprobe、四处抽帧、音频静音/削波分析、字幕与交付承诺检查。
失败不直接交付，而是保留检查点、决策日志与成本快照后返工。

OpenMontage作为本地视频生产工具的定位

本地部署：三条命令启动

前置环境包括Python 3.10+、FFmpeg、Node.js 18+，以及一款能读文件和执行命令的AI编程助手。

git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

安装后在Codex、Claude Code或其他兼容助手中打开项目目录，直接描述想做的视频：

Make a 60-second animated explainer about how neural networks learn.

做一条90秒的城市雨夜纪录片蒙太奇，只使用真实动态素材，不要旁白，整体情绪克制、忧伤，配一条可商用音乐。先给我2个方案、成本预估和分镜，确认后再生成资产。

不要一开始就说“全自动生成”。更稳的指令应该明确时长、画幅、真实素材还是AI生成、旁白与音乐要求，并要求先提交方案、预算和分镜，确认后再花费。

没有API Key也能跑吗？

可以先走本地和开放素材路径：Piper负责离线配音，Archive.org、NASA、Wikimedia提供开放档案素材，Remotion、HyperFrames和FFmpeg负责动画、合成与后期。Pexels、Pixabay等素材API通常需要申请免费Key；更高质量的生成视频、配音和音乐再按需添加付费服务。

有本地GPU时

make install-gpu

# .env
VIDEO_GEN_LOCAL_ENABLED=true
VIDEO_GEN_LOCAL_MODEL=wan2.1-1.3b

本地生成没有API调用费，但仍要承担模型下载、显存、渲染时间、电费和运维成本；“免费”不等于没有生产成本。

OpenMontage完整使用教程：从安装到第一条成片

建议第一次不要直接做电影预告。先用45到60秒的Animated Explainer或真实素材Documentary Montage跑通全流程，确认环境、审批和输出目录都正常，再接付费模型。

第1步：确认本机环境

至少需要Python 3.10+、FFmpeg、Node.js 18+，以及Codex、Claude Code、Cursor、Copilot或Windsurf中的一种。先在终端检查版本：

python3 --version
ffmpeg -version
node --version

Windows若在安装依赖时遇到npm的ERR_INVALID_ARG_TYPE，可按官方提示改用 npx –yes npm install。

第2步：安装OpenMontage

git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

没有make时也可以手动创建虚拟环境、安装requirements、Remotion依赖和Piper TTS；但第一次使用更建议先解决make环境，后续升级和测试更省事。

第3步：先做能力审计，不要凭感觉选模型

安装完成后，让工具注册表扫描当前机器真正可用的本地组件、API供应商和渲染引擎：

python -c "from tools.tool_registry import registry; import json; registry.discover(); print(json.dumps(registry.support_envelope(), indent=2))"
python -c "from tools.tool_registry import registry; import json; registry.discover(); print(json.dumps(registry.provider_menu(), indent=2))"

第一条输出回答“这台机器能做什么”，第二条输出回答“每项能力有哪些供应商”。如果只有FFmpeg、Remotion和Piper，也能先做图像动画或真实素材混剪。

第4步：按需要填写.env

cp .env.example .env

# 免费素材，可按需申请
PEXELS_API_KEY=your-key
PIXABAY_API_KEY=your-key

# 付费生成能力，只填实际需要的服务
FAL_KEY=your-key
ELEVENLABS_API_KEY=your-key
OPENAI_API_KEY=your-key

不要为了“功能全”一次填满所有Key。先确定片型：需要真实素材就配置免费素材库；需要生成镜头再选一个视频供应商；需要高质量旁白再加入TTS。Key越多不代表结果一定越好。

第5步：选择正确的生产管线

animated-explainer：科普、教程、数据解释，最适合第一次测试。
documentary-montage：从开放档案和素材库检索真实动态画面。
cinematic：预告、品牌情绪片和电影感短片。
screen-demo：软件录屏、产品演示和操作教程。
clip-factory / podcast-repurpose：长视频或播客批量拆短内容。
localization-dub：字幕翻译、配音和多语言发行版本。

不确定时可以先让Agent读取skills/meta/onboarding.md做需求访谈；提供参考视频时，应明确要求走video-reference-analyst流程，而不是只模仿一个表面风格。

第6步：用结构化需求代替一句“帮我做视频”

请使用 OpenMontage 为我制作一条视频。

主题：为什么AI生成视频需要后期制作
时长与画幅：60秒，16:9，1920x1080
目标观众：视频剪辑师和CG从业者
管线倾向：Animated Explainer
素材要求：允许AI图像和少量真实素材，不使用未授权影视片段
视觉方向：克制、专业、深色界面感，避免PPT式轮播
声音：中文旁白，音乐只做氛围，不压对白
预算：先做样片，总成本不超过2美元
审批：先提交2个方案、工具选择、成本和分镜；我确认后再生成资产
交付：MP4、SRT字幕、脚本、分镜和资产清单

这个模板最关键的三项是预算、审批顺序和交付物。没有这三项，Agent很容易过早批量生成、漏交字幕或只给一个MP4。

第7步：在方案阶段选择Remotion或HyperFrames

如果两种引擎都已安装，OpenMontage要求Agent把两者都列出来并等待选择：

Remotion
适合数据驱动科普、字幕、图表、批量模板和React场景；稳定、可参数化，但容易产生模板感。

HyperFrames
适合HTML/CSS/GSAP动效、产品发布和动态排版；视觉自由，但设计和调试成本更高。

重要品牌片还应明确选择Templated还是Atelier。模板模式适合批量和低成本；Atelier会为单片重新设计场景和运动语言，质量潜力更高，但需要更多Token与迭代。

第8步：打开Backlot，逐阶段审片

python -m backlot open
python -m backlot open <project-id>

# 没有真实项目时，先运行一分钟模拟制作
python scripts/backlot_simulate_run.py
python -m backlot open backlot-demo-run

重点检查五个门：提案是否跑题、脚本是否适合口播、分镜是否重复、资产是否有角色/产品漂移、发布前是否满足画幅和字幕要求。不要一路点通过后再在成片阶段返工。

第9步：先样片、再批量

生成资产前要求每个关键场景先出1个样本，并显示工具、模型、单项成本和替代方案。样本通过后再批量生成；若要更换供应商、模型或从视频方案降级为静态图方案，应重新确认。

第10步：找到成片和全部工程资料

projects/<project-id>/
├── artifacts/          # 调研、脚本、分镜等JSON
├── assets/
│   ├── images/
│   ├── video/
│   ├── audio/
│   ├── music/
│   └── subtitles.srt
└── renders/
    └── final.mp4

最终MP4只是交付物之一。商业项目还应保留artifacts中的调研、脚本、分镜、决策日志和成本快照，以及assets中的原始素材、旁白、音乐和字幕。

最稳妥的首次测试：45秒、16:9、Animated Explainer、Piper旁白、Remotion合成、总预算0美元；跑通后再换付费图像或视频模型。

OpenMontage与其他产品怎么选？

这些产品并不是完全互斥。生成模型负责“拍镜头”，ComfyUI负责“控制生成”，Remotion负责“程序化合成”，专业剪辑软件负责“最终精修”，OpenMontage尝试把它们编排成一条可审批的生产线。

产品	核心定位	端到端生产	开放与本地化	控制方式	更适合谁	主要限制
OpenMontage	Agent驱动的视频生产系统	调研、脚本、分镜、资产、剪辑、质检、交付	AGPL-3.0，可本地部署并接入多家供应商	自然语言 + YAML管线 + Markdown技能 + 审批门	开发者、技术型创作者、MCN生产团队	安装维护门槛较高，成片上限仍受底层模型影响
Runway Agent	云端创意Agent与生成视频工作台	可生成多镜头并在内置时间线组合和调整	闭源云服务，集中在Runway生态	聊天、生成模式、内置时间线	想快速获得高质量生成镜头和多镜头样片的用户	供应商与计费体系绑定，深度自定义和本地审计有限
CapCut / 剪映 Video Studio	消费级一站式AI视频与剪辑软件	脚本、模板、数字人、配音、字幕、时间线、导出	闭源桌面/网页/移动端	图形界面、模板、AI助手	新手、短视频运营、快速社交内容	管线、版本决策和供应商选择不如开源系统透明
ComfyUI	节点式生成AI推理与工作流平台	擅长生成资产，完整制片流程需自行搭建	开源，可本地运行，也有云端API	节点图、模型、采样器与自定义节点	需要精细控制图像/视频模型的技术用户	脚本、审片、声音、剪辑和交付治理需要额外系统
Remotion	用React代码制作和渲染视频	负责确定性合成，不负责调研和生产编排	代码驱动，可本地渲染	React组件、时间轴、参数化数据	程序化视频、批量模板、数据可视化团队	需要开发能力，本身不是视频生成Agent
Sora / Veo等生成模型	从文本或参考图生成视频镜头	主要交付生成片段，不等于完整后期流程	闭源云模型	Prompt、参考图/视频和模型参数	英雄镜头、概念样片、素材生成	仍需脚本、资产管理、剪辑、声音、字幕和交付
Premiere Pro / DaVinci Resolve	专业非线性剪辑、调色、声音和交付	由人完成完整后期与精修	桌面专业软件	时间线、节点、调色台、音频和插件	商业项目最终精修与高要求交付	人工操作时间长，不负责自动调研和大规模Agent编排