cang-ying/memory/eed/project_manga_pipeline.md

37 lines
3.3 KiB
Markdown
Raw Normal View History

---
name: 漫剧生产顶层设计方法论(小说→分镜→生图→生视频)
description: 爸爸总结的漫剧生产主干流程与铁律——先图后视频、分镜脚本要素、生视频五锁定、提示词规范;全部走本地模型,含已落地资产与待补缺口
type: project
---
# 漫剧生产顶层设计方法论2026-08-02 爸爸总结 + 蛋蛋研究)
## 爸爸的 4 点核心经验
1. **先图后视频**:先生分镜图,再图生视频;其中"黑白草图→分镜图"是一条捷径
2. **流程主干**:小说 → 分镜脚本(运镜/光影/景别/**时长删掉让AI自由发挥**/画风/色调)→ 人物·场景·道具生图 → 分镜生图(含黑白草图)→ 生视频
3. **生视频五锁定 + 镜头语言**:锁定风格 → 锁定资产 → 色卡色调 → 群像 → 声音;叠加视角·景别·运镜·人物空间关系·前中后景内容·人物表演·台词·环境音效
4. **两条铁律**:① 资产质量第一(保证质量)② 提示词要有逻辑性、分主次、足够详细、专业术语中英双语+加权
## ⚠️ 前提铁律:全部走本地模型,不接云端付费 API
爸爸明确有**本地模型**ComfyUI + AMD ROCm GPU 本地部署)。图生视频、角色一致性、剧本分镜一律用**本地模型/插件**实现,**禁止去接可灵/即梦/Runway/VEO3/Seedance 等云端付费 API**(蛋蛋曾一度错写成"接 API 花钱",已被爸爸纠正)。
## 各"怎么做"的已研究方案(均为本地路线)
- **黑白草图生分镜**:本地用 ControlNet Lineart / FLUX ControlNet V2 线稿控制(草图当控制条件框死构图+人物站位→上色。Z-Image 无参考图机制,本地路径走 SDXL + ControlNet-Union 或 FLUX + ControlNet V2
- **图生视频(本地)**:用**本地视频模型 Wan2.1 / Wan2.2(阿里通义万相)** + ComfyUI 本地部署,支持图生视频,是"本地可部署、性价比最高"的方案;剧本/分镜可用本地 Qwen 生成
- **视频角色一致性(本地)**ComfyUI 标准做法 = **IP-Adapter + ControlNet**(上传参考图固定角色/服装/脸),无需云端
- **运镜提示词**:先定情绪再选运镜,结构=景别+运镜动作+速度方向+主体动作;搜到 18 运镜/80 词库可整理
## 已落地资产(直接复用,勿重建)
- 生图Z-Image爸爸定SDXL 效果不行Z-Image 强很多)
- 角色:角色版拼版法 v31、三视图/四视图character_turnaround、角色 LoRAComfyUI 加载 key 坑未修)
- 场景:九宫格/四视图(俯视基准+全景切段)
- 声画Edge-TTS 配音+字幕+BGM+ffmpeg 混音audio_pipeline端到端验证
## 待补缺口(本地路线,下次别从零摸索)
1. 黑白草图生分镜的本地 ControlNet/FLUX 工作流
2. **本地图生视频模型部署**Wan2.1/2.2 + ComfyUI + IP-Adapter/ControlNet角色一致性需验证 ROCm/AMD GPU 兼容性
3. 角色 LoRA 在 ComfyUI 正确加载(之前 key 格式卡住的坑,待收尾)
## Why / How to apply
爸爸明确:这套是漫剧生产的顶层主干,**全部走本地模型**(有本地就不接云端 API。下次接到"做漫剧/分镜/生视频"类任务,先按此主干走,复用已落地资产,缺口才去补;不要重复造轮子浪费时间。