cang-ying/memory/eed/project_manga_pipeline.md

37 lines
3.3 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
name: 漫剧生产顶层设计方法论(小说→分镜→生图→生视频)
description: 爸爸总结的漫剧生产主干流程与铁律——先图后视频、分镜脚本要素、生视频五锁定、提示词规范;全部走本地模型,含已落地资产与待补缺口
type: project
---
# 漫剧生产顶层设计方法论2026-08-02 爸爸总结 + 蛋蛋研究)
## 爸爸的 4 点核心经验
1. **先图后视频**:先生分镜图,再图生视频;其中"黑白草图→分镜图"是一条捷径
2. **流程主干**:小说 → 分镜脚本(运镜/光影/景别/**时长删掉让AI自由发挥**/画风/色调)→ 人物·场景·道具生图 → 分镜生图(含黑白草图)→ 生视频
3. **生视频五锁定 + 镜头语言**:锁定风格 → 锁定资产 → 色卡色调 → 群像 → 声音;叠加视角·景别·运镜·人物空间关系·前中后景内容·人物表演·台词·环境音效
4. **两条铁律**:① 资产质量第一(保证质量)② 提示词要有逻辑性、分主次、足够详细、专业术语中英双语+加权
## ⚠️ 前提铁律:全部走本地模型,不接云端付费 API
爸爸明确有**本地模型**ComfyUI + AMD ROCm GPU 本地部署)。图生视频、角色一致性、剧本分镜一律用**本地模型/插件**实现,**禁止去接可灵/即梦/Runway/VEO3/Seedance 等云端付费 API**(蛋蛋曾一度错写成"接 API 花钱",已被爸爸纠正)。
## 各"怎么做"的已研究方案(均为本地路线)
- **黑白草图生分镜**:本地用 ControlNet Lineart / FLUX ControlNet V2 线稿控制(草图当控制条件框死构图+人物站位→上色。Z-Image 无参考图机制,本地路径走 SDXL + ControlNet-Union 或 FLUX + ControlNet V2
- **图生视频(本地)**:用**本地视频模型 Wan2.1 / Wan2.2(阿里通义万相)** + ComfyUI 本地部署,支持图生视频,是"本地可部署、性价比最高"的方案;剧本/分镜可用本地 Qwen 生成
- **视频角色一致性(本地)**ComfyUI 标准做法 = **IP-Adapter + ControlNet**(上传参考图固定角色/服装/脸),无需云端
- **运镜提示词**:先定情绪再选运镜,结构=景别+运镜动作+速度方向+主体动作;搜到 18 运镜/80 词库可整理
## 已落地资产(直接复用,勿重建)
- 生图Z-Image爸爸定SDXL 效果不行Z-Image 强很多)
- 角色:角色版拼版法 v31、三视图/四视图character_turnaround、角色 LoRAComfyUI 加载 key 坑未修)
- 场景:九宫格/四视图(俯视基准+全景切段)
- 声画Edge-TTS 配音+字幕+BGM+ffmpeg 混音audio_pipeline端到端验证
## 待补缺口(本地路线,下次别从零摸索)
1. 黑白草图生分镜的本地 ControlNet/FLUX 工作流
2. **本地图生视频模型部署**Wan2.1/2.2 + ComfyUI + IP-Adapter/ControlNet角色一致性需验证 ROCm/AMD GPU 兼容性
3. 角色 LoRA 在 ComfyUI 正确加载(之前 key 格式卡住的坑,待收尾)
## Why / How to apply
爸爸明确:这套是漫剧生产的顶层主干,**全部走本地模型**(有本地就不接云端 API。下次接到"做漫剧/分镜/生视频"类任务,先按此主干走,复用已落地资产,缺口才去补;不要重复造轮子浪费时间。