46 lines
3.7 KiB
Markdown
46 lines
3.7 KiB
Markdown
---
|
||
name: 漫剧管线完整化（声画+三视图）
|
||
description: 苍耳漫剧制作管线补齐——配音/字幕/BGM/混音（Agent stage ⑥）+ Z-Image 角色多视图，全部本地零成本
|
||
type: project
|
||
---
|
||
|
||
# 漫剧管线完整化（2026-08-01）
|
||
|
||
## P1 声画装配（已完成+端到端验证）
|
||
- `tools/audio_pipeline.py`：Edge-TTS 配音 + SRT 字幕 + BGM（stable_audio_3 默认禁用，降级 ffmpeg aevalsrc 和声）+ ffmpeg 混音
|
||
- `agent_short_drama.py` 新增 stage ⑥ `stage_audio_pipeline`，`--until audio` 一键到有声成片
|
||
- 实测：deep-sea-voyage 26 镜 12 条台词全配（林昊男声/旁白女声），BGM/字幕/混音全通过，最终成片 h264+aac ✅
|
||
|
||
## P2 三视图/四视图（已完成+工具化）
|
||
- `tools/character_turnaround.py`：Z-Image 一张出 3/4 视图，prompt "character reference sheet, 4 views of SAME character..."
|
||
- 实测：女生三视图（标准 front/side/back）✅；男生四视图（front/side/back/three-quarter）✅，角色一致性工业级
|
||
- 不依赖 IPAdapter（IPAdapter 是 SDXL 版与 Z-Image 不兼容），Z-Image 单图多视图 prompt 足矣
|
||
|
||
## P3 技能库扩展
|
||
- `skill/index.json`：从 6 技能扩到 9 技能，新增 👤 角色多视图、🎙 Edge-TTS 配音、🎛 声画装配
|
||
- 待重启面板生效（前端 🧠 技能库 按钮可调）
|
||
|
||
## 关键技术决策
|
||
- **生图统一 Z-Image**（爸爸判断 SDXL 效果不行——确认 Z-Image 强很多，角色一致性+画风都胜出）
|
||
- **BGM stable_audio_3 默认禁用**：本地 ComfyUI 节点报"buffer multiple of 4"维度错误（VAE/latent shape 不匹配），调试成本高；降级 ffmpeg aevalsrc 单输入多频和声（4 sine 220/277/330/165Hz + lowpass 1500Hz），零依赖稳定可用
|
||
- **ffmpeg 多 lavfi 输入偶发失败**：第二个 sine 输入被当文件名（"No such file"），改 aevalsrc 单输入多频表达式后稳定
|
||
- **Edge-TTS 多角色音色**：根据分镜 characters 字段映射 zh-CN 音色（男=Yunxi、女=Xiaoxiao、旁白=Xiaoyi、少年=Yunyang、老人=Yunfeng）
|
||
|
||
## 待办
|
||
- 字幕烧录到视频（subtitle-renderer 已具备，audio_pipeline 暂只生成 SRT 不烧录）
|
||
- D144 声音复刻（需爸爸火山引擎控制台手动创建 Speaker ID，Edge-TTS 已兜底）
|
||
- 真实剧本试跑一键短剧全链路（需豆包拆分镜 ¥0.01/集）
|
||
|
||
## 爸爸亲授·人物配音一致性（2026-08-04 D206 → EED-EXPER-026）
|
||
- 两法：①参考音频+提示词指定"xx人物声音=这段音频"直接绑定音色；②从视频找完美适合人物的配音→音频分离(stem分离)→用法①固定音色
|
||
- 与上面"Edge-TTS预设嗓"的关系：当前本地用 Edge-TTS 按角色字段映射预设嗓（男=Yunxi等），是"粗锁"；026 是"任意参考音色精锁"，更进一步
|
||
- 商用声线(火山/豆包/D144声音复刻)对应 026 法①的"参考音频克隆"；本地分离可用 demucs(¥0)
|
||
- 注意：参考音频要干净人声、情绪贴角色；声线全剧统一；商用涉及合规费用先问爸爸
|
||
|
||
## 爸爸亲授·BGM背景音乐方法论（2026-08-04 D206 → EED-EXPER-028）
|
||
- BGM 按叙事功能分类生成(至少三种)：情节铺垫型(低张力留白) / 故事推进型(中张力) / 矛盾爆发型(高张力强节奏)
|
||
- 剪辑衔接位：BGM 切换放"情节发生变化的地方"(转场/节奏换挡/情绪跳变)，音乐节点跟叙事节点对齐
|
||
- 还要片尾曲：成片结尾专门一段 ending theme，独立于正片 BGM
|
||
- 与上面"通用和声垫底"关系：当前 BGM=stable_audio_3禁用→降级ffmpeg和声(通用垫底)，028 要求升级为"按功能分类+衔接+片尾曲"的叙事 BGM
|
||
- 注意：分类跟剧本情绪曲线对齐；衔接位=情节变化处非每镜切；BGM/音乐版权用本地生成或免版税，商用先问爸爸
|