33 lines
2.3 KiB
Markdown
33 lines
2.3 KiB
Markdown
|
---
|
|||
|
|
name: 漫剧管线完整化（声画+三视图）
|
|||
|
|
description: 苍耳漫剧制作管线补齐——配音/字幕/BGM/混音（Agent stage ⑥）+ Z-Image 角色多视图，全部本地零成本
|
|||
|
|
type: project
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# 漫剧管线完整化（2026-08-01）
|
|||
|
|
|
|||
|
|
## P1 声画装配（已完成+端到端验证）
|
|||
|
|
- `tools/audio_pipeline.py`：Edge-TTS 配音 + SRT 字幕 + BGM（stable_audio_3 默认禁用，降级 ffmpeg aevalsrc 和声）+ ffmpeg 混音
|
|||
|
|
- `agent_short_drama.py` 新增 stage ⑥ `stage_audio_pipeline`，`--until audio` 一键到有声成片
|
|||
|
|
- 实测：deep-sea-voyage 26 镜 12 条台词全配（林昊男声/旁白女声），BGM/字幕/混音全通过，最终成片 h264+aac ✅
|
|||
|
|
|
|||
|
|
## P2 三视图/四视图（已完成+工具化）
|
|||
|
|
- `tools/character_turnaround.py`：Z-Image 一张出 3/4 视图，prompt "character reference sheet, 4 views of SAME character..."
|
|||
|
|
- 实测：女生三视图（标准 front/side/back）✅；男生四视图（front/side/back/three-quarter）✅，角色一致性工业级
|
|||
|
|
- 不依赖 IPAdapter（IPAdapter 是 SDXL 版与 Z-Image 不兼容），Z-Image 单图多视图 prompt 足矣
|
|||
|
|
|
|||
|
|
## P3 技能库扩展
|
|||
|
|
- `skill/index.json`：从 6 技能扩到 9 技能，新增 👤 角色多视图、🎙 Edge-TTS 配音、🎛 声画装配
|
|||
|
|
- 待重启面板生效（前端 🧠 技能库 按钮可调）
|
|||
|
|
|
|||
|
|
## 关键技术决策
|
|||
|
|
- **生图统一 Z-Image**（爸爸判断 SDXL 效果不行——确认 Z-Image 强很多，角色一致性+画风都胜出）
|
|||
|
|
- **BGM stable_audio_3 默认禁用**：本地 ComfyUI 节点报"buffer multiple of 4"维度错误（VAE/latent shape 不匹配），调试成本高；降级 ffmpeg aevalsrc 单输入多频和声（4 sine 220/277/330/165Hz + lowpass 1500Hz），零依赖稳定可用
|
|||
|
|
- **ffmpeg 多 lavfi 输入偶发失败**：第二个 sine 输入被当文件名（"No such file"），改 aevalsrc 单输入多频表达式后稳定
|
|||
|
|
- **Edge-TTS 多角色音色**：根据分镜 characters 字段映射 zh-CN 音色（男=Yunxi、女=Xiaoxiao、旁白=Xiaoyi、少年=Yunyang、老人=Yunfeng）
|
|||
|
|
|
|||
|
|
## 待办
|
|||
|
|
- 字幕烧录到视频（subtitle-renderer 已具备，audio_pipeline 暂只生成 SRT 不烧录）
|
|||
|
|
- D144 声音复刻（需爸爸火山引擎控制台手动创建 Speaker ID，Edge-TTS 已兜底）
|
|||
|
|
- 真实剧本试跑一键短剧全链路（需豆包拆分镜 ¥0.01/集）
|