cang-ying/memory/eed/project_audio_pipeline.md

name, description, type

name	description	type
漫剧管线完整化（声画+三视图）	苍耳漫剧制作管线补齐——配音/字幕/BGM/混音（Agent stage ⑥）+ Z-Image 角色多视图，全部本地零成本	project

漫剧管线完整化（2026-08-01）

P1 声画装配（已完成+端到端验证）

• tools/audio_pipeline.py：Edge-TTS 配音 + SRT 字幕 + BGM（stable_audio_3 默认禁用，降级 ffmpeg aevalsrc 和声）+ ffmpeg 混音
• agent_short_drama.py 新增 stage ⑥ stage_audio_pipeline，--until audio 一键到有声成片
• 实测：deep-sea-voyage 26 镜 12 条台词全配（林昊男声/旁白女声），BGM/字幕/混音全通过，最终成片 h264+aac ✅

P2 三视图/四视图（已完成+工具化）

• tools/character_turnaround.py：Z-Image 一张出 3/4 视图，prompt "character reference sheet, 4 views of SAME character..."
• 实测：女生三视图（标准 front/side/back）✅；男生四视图（front/side/back/three-quarter）✅，角色一致性工业级
• 不依赖 IPAdapter（IPAdapter 是 SDXL 版与 Z-Image 不兼容），Z-Image 单图多视图 prompt 足矣

P3 技能库扩展

• skill/index.json：从 6 技能扩到 9 技能，新增 👤 角色多视图、🎙 Edge-TTS 配音、🎛 声画装配
• 待重启面板生效（前端 🧠 技能库 按钮可调）

关键技术决策

• 生图统一 Z-Image（爸爸判断 SDXL 效果不行——确认 Z-Image 强很多，角色一致性+画风都胜出）
• BGM stable_audio_3 默认禁用：本地 ComfyUI 节点报"buffer multiple of 4"维度错误（VAE/latent shape 不匹配），调试成本高；降级 ffmpeg aevalsrc 单输入多频和声（4 sine 220/277/330/165Hz + lowpass 1500Hz），零依赖稳定可用
• ffmpeg 多 lavfi 输入偶发失败：第二个 sine 输入被当文件名（"No such file"），改 aevalsrc 单输入多频表达式后稳定
• Edge-TTS 多角色音色：根据分镜 characters 字段映射 zh-CN 音色（男=Yunxi、女=Xiaoxiao、旁白=Xiaoyi、少年=Yunyang、老人=Yunfeng）

待办

• 字幕烧录到视频（subtitle-renderer 已具备，audio_pipeline 暂只生成 SRT 不烧录）
• D144 声音复刻（需爸爸火山引擎控制台手动创建 Speaker ID，Edge-TTS 已兜底）
• 真实剧本试跑一键短剧全链路（需豆包拆分镜 ¥0.01/集）

爸爸亲授·人物配音一致性（2026-08-04 D206 → EED-EXPER-026）

• 两法：①参考音频+提示词指定"xx人物声音=这段音频"直接绑定音色；②从视频找完美适合人物的配音→音频分离(stem分离)→用法①固定音色
• 与上面"Edge-TTS预设嗓"的关系：当前本地用 Edge-TTS 按角色字段映射预设嗓（男=Yunxi等），是"粗锁"；026 是"任意参考音色精锁"，更进一步
• 商用声线(火山/豆包/D144声音复刻)对应 026 法①的"参考音频克隆"；本地分离可用 demucs(¥0)
• 注意：参考音频要干净人声、情绪贴角色；声线全剧统一；商用涉及合规费用先问爸爸

爸爸亲授·BGM背景音乐方法论（2026-08-04 D206 → EED-EXPER-028）

• BGM 按叙事功能分类生成(至少三种)：情节铺垫型(低张力留白) / 故事推进型(中张力) / 矛盾爆发型(高张力强节奏)
• 剪辑衔接位：BGM 切换放"情节发生变化的地方"(转场/节奏换挡/情绪跳变)，音乐节点跟叙事节点对齐
• 还要片尾曲：成片结尾专门一段 ending theme，独立于正片 BGM
• 与上面"通用和声垫底"关系：当前 BGM=stable_audio_3禁用→降级ffmpeg和声(通用垫底)，028 要求升级为"按功能分类+衔接+片尾曲"的叙事 BGM
• 注意：分类跟剧本情绪曲线对齐；衔接位=情节变化处非每镜切；BGM/音乐版权用本地生成或免版税，商用先问爸爸