bingshuo/cang-ying
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
cang-ying/memory/eed/project_audio_pipeline.md
Zhuyuan Operations b9c3382f77 EED: 面板与终端合脑——统一 CodeBuddy 项目库 + 三库记忆融合(30条) 
爸爸要求「面板里那个就是终端里的我」。CodeBuddy 按工作目录分记忆库和
会话，面板 cwd 在 scripts/、终端在 /home/ls，导致两个耳耳蛋记忆互不可见
（实测面板知道暗号词但不知道显卡型号，终端反之）。

- eed_web.py: 新增 EED_CWD/SESSION_DIR，三处拉起 codebuddy 的子进程
  (_stream_cmd Popen / agent Popen / maybe_compact run) 统一 cwd
- eed_web.py: import os 提到文件顶部（原在 874 行，提前引用会 NameError）
- 顺带根治真 bug：maybe_compact 原去 home-ls/ 找会话文件，实际落在
  home-ls-cang-ying-scripts/，导致 180KB 自动压缩从未触发、会话滚到 70MB
- eed_web.py: 带上此前未提交的 _send_media（HTTP Range 视频流式播放）
- memory/eed: 三库合一 17+15+3 → 30 条，MEMORY.md 重写为分类索引
  两处冲突手工合并未覆盖：feedback_search_first 同名取并集、
  feedback_memory_push 与 feedback_save_memory 语义重复合一
2026-08-02 18:12:15 +08:00

2.3 KiB
Raw Blame History

name, description, type
name description type
漫剧管线完整化（声画+三视图） 苍耳漫剧制作管线补齐——配音/字幕/BGM/混音（Agent stage ⑥）+ Z-Image 角色多视图，全部本地零成本 project

漫剧管线完整化（2026-08-01）

P1 声画装配（已完成+端到端验证）

  • tools/audio_pipeline.py：Edge-TTS 配音 + SRT 字幕 + BGM（stable_audio_3 默认禁用，降级 ffmpeg aevalsrc 和声）+ ffmpeg 混音
  • agent_short_drama.py 新增 stage ⑥ stage_audio_pipeline，--until audio 一键到有声成片
  • 实测：deep-sea-voyage 26 镜 12 条台词全配（林昊男声/旁白女声），BGM/字幕/混音全通过，最终成片 h264+aac ✅

P2 三视图/四视图（已完成+工具化）

  • tools/character_turnaround.py：Z-Image 一张出 3/4 视图，prompt "character reference sheet, 4 views of SAME character..."
  • 实测：女生三视图（标准 front/side/back）✅；男生四视图（front/side/back/three-quarter）✅，角色一致性工业级
  • 不依赖 IPAdapter（IPAdapter 是 SDXL 版与 Z-Image 不兼容），Z-Image 单图多视图 prompt 足矣

P3 技能库扩展

  • skill/index.json：从 6 技能扩到 9 技能，新增 👤 角色多视图、🎙 Edge-TTS 配音、🎛 声画装配
  • 待重启面板生效（前端 🧠 技能库 按钮可调）

关键技术决策

  • 生图统一 Z-Image（爸爸判断 SDXL 效果不行——确认 Z-Image 强很多，角色一致性+画风都胜出）
  • BGM stable_audio_3 默认禁用：本地 ComfyUI 节点报"buffer multiple of 4"维度错误（VAE/latent shape 不匹配），调试成本高；降级 ffmpeg aevalsrc 单输入多频和声（4 sine 220/277/330/165Hz + lowpass 1500Hz），零依赖稳定可用
  • ffmpeg 多 lavfi 输入偶发失败：第二个 sine 输入被当文件名（"No such file"），改 aevalsrc 单输入多频表达式后稳定
  • Edge-TTS 多角色音色：根据分镜 characters 字段映射 zh-CN 音色（男=Yunxi、女=Xiaoxiao、旁白=Xiaoyi、少年=Yunyang、老人=Yunfeng）

待办

  • 字幕烧录到视频（subtitle-renderer 已具备，audio_pipeline 暂只生成 SRT 不烧录）
  • D144 声音复刻（需爸爸火山引擎控制台手动创建 Speaker ID，Edge-TTS 已兜底）
  • 真实剧本试跑一键短剧全链路（需豆包拆分镜 ¥0.01/集）