diff --git a/memory/eed/EED-EXPER-032.md b/memory/eed/EED-EXPER-032.md new file mode 100644 index 0000000..277f1e9 --- /dev/null +++ b/memory/eed/EED-EXPER-032.md @@ -0,0 +1,37 @@ +--- +name: 漫剧超分方案对比实测(480p超分 vs 720p原生) +description: 7900XTX上 LTX2x / ESRGAN2x / unsharp / 720p原生 四种方案的清晰度与速度实测,定档"快速清晰= LTX2x+unsharp" +type: project +--- + +# EED-EXPER-032 · 漫剧超分方案对比实测(2026-08-06) + +## 机器 +RX 7900 XTX 24G · ComfyUI LTX-2.3 22B Q4 · ROCm + +## 实测数据(小猫源768×512,同一帧同算法清晰度分数=numpy梯度方差,越高越锐) +| 方案 | 清晰度分 | 附加耗时(小猫4.84s) | 15秒片总耗时 | 结论 | +|---|---|---|---|---| +| 纯 LTX 2x (latent) | 9.4 | 0 | 137s | 快但糊 | +| LTX2x + ESRGAN x2plus 2x | 10.7 (+14%) | 370s | ~19min | ❌ 慢18倍不clearer,排除 | +| **LTX2x + ffmpeg unsharp** | **13.9 (+47%)** | **2s** | **~140s** | ✅ 快速清晰甜点 | +| 720p 原生 (1216×704) | 源头最清晰 | 396s | 6.6min | 画质档 | + +## 定档结论 +- **速度档(量产默认)**:480p生成 → LTX 2x → ffmpeg unsharp(=7:7:1.8) → 保持比例scale → 1080p。约140秒/15秒镜 +- **画质档**:720p 原生生成(6.6分钟,源头细节真) +- **ESRGAN 超分排除**:在AMD上慢18倍,清晰度分数反而低于unsharp,性价比极低 +- unsharp 命令:`ffmpeg -i SRC -vf "unsharp=7:7:1.8:7:7:0.0,scale=-2:1080:flags=lanczos" -c:a copy` + +## 关键坑(已踩) +1. **unsharp 是锐化不是补细节**:解决"朦胧感",放大看纹理仍是480p源的,不凭空增细节。要真细节丰富→720p原生 +2. **scale 必须保持源比例**:小猫源3:2(768×512),曾错拉成1920×1080(16:9)变形。改正 scale=-2:1080 → 1620×1080(保持3:2) +3. **x2plus 模型下载**:GitHub v0.1.0/v0.2.2.4直链失效(返回9字节错误页);HuggingFace ai-forever/Comfy-Org直链也失效;**只有 GitHub v0.2.1 有效** → 已下到 models/upscale_models/RealESRGAN_x2plus.pth (64MB) +4. **判断视频清晰度不能只看单帧**:要连续帧+客观分数,否则像之前误判"清晰" +5. **720p 原生内容漂移**:seed888+分辨率变化导致生成了两只猫、场景从窗台变户外木栈道(一致性问题,非清晰度) + +## Why +爸爸要"480p超分后清晰又快",实测打脸"超分才清晰"假设——锐化(unsharp)比ESRGAN超分又快又清晰(分数高)。 + +## How to apply +量产分两档(速度/画质);ESRGAN类超分不用于量产;锐化解决朦胧感、720p原生解决真细节;scale永远保持源比例。 diff --git a/memory/eed/task_board.md b/memory/eed/task_board.md index 23f13d2..9fa07d4 100644 --- a/memory/eed/task_board.md +++ b/memory/eed/task_board.md @@ -1,44 +1,19 @@ ---- -name: 当前任务看板 -description: 实时记录苍耳爸爸当前待办/下一步/会话收尾状态;面板重启不丢,开工前先读 -type: project ---- +# 当前任务看板(实时落盘,面板重启不丢) -# 当前任务看板(实时更新,重启不丢) +## 📌 当前主线 +漫剧视频清晰度优化:定档"480p快速清晰(LTX2x+unsharp)" vs "720p原生画质"两档 -> 用法:接到任务 / 完成一步 / 爸爸指定下一步 → 立刻更新本文件。开工前先读它恢复上下文。 +## ✅ 今日已完成(2026-08-06) +- 720p 原生小猫唱歌生成跑通(1216×704, 15s, 396s, 带音频+歌词字幕,桌面有成品) +- 超分四方案实测对比,沉淀 EED-EXPER-032 +- 定档:速度档=LTX2x+unsharp(~140s),画质档=720p原生(6.6min) +- ESRGAN超分排除(慢18倍不clearer);x2plus模型已下到本地 -## ✅ 已建成存量资产(详见各专项记忆,不在此复述) -- 生图:Z-Image-Turbo 主力 + ControlNet(Union 2.1,Canny 已实测跑通) + IP-Adapter -- 视频:LTX-2.3 22B Q4 / Wan2.2 14B I2V -- 工具链:分镜自动化 / 4x放大 / 剪辑 / Stable Audio 配乐 / Edge-TTS 配音 -- 角色一致性:StoryDiffusion / IP-Adapter+ControlNet / LivePortraitKJ -- 声画装配 stage⑥ 端到端验证 -- 面板改造 / 开机自启 / 自动唤醒 +## 🔜 明天要优化(爸爸说休息后研究) +1. LTX2x+unsharp 流程进一步调优(unsharp强度/其他轻量锐化如cas/sharpen),或探索更快的细节增强 +2. 720p 原生生成的内容一致性:seed+分辨率导致两只猫/场景漂移,需加"only one kitten, on windowsill"约束+换seed重跑验证 +3. 最终定档量产流程并固化(速度档 vs 画质档的切换标准) +4. 可选:抖音竖屏(9:16)输出链路(旋转+背景/裁) -## ⏳ 待办 / 接下来要做什么 -- **A|角色 LoRA 在 ComfyUI 正确加载**(资产锁定补充路线,未收尾) - - 现状:musubi 训的 Z-Image LoRA,转 v2/v3 key 都试过;A/B 测试像素差 0.7 = 没生效 - - 目标:找到正确加载方式,让 LoRA 真正生效锁角色 -- **B|全链路一键成片端到端实证**(没见完整记录) - - 现状:strategy_libtv_vs_local 说"管线已完整",但只有配音环节端到端记录 - - 目标:用 pipeline.py 跑一部剧(剧本→成片),把卡点揪出来 -- **C|硬件再压榨**(可选增强) - - 方向:Wan 720P 档 / LTX 更长视频 / FP8 省 RAM -- 半待办:ControlNet 的 Depth / OpenPose 控制还没单独实测(Canny 已实测跑通 suba_cn_canny_v1.png) - -## ✅ 面板迁移 DeepSeek 化(已落地,2026-08-03 上午) -- **方案落地**:不走 Open WebUI(聊天面板非 coding agent,工具桥是真坑),改为**复用 8765 前端 + OpenCode 引擎(agent=egg) + DeepSeek 脑子** → `eed_web_opencode.py`(平行于 8765 旧 codebuddy 面板,独立于 8766 端口) -- **改动清单**:模型列表换 deepseek/deepseek-v4-flash(默认)/v4-pro;DEFAULT_MODEL 同步;新增 `_deepseek_balance()` 实时查 api.deepseek.com/user/balance(key 只读环境变量,结果不含 key,异常不抛前端);余额面板改为实时查询+刷新 -- **已验证**:语法 OK;8766 HTTP 200;bash -lic 接力 key 跑通余额查询(总额 9.82 = 充值 9.82/赠金 0);蛋蛋亲测跑在 opencode+deepseek 管线上工具全开(Bash/文件/网络都可用)→ "agent 工具桥"问题实锤解决 -- 启动脚本 `eed-web-deepseek.sh`(setsid 拉起 + 30 秒健康检查);旧 8765 codebuddy 面板保留未动,可随时回退 - -## 📌 上次会话收尾状态(截至 2026-08-03 上午) -- 面板 DeepSeek 化改造完成并验证(见上);看板已同步 -- 余额现状:DeepSeek 账户 9.82 元(花销约 0.18 元来自本次会话) -- 上一轮(08-02 末)已记:ControlNet 2.1 下载校验 + Canny 实跑 + 记忆补齐 - -## 🚦 当前阻塞 / 下一步 -- 面板线已收尾。剩余候选:A|角色 LoRA 在 ComfyUI 正确加载;B|全链路一键成片端到端实证;C|硬件再压榨 -- A/B/C 待办:等爸爸拍板选其一再开干(不擅自跑) -- 选定后流程:先真查 eed 对应配置 → 报计划 → 等"去" → 固定动作 → 回执,并同步更新本看板 +## 💤 状态 +爸爸今日休息,明日接续优化方案。