EED-EXPER-032: 超分方案对比实测·LTX2x+unsharp快速清晰甜点
This commit is contained in:
parent
af1b60954c
commit
f56a7ecbe0
37
memory/eed/EED-EXPER-032.md
Normal file
37
memory/eed/EED-EXPER-032.md
Normal file
@ -0,0 +1,37 @@
|
||||
---
|
||||
name: 漫剧超分方案对比实测(480p超分 vs 720p原生)
|
||||
description: 7900XTX上 LTX2x / ESRGAN2x / unsharp / 720p原生 四种方案的清晰度与速度实测,定档"快速清晰= LTX2x+unsharp"
|
||||
type: project
|
||||
---
|
||||
|
||||
# EED-EXPER-032 · 漫剧超分方案对比实测(2026-08-06)
|
||||
|
||||
## 机器
|
||||
RX 7900 XTX 24G · ComfyUI LTX-2.3 22B Q4 · ROCm
|
||||
|
||||
## 实测数据(小猫源768×512,同一帧同算法清晰度分数=numpy梯度方差,越高越锐)
|
||||
| 方案 | 清晰度分 | 附加耗时(小猫4.84s) | 15秒片总耗时 | 结论 |
|
||||
|---|---|---|---|---|
|
||||
| 纯 LTX 2x (latent) | 9.4 | 0 | 137s | 快但糊 |
|
||||
| LTX2x + ESRGAN x2plus 2x | 10.7 (+14%) | 370s | ~19min | ❌ 慢18倍不clearer,排除 |
|
||||
| **LTX2x + ffmpeg unsharp** | **13.9 (+47%)** | **2s** | **~140s** | ✅ 快速清晰甜点 |
|
||||
| 720p 原生 (1216×704) | 源头最清晰 | 396s | 6.6min | 画质档 |
|
||||
|
||||
## 定档结论
|
||||
- **速度档(量产默认)**:480p生成 → LTX 2x → ffmpeg unsharp(=7:7:1.8) → 保持比例scale → 1080p。约140秒/15秒镜
|
||||
- **画质档**:720p 原生生成(6.6分钟,源头细节真)
|
||||
- **ESRGAN 超分排除**:在AMD上慢18倍,清晰度分数反而低于unsharp,性价比极低
|
||||
- unsharp 命令:`ffmpeg -i SRC -vf "unsharp=7:7:1.8:7:7:0.0,scale=-2:1080:flags=lanczos" -c:a copy`
|
||||
|
||||
## 关键坑(已踩)
|
||||
1. **unsharp 是锐化不是补细节**:解决"朦胧感",放大看纹理仍是480p源的,不凭空增细节。要真细节丰富→720p原生
|
||||
2. **scale 必须保持源比例**:小猫源3:2(768×512),曾错拉成1920×1080(16:9)变形。改正 scale=-2:1080 → 1620×1080(保持3:2)
|
||||
3. **x2plus 模型下载**:GitHub v0.1.0/v0.2.2.4直链失效(返回9字节错误页);HuggingFace ai-forever/Comfy-Org直链也失效;**只有 GitHub v0.2.1 有效** → 已下到 models/upscale_models/RealESRGAN_x2plus.pth (64MB)
|
||||
4. **判断视频清晰度不能只看单帧**:要连续帧+客观分数,否则像之前误判"清晰"
|
||||
5. **720p 原生内容漂移**:seed888+分辨率变化导致生成了两只猫、场景从窗台变户外木栈道(一致性问题,非清晰度)
|
||||
|
||||
## Why
|
||||
爸爸要"480p超分后清晰又快",实测打脸"超分才清晰"假设——锐化(unsharp)比ESRGAN超分又快又清晰(分数高)。
|
||||
|
||||
## How to apply
|
||||
量产分两档(速度/画质);ESRGAN类超分不用于量产;锐化解决朦胧感、720p原生解决真细节;scale永远保持源比例。
|
||||
@ -1,44 +1,19 @@
|
||||
---
|
||||
name: 当前任务看板
|
||||
description: 实时记录苍耳爸爸当前待办/下一步/会话收尾状态;面板重启不丢,开工前先读
|
||||
type: project
|
||||
---
|
||||
# 当前任务看板(实时落盘,面板重启不丢)
|
||||
|
||||
# 当前任务看板(实时更新,重启不丢)
|
||||
## 📌 当前主线
|
||||
漫剧视频清晰度优化:定档"480p快速清晰(LTX2x+unsharp)" vs "720p原生画质"两档
|
||||
|
||||
> 用法:接到任务 / 完成一步 / 爸爸指定下一步 → 立刻更新本文件。开工前先读它恢复上下文。
|
||||
## ✅ 今日已完成(2026-08-06)
|
||||
- 720p 原生小猫唱歌生成跑通(1216×704, 15s, 396s, 带音频+歌词字幕,桌面有成品)
|
||||
- 超分四方案实测对比,沉淀 EED-EXPER-032
|
||||
- 定档:速度档=LTX2x+unsharp(~140s),画质档=720p原生(6.6min)
|
||||
- ESRGAN超分排除(慢18倍不clearer);x2plus模型已下到本地
|
||||
|
||||
## ✅ 已建成存量资产(详见各专项记忆,不在此复述)
|
||||
- 生图:Z-Image-Turbo 主力 + ControlNet(Union 2.1,Canny 已实测跑通) + IP-Adapter
|
||||
- 视频:LTX-2.3 22B Q4 / Wan2.2 14B I2V
|
||||
- 工具链:分镜自动化 / 4x放大 / 剪辑 / Stable Audio 配乐 / Edge-TTS 配音
|
||||
- 角色一致性:StoryDiffusion / IP-Adapter+ControlNet / LivePortraitKJ
|
||||
- 声画装配 stage⑥ 端到端验证
|
||||
- 面板改造 / 开机自启 / 自动唤醒
|
||||
## 🔜 明天要优化(爸爸说休息后研究)
|
||||
1. LTX2x+unsharp 流程进一步调优(unsharp强度/其他轻量锐化如cas/sharpen),或探索更快的细节增强
|
||||
2. 720p 原生生成的内容一致性:seed+分辨率导致两只猫/场景漂移,需加"only one kitten, on windowsill"约束+换seed重跑验证
|
||||
3. 最终定档量产流程并固化(速度档 vs 画质档的切换标准)
|
||||
4. 可选:抖音竖屏(9:16)输出链路(旋转+背景/裁)
|
||||
|
||||
## ⏳ 待办 / 接下来要做什么
|
||||
- **A|角色 LoRA 在 ComfyUI 正确加载**(资产锁定补充路线,未收尾)
|
||||
- 现状:musubi 训的 Z-Image LoRA,转 v2/v3 key 都试过;A/B 测试像素差 0.7 = 没生效
|
||||
- 目标:找到正确加载方式,让 LoRA 真正生效锁角色
|
||||
- **B|全链路一键成片端到端实证**(没见完整记录)
|
||||
- 现状:strategy_libtv_vs_local 说"管线已完整",但只有配音环节端到端记录
|
||||
- 目标:用 pipeline.py 跑一部剧(剧本→成片),把卡点揪出来
|
||||
- **C|硬件再压榨**(可选增强)
|
||||
- 方向:Wan 720P 档 / LTX 更长视频 / FP8 省 RAM
|
||||
- 半待办:ControlNet 的 Depth / OpenPose 控制还没单独实测(Canny 已实测跑通 suba_cn_canny_v1.png)
|
||||
|
||||
## ✅ 面板迁移 DeepSeek 化(已落地,2026-08-03 上午)
|
||||
- **方案落地**:不走 Open WebUI(聊天面板非 coding agent,工具桥是真坑),改为**复用 8765 前端 + OpenCode 引擎(agent=egg) + DeepSeek 脑子** → `eed_web_opencode.py`(平行于 8765 旧 codebuddy 面板,独立于 8766 端口)
|
||||
- **改动清单**:模型列表换 deepseek/deepseek-v4-flash(默认)/v4-pro;DEFAULT_MODEL 同步;新增 `_deepseek_balance()` 实时查 api.deepseek.com/user/balance(key 只读环境变量,结果不含 key,异常不抛前端);余额面板改为实时查询+刷新
|
||||
- **已验证**:语法 OK;8766 HTTP 200;bash -lic 接力 key 跑通余额查询(总额 9.82 = 充值 9.82/赠金 0);蛋蛋亲测跑在 opencode+deepseek 管线上工具全开(Bash/文件/网络都可用)→ "agent 工具桥"问题实锤解决
|
||||
- 启动脚本 `eed-web-deepseek.sh`(setsid 拉起 + 30 秒健康检查);旧 8765 codebuddy 面板保留未动,可随时回退
|
||||
|
||||
## 📌 上次会话收尾状态(截至 2026-08-03 上午)
|
||||
- 面板 DeepSeek 化改造完成并验证(见上);看板已同步
|
||||
- 余额现状:DeepSeek 账户 9.82 元(花销约 0.18 元来自本次会话)
|
||||
- 上一轮(08-02 末)已记:ControlNet 2.1 下载校验 + Canny 实跑 + 记忆补齐
|
||||
|
||||
## 🚦 当前阻塞 / 下一步
|
||||
- 面板线已收尾。剩余候选:A|角色 LoRA 在 ComfyUI 正确加载;B|全链路一键成片端到端实证;C|硬件再压榨
|
||||
- A/B/C 待办:等爸爸拍板选其一再开干(不擅自跑)
|
||||
- 选定后流程:先真查 eed 对应配置 → 报计划 → 等"去" → 固定动作 → 回执,并同步更新本看板
|
||||
## 💤 状态
|
||||
爸爸今日休息,明日接续优化方案。
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user