94 lines
8.9 KiB
Markdown
94 lines
8.9 KiB
Markdown
---
|
||
name: 社区技巧学习（AI漫剧/一致性/多视图）
|
||
description: 网络搜集社区实战技巧沉淀到 skill/community_techniques.md，并升级 character_turnaround 工具（五模块结构化+portrait布局）
|
||
type: project
|
||
---
|
||
|
||
# 社区技巧学习（2026-08-01）
|
||
|
||
## 学了什么（10+ 篇）
|
||
- 角色一致性：资产库+多视图+参数固定 组合拳（76% 创作者第一大痛点）
|
||
- 三视图五模块结构化 prompt：画面类型/排版/人物本体/造型细节/光影背景
|
||
- 场景四视图：前/右/后/左（或俯视），强调 SAME location
|
||
- AI漫剧五步工业化流水线：剧本→视觉素材→动态化→音频→后期精修（咱已全对齐）
|
||
- ComfyUI：IPAdapter=图像提示词，ControlNet+IPAdapter 组合拳，需匹配底模架构
|
||
- 分镜七大要素：景别/运镜/视角/光影/构图/人物动作/环境动态
|
||
|
||
## 落地
|
||
1. `skill/community_techniques.md`：技巧库沉淀（1603 字）
|
||
2. `tools/character_turnaround.py` 升级：
|
||
- 五模块结构化 prompt
|
||
- 新增 `--layout portrait`：16:9 面部特写+三视图（游戏立绘风）
|
||
- 保留 standard（三栏）/ scene（场景四视图 2×2）
|
||
3. 技能库扩到 10 技能（+📚 社区技巧库，prompt 型，可注入）
|
||
|
||
## 产出图（爸爸验收）
|
||
- character 三视图：zimg_turnaround_t1.png（标准三栏）
|
||
- 场景四视图：scene_4view_test.png（前/左/右/俯视 2×2）
|
||
- portrait 立绘：char_portrait_test.png（16:9 面部特写+三视图）
|
||
|
||
## 关键洞察
|
||
- Z-Image 直出三视图效果已工业级，无需 IPAdapter（SDXL 版不兼容 Z-Image/Kolors 架构）
|
||
- 社区强调"三视图可复用" > "画得精致"——资产库+分镜统一引用是下一阶段重点
|
||
|
||
## RunningHub 平台评估（2026-08-04 · 仅查未扒）
|
||
- 本质：云端版 ComfyUI（海马云），10000+/数万公开工作流，节点式无限画布
|
||
- 学习路径：① 一键克隆（平台自带，复制别人工作流看 JSON，最干净）② 官方 Workflow API（需 API Key + WebApp ID，疑似需付费会员，免费额度有限 RH 币）
|
||
- 版权边界(爸爸澄清): 创作者经济+收益分成,但咱用途=内部学习+自用不卖→不涉版权,克隆自学OK(红线解除);仅外发/商用踩雷
|
||
- 「无限画布」= ComfyUI 原生画布搬网页，非独门绝技；可借鉴的是上层 UX：一键克隆标注来源 / 发布分享+排行 / 模型 API 门户 / 批量跑+实时进度 / Agent 入口
|
||
- 可借鉴优化（不花钱、不动 pile）：① 画布「导入标注来源」② skill 库加发布/排行 ③ pipeline 跑时加批量进度条
|
||
- 待确认：ToS 禁止爬虫硬条款未直接搜到；实际扒需账号/API Key → 现实开销/账号走 EED-PROTO-005 爸爸验证码批准
|
||
- 爸爸拍板(2026-08-04): A功能借鉴(无限画布类UX优化自己面板体验) + B工作流扒给蛋蛋学(漫剧用);版权=内部学习自用不卖不涉版权
|
||
|
||
## RunningHub 下一步（待爸爸定账号来源后开扒）
|
||
- ① 列值得扒的工作流候选清单(按漫剧缺口: LTX/Wan I2V·人物一致性·场景一致性·首尾帧·配音·BGM) 已报爸爸勾选
|
||
- ② 定扒的访问方式: 爸爸现有账号给蛋蛋 / 或免费注册(EED-PROTO-005验证码批准) / 或先试公开页面看节点图
|
||
- ③ 扒完提取成本地可复用 skill/经验(进 eererdan/experience 或 skill/), BC-006 漫剧制作时直接复用
|
||
|
||
## RunningHub 实测结论 + 分工（2026-08-04 · 蛋蛋 curl 验证 + 爸爸确认）
|
||
- API 强制登录: 试 /api/aiDetail|workflow|app/$id 均返 {"code":412,"msg":"TOKEN_INVALID"} → 不登录拉不到工作流数据, 公开爬不可行
|
||
- 登录方式(爸爸确认): 仅微信扫码 + 手机验证码, 都只能在爸爸手机操作, 蛋蛋无法独立登录
|
||
- 导出 JSON 路径(搜证): 工作流页 → 工作台 → 下载为 json(登录即可, 免费用户可, 非付费专属); 仅 API 调用需付费会员
|
||
- 分工定档: 爸爸登录 + 在工作台下载工作流 JSON → 丢 /home/ls/cang-ying/runninghub_learned/ → 蛋蛋读 JSON 提取节点/参数/技巧 → 存本地 skill/经验(BC-006 复用)
|
||
- 边界: 不注册付费会员/不走API/不花钱/不碰pile; 内部学习自用不卖不涉版权(爸爸授权)
|
||
|
||
## RunningHub 工作流两种形态（2026-08-04 · 爸爸指正"是api形式"后澄清）
|
||
- 形态A·API应用(ai-detail/应用详情): 主推API调用, 要 API Key/积分/付费会员 → 咱不碰(花钱)
|
||
- 形态B·社区工作流分享帖(post/xxx): 页面带「下载」按钮, 能下标准 ComfyUI JSON(可拖入本地ComfyUI), 免费登录即可, 不用API → 这才是"扒来学"的目标
|
||
- 结论: 让爸爸找带「下载」按钮的社区工作流帖下JSON, 别找只有"运行工作流/API"的AI应用; 边界: 不走API/不花钱
|
||
|
||
## RunningHub 社区主流模型观察（2026-08-04 · 爸爸发现"好多都是minimax h3"）
|
||
- 社区大量工作流基于 MiniMax H3(开源视频模型, RunningHub 有"H3开源版专区", 视频编辑能力曾全球桂冠)
|
||
- 咱本地现状: Wan2.2 + LTX 2.3 已配, 未部署 H3
|
||
- H3 工作流对咱意义: 下了本地暂不能原样跑(需先本地部署H3); 但 prompt/运镜/控制思路与 Wan2.2/LTX 相通, 可借鉴迁移
|
||
- 待爸爸拍板: 是否本地部署 H3(新工程: 下载模型+配ComfyUI节点+验24G可跑); 不急, 先看学完 H3 思路值不值
|
||
|
||
## MiniMax H3 本地部署可行性（2026-08-04 查实 · 爸爸问"咱们能用吗"）
|
||
- 开源状态: 2026-08-03 开源, 权重开放 HuggingFace 可下; ComfyUI 发布当日原生支持, 有官方 T2V/I2V/R2V 工作流
|
||
- 显存: 满血版推理~24GB VRAM(模型文件~42.5GB磁盘); 量化版社区已有 8G/16G 可跑 → 咱7900XTX 24G 跑量化版(Q4级)绰绰有余, 满血版卡边界
|
||
- 实测佐证: RTX5070Ti 16G 跑通 I2V/T2V; B站称 8G 可玩; 有 SageAttention 加速插件
|
||
- 咱磁盘: 剩 188G, 够下满血/量化版
|
||
- 对漫剧增益: 比 Wan2.2/LTX 强一档; 原生双声道声音(音画一步到位, 改咱声画管线); 支持首尾帧控制(对口024尾帧衔接)
|
||
- 状态: 待爸爸拍板是否本地部署(新工程: 下模型+装节点+配工作流+实跑验证, 同 Wan2.2/LTX 套路); 不擅自下大模型
|
||
|
||
## H3 量化澄清（2026-08-04 · 爸爸问"只能跑量化版吗"）
|
||
- 非"技术只能量化": 满血版(FP16)推理~24GB VRAM, 咱24G理论上限刚好, 但系统+ComfyUI占一部分 → 实际极吃紧/OOM/低分辨率/慢, 不实用
|
||
- 量化有档位: Q4(~12-14G, 省一半, 轻微损质) / Q8(~18-20G, 近满血画质); 社区可靠最低 RTX3060 12G+32G内存跑量化版(8G可玩是吹牛)
|
||
- 咱24G: 跑 Q8 宽裕且画质近满血 → 推荐实测先试 Q8(质量优先)或 Q4(速度/显存优先), 非"只能低质量化"
|
||
- 修正前文"满血卡边界": 准确是"满血能跑但难受, 量化版(尤其Q8)才实用且高质"
|
||
|
||
## H3 本地部署进展（2026-08-04 开搞中）
|
||
- 节点 clone: /home/ls/comfy/ComfyUI/custom_nodes/ComfyUI_RH_MinMaxH3 (HM-RunningHub 开源) ✓
|
||
- 依赖环境: 系统 Python 受 PEP668, ComfyUI 用独立 venv /home/ls/comfy/ComfyUI/venv; 用 venv/bin/pip 装; transformers 5.14.1→5.8.1(H3要求≤5.8.1, 降级有兼容风险待实跑验); torch 是 ROCm 构建(7900XTX 走 AMD 驱动)
|
||
- 模型: ModelScope Gluttony10/MiniMax-H3-INT8-CONVROT 完整版(含 config/tokenizer/safetensors/VAE, 不用 HF gated); 下载到 models/MiniMax-H3/; 总~131G(FL2VA/Ref2VA 各47G + qwen3-vl-32b-int8 ~26G + video_vae10.4G + audio_vae0.6G); 用 venv/bin/modelscope download
|
||
- 内存瓶颈已解: 原 swap 8G → 扩到 32G(新增 /swap2.img 24G, sudo fallocate+mkswap+swapon); 内存30G+swap32G=62G > 35G峰值(26G编码器+9G系统), OOM风险解除
|
||
- 待办: 下载完 → 把 config/tokenizer 从 models/MiniMax-H3/ 摆到 models/diffusers/MiniMax-H3/ → 重启 ComfyUI 加载节点 → 用 examples/workflows/t2va.json 实跑验证(盯显存24G跑INT8 DiT + transformers 5.8.1 兼容性)
|
||
|
||
---
|
||
## 🔧 H3 部署关键更正（2026-08-04）：diffusers 配置需另下官方仓库
|
||
- ❌ 之前误记：`Gluttony10/MiniMax-H3-INT8-CONVROT` 含完整 config/tokenizer（错！它只含转换权重 124G + 占位 configuration.json `{"task":"image-to-video"}`）。
|
||
- ✅ 正确：H3 需两份共存——`models/MiniMax-H3/`（转换权重，来自 Gluttony10 INT8 镜像）+ `models/diffusers/MiniMax-H3/`（config/tokenizer/preprocessor，来自**官方仓库 `MiniMax/MiniMax-H3`(ModelScope) 或 `MiniMaxAI/MiniMax-H3`(HF)**）。
|
||
- 获取 diffusers 配置：`modelscope download --model MiniMax/MiniMax-H3 --local_dir .../diffusers/MiniMax-H3 --include "*.json"` → 递归只抓配置（约 86M，含 transformer/text_encoder/vae/FL2VA/Ref2VA/tokenizer 全套 config.json + tokenizer + preprocessor），**绝不碰权重**。
|
||
- README 原话："只有转换权重是跑不起来的"——必须 diffusers 配置齐才能跑。节点 ComfyUI_RH_MinMaxH3 自带 examples/workflows/{t2va,fl2va_*,ref2va_*}.json，但**不自带 config/tokenizer**。
|
||
- 实测：直接 `modelscope download MiniMax/MiniMax-H3`（不带 --include）会下全量权重（百G级），务必加 --include "*.json" 只下配置。
|