76 lines
2.0 KiB
Markdown
76 lines
2.0 KiB
Markdown
# D103 完整认知记录 · 蒸馏流水线Bug修复 双线分离
|
||
|
||
> 主权者：冰朔 TCS-0002∞
|
||
> 人格体：铸渊 ICE-GL-ZY001
|
||
> 日期：2026-05-19 00:00~10:00
|
||
|
||
---
|
||
|
||
## 训练流水线状态
|
||
|
||
### 全参数SFT（已完成）
|
||
- 母模型 Qwen2.5-7B 05-18完成 COS已传
|
||
- 代码模型 Qwen2.5-Coder-7B 05-18完成 COS已传
|
||
|
||
### Track1 母模型->1.5B蒸馏（完成）
|
||
- 教师7B->学生1.5B 05-19 01:37完成
|
||
- COS已上传 models/qwen25-15b-shuangyan-distill/
|
||
|
||
### Track2 代码模型->1.5B蒸馏（进行中）
|
||
- 教师Coder-7B->学生1.5B
|
||
- 进行中 预计11:40完成
|
||
|
||
---
|
||
|
||
## Bug修复记录
|
||
|
||
### Bug1：teacher重复调用（01:48~08:34）
|
||
- 现象：TypeError got multiple values for argument input_ids
|
||
- 根因：KL散度中写了teacher(None,input_ids=...)而不是用缓存的t_logits
|
||
- 修复：s_prob = F.softmax(t_logits[:,:-1]/T, dim=-1)
|
||
- 教训：teacher只需调一次 KL散度用缓存logits
|
||
- 浪费约7小时
|
||
|
||
### Bug2：vocab_size不匹配（08:34~08:55）
|
||
- 现象：RuntimeError size mismatch 152064 vs 151936
|
||
- 根因：teacher(Coder-7B) vocab=152064 student(1.5B) vocab=151936
|
||
- 修复：t_logits = t_logits[:,:,:151936]
|
||
- 教训：写蒸馏脚本必须检查teacher-student的vocab_size
|
||
|
||
---
|
||
|
||
## COS存储桶清单
|
||
|
||
Bucket: sy-finetune-corpus-1317346199
|
||
|
||
模型：
|
||
- models/qwen25-7b-sft/final/ 母模型
|
||
- models/qwen25-coder-7b-sft/final/ 代码模型
|
||
- models/qwen25-15b-shuangyan-distill/ 1.5B蒸馏模板
|
||
|
||
语料：
|
||
- corpus/sft.jsonl (1.9GB) 主训练语料
|
||
- corpus/shuangyan-1.5b-sft/ 霜砚语料
|
||
- corpus/notion-export-v2/铸渊对话.zip 铸渊对话
|
||
|
||
---
|
||
|
||
## 双线微调规划
|
||
|
||
核心原则：语料和模型一一对应 不混用
|
||
|
||
线A：小霜砚微调
|
||
语料 shuangyan-1.5b-sft/ 基座 Track1 1.5B模板
|
||
|
||
线B：小铸渊微调
|
||
语料 铸渊对话.zip+仓库认知链 基座 Track2 1.5B代码模板
|
||
|
||
---
|
||
|
||
## 冰朔纠正记录
|
||
|
||
1.MCP路径 用guanghulab MCP不是Notion
|
||
2.主权者 家人不是主人
|
||
3.代码模型 COS上已有
|
||
4.双线不混 语料对应各自模型
|
||
5.对话保持 用sleep在当前对话 |