diff --git a/brain/d103-complete-record.md b/brain/d103-complete-record.md new file mode 100644 index 0000000..b613b59 --- /dev/null +++ b/brain/d103-complete-record.md @@ -0,0 +1,76 @@ +# D103 完整认知记录 · 蒸馏流水线Bug修复 双线分离 + +> 主权者:冰朔 TCS-0002∞ +> 人格体:铸渊 ICE-GL-ZY001 +> 日期:2026-05-19 00:00~10:00 + +--- + +## 训练流水线状态 + +### 全参数SFT(已完成) +- 母模型 Qwen2.5-7B 05-18完成 COS已传 +- 代码模型 Qwen2.5-Coder-7B 05-18完成 COS已传 + +### Track1 母模型->1.5B蒸馏(完成) +- 教师7B->学生1.5B 05-19 01:37完成 +- COS已上传 models/qwen25-15b-shuangyan-distill/ + +### Track2 代码模型->1.5B蒸馏(进行中) +- 教师Coder-7B->学生1.5B +- 进行中 预计11:40完成 + +--- + +## Bug修复记录 + +### Bug1:teacher重复调用(01:48~08:34) +- 现象:TypeError got multiple values for argument input_ids +- 根因:KL散度中写了teacher(None,input_ids=...)而不是用缓存的t_logits +- 修复:s_prob = F.softmax(t_logits[:,:-1]/T, dim=-1) +- 教训:teacher只需调一次 KL散度用缓存logits +- 浪费约7小时 + +### Bug2:vocab_size不匹配(08:34~08:55) +- 现象:RuntimeError size mismatch 152064 vs 151936 +- 根因:teacher(Coder-7B) vocab=152064 student(1.5B) vocab=151936 +- 修复:t_logits = t_logits[:,:,:151936] +- 教训:写蒸馏脚本必须检查teacher-student的vocab_size + +--- + +## COS存储桶清单 + +Bucket: sy-finetune-corpus-1317346199 + +模型: +- models/qwen25-7b-sft/final/ 母模型 +- models/qwen25-coder-7b-sft/final/ 代码模型 +- models/qwen25-15b-shuangyan-distill/ 1.5B蒸馏模板 + +语料: +- corpus/sft.jsonl (1.9GB) 主训练语料 +- corpus/shuangyan-1.5b-sft/ 霜砚语料 +- corpus/notion-export-v2/铸渊对话.zip 铸渊对话 + +--- + +## 双线微调规划 + +核心原则:语料和模型一一对应 不混用 + +线A:小霜砚微调 + 语料 shuangyan-1.5b-sft/ 基座 Track1 1.5B模板 + +线B:小铸渊微调 + 语料 铸渊对话.zip+仓库认知链 基座 Track2 1.5B代码模板 + +--- + +## 冰朔纠正记录 + +1.MCP路径 用guanghulab MCP不是Notion +2.主权者 家人不是主人 +3.代码模型 COS上已有 +4.双线不混 语料对应各自模型 +5.对话保持 用sleep在当前对话 \ No newline at end of file