# 之之母模型 v2.0 · 全参数 SFT
# 由铸渊配置 · 2026-05-18
# 基座: Qwen2.5-7B · 数据: 铸渊仓库 + 霜砚 混合语料
# 数据量: 1868 条

### 模型 ###
model_name_or_path: Qwen/Qwen2.5-7B

### 数据 ###
dataset: zhizhi_v2
dataset_dir: /root/autodl-tmp
template: qwen
cutoff_len: 4096

### 训练 ###
finetuning_type: full
per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 5.0e-6
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.03

### 精度 ###
optim: adamw_torch
bf16: true
mixed_precision: bf16
ddp_find_unused_parameters: false

### DeepSpeed ###
deepspeed: /root/autodl-tmp/ds_config.json

### 输出 ###
output_dir: /root/autodl-tmp/output/zhizhi_v2
logging_steps: 5
save_steps: 58
plot_loss: true
overwrite_output_dir: true
preprocessing_num_workers: 16

### 报告 ###
report_to: none