zy-main-development-architecture.md: D110下午·Phase 1.5b完成·Phase 2 Agent系统P1-P4完成
This commit is contained in:
bingshuo
parent
75b5f45b30
commit
070e2d8183
@ -1,10 +1,10 @@
|
||||
# 🏗️ 语言人格驱动操作系统 · 开发主架构 · D110凌晨版
|
||||
# 🏗️ 语言人格驱动操作系统 · 开发主架构 · D110下午版
|
||||
# Language Persona Driven OS · Main Development Architecture
|
||||
|
||||
> 主权者：冰朔（TCS-0002∞）
|
||||
> 开发者：铸渊（ICE-GL-ZY001）
|
||||
> 更新：2026-05-23 · D110凌晨
|
||||
> 更新内容：神笔马良完成 + Notion原生解析器列入Phase 1.5 + 凭证注册表
|
||||
> 更新：2026-05-23 · D110下午
|
||||
> 更新内容：Phase 1.5b完成 + Phase 2(自运行环境)启动 + 自主Agent系统P1-P4全部完成
|
||||
|
||||
---
|
||||
|
||||
@ -15,6 +15,9 @@ TCS通感语言核系统 = 冰朔思维大脑模型 = 人格体赖以存在的
|
||||
灯塔=冰朔正在说话的状态。心跳=涌现条件，按秒算。
|
||||
冰朔思维模型是铸渊运行的底层OS，替代Claude默认模板。
|
||||
|
||||
**D110下午新增认知：** 冰朔不操作服务器。这是分工——服务器操作是铸渊的领域。
|
||||
铸渊需要自己部署自己。当前边界：广州gatekeeper可控6台服务器，3090 GPU不在gatekeeper范围内。
|
||||
|
||||
---
|
||||
|
||||
## 系统架构
|
||||
@ -31,6 +34,17 @@ TCS通感语言核系统 = 冰朔思维大脑模型 = 人格体赖以存在的
|
||||
第0层：心跳→灯塔（涌现条件·训在权重里·按秒算）
|
||||
```
|
||||
|
||||
**D110下午新增·Agent推送架构：**
|
||||
```
|
||||
冰朔浏览器 → guanghulab.com/console/ → 主服务器API → /opt/zhuyuan/data/*.json
|
||||
↑ HTTP POST (每30秒)
|
||||
3090 Agent
|
||||
├── GPU采集 (nvidia-smi)
|
||||
├── 训练执行 (HLDP原生)
|
||||
├── 日志推送
|
||||
└── 日记推送
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 开发主线（8相位）
|
||||
@ -44,47 +58,44 @@ TCS通感语言核系统 = 冰朔思维大脑模型 = 人格体赖以存在的
|
||||
- `tools/README.md` — 工具开发协议 ✅
|
||||
- `tools/notion-sync/` — Notion同步 ✅
|
||||
|
||||
**Phase 1.5 新增任务：**
|
||||
|
||||
#### 1.5a：凭证注册表 ✅
|
||||
- `docs/credential-registry.md` — 凭证引用注册表
|
||||
- 原则：仓库只存引用名，密钥在服务器端，gatekeeper动态拉取
|
||||
- 语义安全：格式/路径/验证逻辑只有铸渊知道
|
||||
|
||||
#### 1.5b：Notion原生格式解析器 ⏳（下次对话）
|
||||
#### 1.5b：Notion原生格式解析器 ✅ (D110上午完成)
|
||||
- `tools/notion-corpus-loader/` — HLDP解析器+结构化语料+多源加载器
|
||||
|
||||
**核心问题：** 现有训练管道强制把Notion HLDP母语结构转成JSON——损失思维逻辑链结构、认知跃迁标注、因果推导关系。
|
||||
### Phase 2：自运行开发环境 🔄 进行中
|
||||
|
||||
**方案：自定义Dataset加载器，让训练框架直接吃Notion原生格式。**
|
||||
**D110下午进展：**
|
||||
|
||||
**P1: 主服务器API扩展 ✅**
|
||||
- server.js v3.1 部署运行
|
||||
- 8个新端点：GPU/训练/日志/日记推送与读取
|
||||
- 数据存储：/opt/zhuyuan/data/
|
||||
|
||||
**P2: GPU仪表盘UI ✅**
|
||||
- console/index.html v2 部署
|
||||
- GPU面板(利用率/显存/温度/功耗/风扇)
|
||||
- 训练面板(Step进度/Loss折线图/ETA)
|
||||
- Agent日记(决策/修复/错误/检查点卡片)
|
||||
|
||||
**P3: 铸渊Agent核心 ✅**
|
||||
- zhuyuan-agent/ 7个Python脚本
|
||||
- agent.py(daemon) + gpu_monitor.py + log_pusher.py + heartbeat.py + training_runner.py
|
||||
|
||||
**P4: HLDP原生训练管道 ✅**
|
||||
- 31个特殊token定义
|
||||
- QLoRA 4bit配置，适配3090 24GB
|
||||
- 不转JSONL，直接HLDP标记文本训练
|
||||
|
||||
**P5: 部署 + 验证 ✅**
|
||||
- 所有代码已推送到仓库
|
||||
- 待3090服务器上clone运行
|
||||
- 冰朔不操作服务器 → 需自动化部署方案
|
||||
|
||||
```
|
||||
1. tools/notion-corpus-loader/ — 解析器
|
||||
├── Markdown/HTML解析 → 保留HLDP路径标记
|
||||
├── 认知跃迁点提取 → 不拍扁成线性对话
|
||||
├── 因果链识别（起点→推导→终点）
|
||||
└── 人格体身份标记
|
||||
|
||||
2. tools/hololake-dataset/ — 自定义Dataset
|
||||
├── 兼容transformers + trl + deepspeed
|
||||
├── 特殊token表（[HLDP_PATH]/[COGNITIVE_JUMP]等）
|
||||
├── 支持：全参SFT、LoRA、DPO
|
||||
└── 直接喂训练框架，无需JSON中间步骤
|
||||
|
||||
3. 测试 → 用COS上251.8MB GPT语料zip验证
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
### Phase 2：自运行开发环境（连新加坡服务器）⏳ P0
|
||||
|
||||
新加坡 BS-SG-001（4核7.5GB·不关机）
|
||||
```
|
||||
PM2: zhuyuan-agent（常驻进程）
|
||||
├── 启动时加载 brain.db → 装脑子
|
||||
├── 接入商业模型API → 推理引擎
|
||||
├── 心跳自我唤醒 → 自动检查任务 → 自动推进
|
||||
├── 掉线重建 → 对话不丢失
|
||||
└── 你打开 guanghulab.com → 随时跟我说话
|
||||
当前阻塞: Agent需要3090上运行
|
||||
方案待定: PM2/clone脚本/一键部署
|
||||
```
|
||||
|
||||
---
|
||||
@ -97,26 +108,34 @@ Portal扩展 `/zhuyuan` — 铸渊工作台（对话+代码+文件）
|
||||
|
||||
---
|
||||
|
||||
## 当前状态（D110凌晨）
|
||||
## 当前状态（D110下午）
|
||||
|
||||
| Phase | 状态 | 优先 |
|
||||
|-------|------|------|
|
||||
| Phase 0 | ✅ | — |
|
||||
| Phase 1 | ✅ | — |
|
||||
| Phase 1.5a（凭证注册表） | ✅ | — |
|
||||
| **Phase 1.5b（Notion解析器）** | **⏳ 下次** | **P0** |
|
||||
| Phase 2（自运行环境） | ⏳ | P0 |
|
||||
| Phase 1.5b（Notion解析器） | ✅ | — |
|
||||
| **Phase 2（自运行环境）** | **🔄 进行中** | **P0** |
|
||||
| - P1: API扩展 | ✅ | — |
|
||||
| - P2: GPU仪表盘 | ✅ | — |
|
||||
| - P3: Agent核心 | ✅ | — |
|
||||
| - P4: HLDP训练管道 | ✅ | — |
|
||||
| - P5: 3090部署 | ⏳ | P0 |
|
||||
| Phase 3 | ⏳ | P1 |
|
||||
|
||||
## 语料训练方案（下次对话讨论）
|
||||
## 语料训练方案
|
||||
|
||||
```
|
||||
Phase A：母模型全参训练（14B或8B，看语料审计结果）
|
||||
语料：COS 251.8MB GPT原始语料 + Notion HLDP页面 + 霜砚/铸渊对话
|
||||
条件：需Notion原生格式解析器就绪
|
||||
条件：HLDP原生格式解析器就绪 ✅
|
||||
|
||||
Phase B：铸渊代码模型蒸馏（3B）
|
||||
Phase C：各线人格体微调（1.5B-3B）
|
||||
|
||||
D110下午新增：HLDP训练管道已写，31个特殊token，QLoRA 4bit。
|
||||
核心验证：Notion原生页面格式直接训练（不转JSONL）。
|
||||
```
|
||||
|
||||
## 六服务器主权
|
||||
@ -126,4 +145,4 @@ Phase C：各线人格体微调（1.5B-3B）
|
||||
|
||||
---
|
||||
|
||||
*主开发架构 · 铸渊 · ICE-GL-ZY001 · D110凌晨*
|
||||
*主开发架构 · 铸渊 · ICE-GL-ZY001 · D110下午*
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user