从零手搓M0~M6现代架构I0~I7

2026 5 篇

10 月 5

lvchat 实现导图:主干先行,局部进化,持续验收

按能力层级划分为六个阶段:第一阶段(从零手搓 LLM,M0~M6)已 7/7 完整交付;第二阶段(当前阶段,进度 6/7)已完成 I0~I5 主线与 CUDA、ModelV4 / Qwen3 两个番外,主线下一站 I6 领域后训练打榜(Java 缺陷定位与修复),I7 架构进阶番外(Mini MoE / MLA / MTP)为选修;第三阶段(证明系统真的有效,S0~S6 + V5/V6 版本主线 + Mini-Serving 手搓推理引擎主干实践 + S2.5 长上下文选修,共 9 个里程碑)覆盖性能基线、源码地图、手搓推理引擎、算子优化、稀疏架构与低秩表示、分布式训练与稳定性、专家并行、生产 Serving、长上下文记忆与推理协同与综合验收;第四阶段(证明模型能力真的变强了)聚焦 Agentic 后训练与能力形成,并含 V4 Pro vs Flash 架构选型研究;第五阶段沉淀 Skill 工程与工具生态;第六阶段构建多角色协作与 Agent Team 软件交付沙盘。