现代架构 · I0
手搓 LLM 笔记 17:让 model_v3 承接 Qwen2.5
从 RMSNorm、SwiGLU、GQA、RoPE 与 KV Cache 整合,到 Qwen2.5 Base / Instruct、官方 logits 对齐和 46 项全量回归,完整记录 I0 的落地、排错与收官边界。
从 RMSNorm、SwiGLU、GQA、RoPE 与 KV Cache 整合,到 Qwen2.5 Base / Instruct、官方 logits 对齐和 46 项全量回归,完整记录 I0 的落地、排错与收官边界。