<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>CS336 on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/cs336/</link>
    <description>Recent content in CS336 on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/cs336/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Sat, 24 Oct 2026 12:00:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/cs336/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>diy-llm 立项书：给作品线配一条理论线</title>
      <link>https://blog.lvxinrong.com/llm/diy-llm-proposal/</link>
      <pubDate>Sat, 24 Oct 2026 12:00:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/diy-llm-proposal/</guid>
      <description>diy-llm 与 nanochat 并列：作品线负责做得出，理论线负责懂得深。按里程碑配章节，不顺序通读，选修区按需捡回。</description>
      <content:encoded><![CDATA[<blockquote>
<p>这不是课程笔记的开篇，是立项书。项目名：diy-llm 理论线走读。发起人、执行人：我自己。评委：Kimi。</p>
</blockquote>
<h2 id="为什么并列而不是顺序">为什么并列，而不是顺序</h2>
<p>《从零构建大模型》给了我 GPT-2 时代的零件，nanochat（lvchat）要把零件装成整车。但装车的过程中一定会碰到书里没有的现代地形：RoPE、RMSNorm、KV cache、数据配比、Scaling Laws、DPO/GRPO。</p>
<p><a href="https://github.com/datawhalechina/diy-llm">diy-llm</a>（DataWhale 出品，斯坦福 CS336 中文本土化课程，16 章 + 6 作业）恰好覆盖这些地形。昨晚粗翻了一遍，不少概念已经有了初步认识——说明它不是另起炉灶的新课，而是已有知识的深水区。</p>
<p>所以定位并列：<strong>nanochat 是作品线，diy-llm 是理论线。作品线负责“做得出”，理论线负责“懂得深”。</strong></p>
<h2 id="用法按里程碑配章节不顺序通读">用法：按里程碑配章节，不顺序通读</h2>
<p>每个 lvchat 里程碑开工前，先读对应章节；交付后可选做对应作业当加试题。映射表维护在 <a href="https://blog.lvxinrong.com/nanochat/lvchat-roadmap/">lvchat 实现导图</a>。</p>
<div class="table-scroll" tabindex="0" role="region" aria-label="表格，可横向滚动">
  <table>
    <thead>
      <tr>
        <th>lvchat 里程碑</th>
        <th>diy-llm 配套章节</th>
      </tr>
    </thead>
    <tbody>
      <tr>
        <td>M1 自训 BPE tokenizer</td>
        <td>第 2 章 分词器 + 作业 1</td>
      </tr>
      <tr>
        <td>M2 预训练</td>
        <td>第 3 章 + 第 11 章 + 第 9 章</td>
      </tr>
      <tr>
        <td>M3 KV cache 推理引擎</td>
        <td>第 10 章 推理</td>
      </tr>
      <tr>
        <td>M4 SFT</td>
        <td>第 13 章 训练流程</td>
      </tr>
      <tr>
        <td>M5 评估框架</td>
        <td>第 12 章 评估与基准 + 作业 6</td>
      </tr>
      <tr>
        <td>架构升级（GPT-2 → 现代）</td>
        <td>第 4 章 RoPE/RMSNorm/SwiGLU</td>
      </tr>
    </tbody>
  </table>
</div>
<p>选修区（roadmap 里“明确砍掉”的装备，想捡回来时的教材）：MoE（第 5 章）、GPU/分布式（第 6-8 章）、GRPO/RLVR（第 14 章）、多模态（第 15 章）。</p>
<h2 id="验收">验收</h2>
<p>理论线的验收不是“读完了”，是“用上了”：某个里程碑的实现决策能说出依据，或者某章的作业真的跑通。读不动的时候优先保作品线，理论线可以等。</p>
]]></content:encoded>
    </item>
  </channel>
</rss>
