<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>Nanochat on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/nanochat/</link>
    <description>Recent content in Nanochat on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/nanochat/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Mon, 19 Oct 2026 18:40:00 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/nanochat/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>nanochat 立项书：从零件到整车</title>
      <link>https://blog.lvxinrong.com/llm/nanochat-proposal/</link>
      <pubDate>Mon, 19 Oct 2026 18:40:00 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/nanochat-proposal/</guid>
      <description>《从零构建大模型》收官，nanochat 立项。书给了我每一块积木，nanochat 要教我积木怎么拼成一辆能跑的车。</description>
      <content:encoded><![CDATA[<blockquote>
<p>这不是教程，是立项书。项目名：nanochat 全链路走读与复现。发起人、执行人、验收人：我自己。评委：Kimi。</p>
</blockquote>
<h2 id="为什么是现在">为什么是现在</h2>
<p>《从零构建大模型》正文收官了。六天，七篇笔记，从 tokenizer 走到 LLM-as-judge。</p>
<p>书给我的是<strong>零件</strong>：注意力、残差、归一化、损失函数、微调。每一块我都拆开看过、手算过、验收过。但零件摊在桌子上，不等于知道车怎么开。一个真实的大模型项目长什么样——数据从哪来、几个训练阶段怎么衔接、评估怎么自动化、模型怎么变成一个能对话的服务——这些书里没讲，也不该它讲。</p>
<p>nanochat（Karpathy 的「100 美元能买到的最好的 ChatGPT」）恰好是这块拼图：约八千行代码，一条完整链路——训练 tokenizer、预训练、中间训练、SFT、可选 RL、自动评估、Web 对话界面。它不是教我新原理的地方，是<strong>让我已经懂的零件第一次组成整车</strong>的地方。</p>
<h2 id="立项的三个理由">立项的三个理由</h2>
<p><strong>一、从懂机制到懂工程。</strong></p>
<p>书的最后一章已经露出苗头了：loss 掩码怎么设计、评估流水线怎么搭、评委怎么校准。这些不是算法，是工程决定。nanochat 里全是这种决定，而且都是一个真正打过大仗的人做的。</p>
<p><strong>二、补全后训练全景。</strong></p>
<p>书里只讲了分类微调和指令微调。nanochat 把预训练 → midtrain → SFT → RL → eval 全串起来了。第七章学到的「表面对齐假说」说能力来自预训练、对齐来自后训练——这句话我要在完整的流水线里亲眼看一遍。</p>
<p><strong>三、给学习 Agent 和 Skill 开源攒本钱。</strong></p>
<p>学习 Agent 需要「懂模型怎么被训练出来」，Skill 开源需要「懂服务怎么被部署起来」。nanochat 两头都占。</p>
<h2 id="项目目标">项目目标</h2>
<p>唯一目标：<strong>以 nanochat 为标准答案，从书里的手搓代码出发，自己造一个 nanochat-lite，训出一个能对话的小模型，并讲清楚每一个阶段在干什么。</strong></p>
<p>施工图见<a href="https://blog.lvxinrong.com/nanochat/lvchat-roadmap/">《lvchat 实现导图》</a>。</p>
<p>验收三条：</p>
<ol>
<li>链路全通：tokenizer → pretrain → mid → SFT → eval → webui，每个阶段都真实跑过，模型可以小，阶段不能跳；</li>
<li>每阶段一篇笔记，规则不变：写下来的必须是我自己搞懂的，没懂的如实写；</li>
<li>主线代码逐行读懂；核心模块（GPT 模型、训练循环、数据管线）能手讲流程。</li>
</ol>
<h2 id="军规">军规</h2>
<ol>
<li>延续「学前探针 → 学中对照 → 学后验收 → 错处入笔记」，Kimi 继续当评委；</li>
<li>nanochat 代码量大，手敲军规调整为：<strong>主线逐行读懂，核心模块关键段落手敲或脱稿复述，外围工具脚本允许直接用</strong>——不搞形式主义；</li>
<li>不囤资料：就这一个仓库，加上手边的书当字典；</li>
<li>每天节奏：第二遍回顾 1 小时 + nanochat 主线 + 骑车 1 小时。学习和身体是两条腿；</li>
<li>英文原文练兵：nanochat 的 README、注释、Karpathy 的文章一律读原文，AI 伴读不代读；</li>
<li>可以砍深度（depth），不砍链路；可以放弃，但必须写一份正式的「放弃说明」。</li>
</ol>
<h2 id="环境策略">环境策略</h2>
<ul>
<li>M4 MacBook：走读代码、写笔记、轻量实验；</li>
<li>Windows + 4070Ti 12G：跑缩小 depth 的完整链路；</li>
<li>租 GPU：如果需要跑一次官方 speedrun 规格，再开，预算封顶 500 元，checkpoint 全部回传 R730 存档；</li>
<li>R730 服务器：checkpoint、数据、实验记录的归档中心。</li>
</ul>
<h2 id="风险与对策">风险与对策</h2>
<ul>
<li><strong>显存不够</strong>：4070Ti 12G 跑不动官方默认深度。对策：砍 depth 不砍链路，链路体验优先；</li>
<li><strong>英文文档</strong>：老债，十年了。对策：见军规第五条，这次是需求倒逼，躲不掉正好；</li>
<li><strong>三分钟热度</strong>：对策不变，公开笔记，让围观成为约束；</li>
<li><strong>股票、游戏、睡眠</strong>：对策：工作日规则延续，骑车计入每日硬指标。</li>
</ul>
<h2 id="立项批复">立项批复</h2>
<p>批准人：吕炘嵘。</p>
<p>批复意见：同意立项。零件已齐，开始造车。落子无悔，愿赌服输。</p>
<p>立项日期：2026 年 10 月 19 日。</p>
<hr>
<p><em>上一季：<a href="https://blog.lvxinrong.com/llm/">《从零构建大模型》系列笔记</a>。明天：第二章回顾 + nanochat 环境搭建。</em></p>
]]></content:encoded>
    </item>
  </channel>
</rss>
