<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/">
  <channel>
    <title>CLI on 吕炘嵘的博客</title>
    <link>https://blog.lvxinrong.com/tags/cli/</link>
    <description>Recent content in CLI on 吕炘嵘的博客</description>
    <image>
      <title>吕炘嵘的博客</title>
      <url>https://blog.lvxinrong.com/og-default.jpg</url>
      
      <link>https://blog.lvxinrong.com/tags/cli/</link>
    </image>
    <generator>Hugo</generator>
    <language>zh-CN</language>
    <lastBuildDate>Wed, 04 Nov 2026 15:46:44 +0800</lastBuildDate>
    <atom:link href="https://blog.lvxinrong.com/tags/cli/index.xml" rel="self" type="application/rss+xml" />
    <item>
      <title>手搓 LLM 笔记 16：给 355M 模型装上对话界面</title>
      <link>https://blog.lvxinrong.com/llm/llm-16-chat-web-ui/</link>
      <pubDate>Wed, 04 Nov 2026 15:46:44 +0800</pubDate>
      <guid>https://blog.lvxinrong.com/llm/llm-16-chat-web-ui/</guid>
      <description>从 ChatSession、命令行多轮对话到 HTTP 服务和纯 HTML Web UI；页面跑通了，但模型多轮对话能力没有因此自动合格。</description>
      <content:encoded><![CDATA[<blockquote>
<p><strong>M6 的目标不是让模型突然变聪明，而是让自己写的模型第一次像一个真正可调用的程序。</strong></p>
</blockquote>
<h2 id="从测试脚本走向对话产品">从测试脚本走向对话产品</h2>
<p>在 M5 里，模型已经能完成选择题、自由生成和结构化评估。但每次运行都依赖测试脚本，还不能算一个真正能使用的产品。</p>
<p>M6 要做的是对话界面：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">命令行多轮对话 CLI
</span></span><span class="line"><span class="cl">+
</span></span><span class="line"><span class="cl">轻量 Web 对话页
</span></span><span class="line"><span class="cl">+
</span></span><span class="line"><span class="cl">浏览器输入 → 推理服务 → 自训 355M 模型 → 页面展示回答
</span></span></code></pre></div><p>这一步不再改模型结构，而是把已有能力组织成一个最小应用。</p>
<h2 id="第一层chatsession">第一层：ChatSession</h2>
<p>多轮对话首先需要一个状态容器。<code>ChatSession</code> 保存模型、tokenizer、生成参数和对话历史。</p>
<p>history 里只保存原始问答：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="p">[</span>
</span></span><span class="line"><span class="cl">    <span class="p">(</span><span class="s2">&#34;用户第一轮问题&#34;</span><span class="p">,</span> <span class="s2">&#34;模型第一轮回答&#34;</span><span class="p">),</span>
</span></span><span class="line"><span class="cl">    <span class="p">(</span><span class="s2">&#34;用户第二轮问题&#34;</span><span class="p">,</span> <span class="s2">&#34;模型第二轮回答&#34;</span><span class="p">),</span>
</span></span><span class="line"><span class="cl"><span class="p">]</span>
</span></span></code></pre></div><p><code>### Instruction:</code> 和 <code>### Response:</code> 不直接存进 history，而是在每次调用模型前，由 <code>build_chat_prompt</code> 重新组装。</p>
<p>这样原始对话和训练模板分开保存，不会每轮重复叠加格式标记。</p>
<h3 id="回答截取与写入-history">回答截取与写入 history</h3>
<p><code>generate_text</code> 返回的是完整 prompt 加生成内容，所以本轮回答需要重新截取：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">response</span> <span class="o">=</span> <span class="n">responses</span><span class="p">[</span><span class="nb">len</span><span class="p">(</span><span class="n">prompt</span><span class="p">):]</span><span class="o">.</span><span class="n">replace</span><span class="p">(</span>
</span></span><span class="line"><span class="cl">    <span class="s2">&#34;&lt;|endoftext|&gt;&#34;</span><span class="p">,</span> <span class="s2">&#34;&#34;</span>
</span></span><span class="line"><span class="cl"><span class="p">)</span><span class="o">.</span><span class="n">strip</span><span class="p">()</span>
</span></span><span class="line"><span class="cl"><span class="bp">self</span><span class="o">.</span><span class="n">history</span><span class="o">.</span><span class="n">append</span><span class="p">((</span><span class="n">user_input</span><span class="p">,</span> <span class="n">response</span><span class="p">))</span>
</span></span><span class="line"><span class="cl"><span class="k">return</span> <span class="n">response</span>
</span></span></code></pre></div><p>这里有两个容易踩的坑：</p>
<ul>
<li>返回 <code>responses</code> 会把完整 prompt 一起交给调用方；</li>
<li>不清理 <code>&lt;|endoftext|&gt;</code>，结束标记就会以普通文本形式出现在回答里。</li>
</ul>
<h3 id="遗忘窗口不是保留前-1000-轮">遗忘窗口：不是保留前 1000 轮</h3>
<p>history 不能无限增长。第一版使用最近 5 轮的滑动窗口：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="bp">self</span><span class="o">.</span><span class="n">history</span><span class="o">.</span><span class="n">append</span><span class="p">((</span><span class="n">user_input</span><span class="p">,</span> <span class="n">response</span><span class="p">))</span>
</span></span><span class="line"><span class="cl"><span class="bp">self</span><span class="o">.</span><span class="n">history</span> <span class="o">=</span> <span class="bp">self</span><span class="o">.</span><span class="n">history</span><span class="p">[</span><span class="o">-</span><span class="bp">self</span><span class="o">.</span><span class="n">max_history_turns</span><span class="p">:]</span>
</span></span></code></pre></div><p>需要区分两个限制：</p>
<ul>
<li><strong>轮数限制</strong>：防止 history 无限增长；</li>
<li><strong>token 限制</strong>：防止模型上下文超出 <code>context_length</code>。</li>
</ul>
<p>即使只有 5 轮，如果每轮都特别长，也可能超出模型窗口。M6 先使用轮数控制，后续更严谨的做法是按 token 预算逐轮遗忘。</p>
<h2 id="第二层cli-多轮对话">第二层：CLI 多轮对话</h2>
<p><code>scripts/chat_cli.py</code> 负责真正的终端交互。</p>
<p>启动时只加载一次 SFT 权重、tokenizer 和 <code>ChatSession</code>，然后进入循环：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">读取输入
</span></span><span class="line"><span class="cl">→ /exit 退出
</span></span><span class="line"><span class="cl">→ /clear 清空历史
</span></span><span class="line"><span class="cl">→ 普通问题调用 session.ask
</span></span><span class="line"><span class="cl">→ 打印本轮回答
</span></span><span class="line"><span class="cl">→ 继续下一轮
</span></span></code></pre></div><p>模型加载不能放在循环里，否则每轮都重新加载一次权重，既慢又浪费内存。</p>
<h3 id="第一次报错生成参数没有传">第一次报错：生成参数没有传</h3>
<p>第一次调用时直接得到：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">TypeError: generate() missing 2 required positional arguments:
</span></span><span class="line"><span class="cl">&#39;max_new_tokens&#39; and &#39;context_size&#39;
</span></span></code></pre></div><p>原因是 <code>generate_text</code> 只通过 <code>**kwargs</code> 转发参数，而 <code>ChatSession.ask</code> 最初没有传。</p>
<p>最后在 Session 中保存生成配置，并在调用时传入：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-python" data-lang="python"><span class="line"><span class="cl"><span class="n">responses</span> <span class="o">=</span> <span class="n">generate_text</span><span class="p">(</span>
</span></span><span class="line"><span class="cl">    <span class="bp">self</span><span class="o">.</span><span class="n">model</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="bp">self</span><span class="o">.</span><span class="n">tokenizer</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">prompt</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">max_new_tokens</span><span class="o">=</span><span class="bp">self</span><span class="o">.</span><span class="n">max_new_tokens</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">context_size</span><span class="o">=</span><span class="bp">self</span><span class="o">.</span><span class="n">context_size</span><span class="p">,</span>
</span></span><span class="line"><span class="cl">    <span class="n">eos_id</span><span class="o">=</span><span class="bp">self</span><span class="o">.</span><span class="n">tokenizer</span><span class="o">.</span><span class="n">eos_id</span><span class="p">,</span>
</span></span><span class="line"><span class="cl"><span class="p">)</span>
</span></span></code></pre></div><p><code>eos_id</code> 也必须传递，否则模型即使生成了结束标记，生成循环也不知道应该停止。</p>
<h3 id="打印格式问题不是-cli-的错">打印格式问题：不是 CLI 的错</h3>
<p>最开始模型回答里又出现了新的 <code>### Instruction:</code> 和 <code>### Response:</code>。</p>
<p>通过打印原始返回值，确认 <code>PREFIX_MATCH=True</code>，说明 prompt 截取没有问题。那些格式标记是模型自己生成的，不是 history 被误打印。</p>
<p>继续检查后，还发现当前 prompt 少了 SFT 训练时的固定说明头：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">Below is an instruction that describes a task. Write a response that appropriately completes the request.
</span></span></code></pre></div><p>补回以后，模型不再随意编造下一轮格式。</p>
<p>这个案例再次说明：<strong>不能只看页面表面像不像 bug，要沿着 prompt、原始输出和截取结果逐层定位。</strong></p>
<h2 id="第三层最小-http-推理服务">第三层：最小 HTTP 推理服务</h2>
<p>M6 没有引入 FastAPI 或 Flask，而是先用 Python 标准库的 <code>http.server</code>，把 HTTP 请求和响应本身看清楚。</p>
<p>第一步先做健康检查：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">GET /health → {&#34;ok&#34;:true}
</span></span></code></pre></div><p>第二步再接对话：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">POST /chat
</span></span><span class="line"><span class="cl">→ 读取请求 body
</span></span><span class="line"><span class="cl">→ json.loads
</span></span><span class="line"><span class="cl">→ 取出 message
</span></span><span class="line"><span class="cl">→ SESSION.ask(message)
</span></span><span class="line"><span class="cl">→ 返回 {&#34;response&#34;: ...}
</span></span></code></pre></div><p>模型在服务器启动时加载一次，后续请求共享当前 Session。</p>
<p>第一版是单会话演示，不做多用户、多会话隔离，也不做流式输出。这些属于后续推理服务优化，不在当前最小闭环里硬塞。</p>
<p>真实请求验证：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">curl -X POST http://127.0.0.1:8000/chat <span class="se">\
</span></span></span><span class="line"><span class="cl">  -H <span class="s1">&#39;Content-Type: application/json&#39;</span> <span class="se">\
</span></span></span><span class="line"><span class="cl">  -d <span class="s1">&#39;{&#34;message&#34;:&#34;What is the capital of France?&#34;}&#39;</span>
</span></span></code></pre></div><p>返回：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-json" data-lang="json"><span class="line"><span class="cl"><span class="p">{</span><span class="nt">&#34;response&#34;</span><span class="p">:</span> <span class="s2">&#34;The capital of France is Paris.&#34;</span><span class="p">}</span>
</span></span></code></pre></div><p>到这里，CLI 和 HTTP 推理服务都已经跑通。</p>
<h2 id="第四层纯-html-web-ui">第四层：纯 HTML Web UI</h2>
<p>最后新增 <code>web/chat.html</code>，不使用前端框架，直接用 HTML、CSS 和 JavaScript。</p>
<p>页面包含：</p>
<ul>
<li>用户和模型的消息气泡；</li>
<li>输入框与发送按钮；</li>
<li>生成中的加载状态；</li>
<li>请求失败提示；</li>
<li>Enter 发送、Shift+Enter 换行；</li>
<li>移动端布局。</li>
</ul>
<p>浏览器通过 <code>fetch(&quot;/chat&quot;)</code> 调用刚才的接口。</p>
<p>用户输入和模型输出都通过 <code>textContent</code> 插入页面，不使用 <code>innerHTML</code>，避免把模型返回的文本误当成 HTML 执行。</p>
<p>服务器访问 <code>/</code> 时返回这个页面：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">/         → Web 对话页
</span></span><span class="line"><span class="cl">/health   → 健康检查
</span></span><span class="line"><span class="cl">/chat     → POST 对话接口
</span></span></code></pre></div><p>所以正确访问方式是：</p>
<div class="highlight"><pre tabindex="0" class="chroma"><code class="language-text" data-lang="text"><span class="line"><span class="cl">http://127.0.0.1:8000/
</span></span></code></pre></div><p>不是双击 <code>chat.html</code> 使用 <code>file://</code>，也不是访问 <code>/web/chat.html</code>。</p>
<h2 id="浏览器验收截图">浏览器验收截图</h2>
<p>下面这张图记录了从浏览器输入问题，到本地 355M 模型返回回答的真实过程：</p>
<p><img alt="M6 Web UI：从浏览器输入问题到本地 355M 模型回答" loading="lazy" src="https://blog.lvxinrong.com/llm/llm-16-web-chat.png"></p>
<p>看到这个页面时，第一季的主线终于不再只是模型代码和训练脚本，而是变成了祁总可以直接打开、输入和使用的程序。</p>
<h2 id="但多轮对话能力没有通过">但多轮对话能力没有通过</h2>
<p>页面上线后，我继续测试，很快发现了一个不能掩盖的问题：</p>
<p>第一轮问法国首都，模型回答 Paris。接下来输入 <code>What</code>、<code>你好啊</code>，模型仍然反复回答 Paris。</p>
<p>我按相同输入顺序，用全新的 <code>ChatSession</code> 成功复现了这个问题。</p>
<p>单独通过 HTTP 发送不同请求，又能得到不同回答，因此不是前端固定文案，也不是服务器写死返回 Paris。</p>
<p>真正的问题在模型：<strong>当前 355M SFT 模型没有经过可靠的多轮对话训练，历史里一旦出现上一轮回答，它就容易把旧答案复制到下一轮。</strong></p>
<p>我还尝试过把 history 从重复的 Instruction/Response 块移到 <code>### Input:</code>，结果模型开始复读 <code>Previous conversation:</code>，所以没有保留这次无效修改。</p>
<p>因此 M6 的结论必须分两层：</p>
<blockquote>
<p><strong>CLI、HTTP、Web 页面和模型调用的工程链路已经跑通；但当前模型不具备可靠的多轮对话能力。</strong></p>
</blockquote>
<p>页面能用，不等于模型多轮语义能力合格。这个问题后续需要通过更强底座或专门的多轮对话 SFT 解决，而不是在前端把重复回答隐藏起来。</p>
<h2 id="m6-最终验收">M6 最终验收</h2>
<p>完成的内容：</p>
<ul>
<li><code>ChatSession</code> 与原始问答 history；</li>
<li>最近 5 轮的滑动窗口；</li>
<li>CLI 多轮输入、<code>/clear</code> 和 <code>/exit</code>；</li>
<li>标准库 HTTP 推理服务；</li>
<li>纯 HTML/CSS/JavaScript Web UI；</li>
<li>真实浏览器端到端调用；</li>
<li>对多轮复制问题的复现、分析和无效方案回滚。</li>
</ul>
<p>未完成或明确留到后面的内容：</p>
<ul>
<li>可靠的多轮语义对话；</li>
<li>多会话隔离；</li>
<li>流式 SSE 输出；</li>
<li>会话级 KV cache；</li>
<li>按 token 预算进行 history 遗忘。</li>
</ul>
<p>M6 不是终点，也不是一个完美产品。但它让从零手搓的模型真正穿过了命令行、HTTP 和浏览器。</p>
<p><strong>工程闭环成功了，模型边界也被测出来了。失败也是成功的一种，因为这次失败同样可复现、可解释、可继续改进。</strong></p>
]]></content:encoded>
    </item>
  </channel>
</rss>
