现代架构 · I3
手搓 LLM 笔记 21:I3 推理与服务
I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。
I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。
KV cache 是推理优化:历史 K/V 存下来复用,每步只算新 token。三层分工、首轮全量后续单步、位置偏移与位置溢出三个坑,验收输出一致且提速 40%。