现代架构 · I3
手搓 LLM 笔记 21:I3 推理与服务
I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。
I3 完整实录:推理基线、会话级 KV Cache、INT8 / INT4、贪心投机解码、SSE 多会话、MHA / GQA 实测与 CUDA 复测,并定位 FP16 的 RMSNorm 平方溢出。保留性能负收益、数值边界与待复盘项。