文章
4 篇2026
-
Step by Step 读懂 LLM（三）：分类器、Prefill、Decode 与 KV cache
系列最后一篇。最后一层的向量怎样变成下一个词：softmax、Cross Entropy、temperature / top-k / top-p；推理时 Prefill 和 Decode 为什么一个卡算力、一个卡带宽；KV cache 省了哪些计算、又花了多少显存。右边全程固定一个逐单元画出来的两层 LLM。
-
Step by Step 读懂 LLM（二）：LayerNorm、Self-Attention 与 MLP
Transformer block 的三个部件。为什么 LLM 用 LayerNorm 而不在 batch 或 token 之间归一化；Self-Attention 怎样一步步打分、mask、softmax、加权求和，多头到底改变了什么；以及 MLP 为什么占了大部分参数。
-
Step by Step 读懂 LLM（一）：Embedding 与 BPE
从 Transformer 的基本架构开始，一步步把 LLM 讲通。第一篇：模型为什么需要 embedding，为什么 embedding 是查表而不是矩阵乘法，以及 BPE 怎样一步步把文本切成 token。
-
Speculative Decoding 投机解码
大模型 decode 为什么是 memory bound，以及怎样借 CPU 分支预测的思路，让小模型先"猜"几个 token、大模型一次验完，以及怎样拒绝和补抽才不改变大模型的输出、平均能快多少。