文章
3 篇2026
-
Step by Step 读懂 LLM（二）：LayerNorm、Self-Attention 与 MLP
Transformer block 的三个部件。为什么 LLM 用 LayerNorm 而不在 batch 或 token 之间归一化；Self-Attention 怎样一步步打分、mask、softmax、加权求和，多头到底改变了什么；以及 MLP 为什么占了大部分参数。
-
Step by Step 读懂 LLM（一）：Embedding 与 BPE
从 Transformer 的基本架构开始，一步步把 LLM 讲通。第一篇：模型为什么需要 embedding，为什么 embedding 是查表而不是矩阵乘法，以及 BPE 怎样一步步把文本切成 token。
-
Speculative Decoding 投机解码
大模型 decode 为什么是 memory bound，以及怎样借 CPU 分支预测的思路，让小模型先"猜"几个 token、大模型一次验完，以及怎样拒绝和补抽才不改变大模型的输出、平均能快多少。