大模型推理与系统的笔记。能画成图的地方，就画成可以动手玩的图。
从 Transformer 的基本架构开始，一步步把 LLM 讲通。第一篇：模型为什么需要 embedding，为什么 embedding 是查表而不是矩阵乘法，以及 BPE 怎样一步步把文本切成 token。
大模型 decode 为什么是 memory bound，以及怎样借 CPU 分支预测的思路，让小模型先"猜"几个 token、大模型一次验完，以及怎样拒绝和补抽才不改变大模型的输出、平均能快多少。