大模型推理与系统的笔记。能画成图的地方,就画成可以动手玩的图。
大模型 decode 为什么是 memory bound,以及怎样借 CPU 分支预测的思路,让小模型先"猜"几个 token、大模型一次验完。
五章可以动手的图解:屋顶线、一轮投机的逐步演示、抽样与补样的慢动作、接受规则沙盒、加速比计算器。