大模型推理与系统的笔记。能画成图的地方,就画成可以动手玩的图。
大模型 decode 为什么是 memory bound,以及怎样借 CPU 分支预测的思路,让小模型先"猜"几个 token、大模型一次验完,以及怎样拒绝和补抽才不改变大模型的输出、平均能快多少。