精度即吞吐 · 量化与混合精度

0. 接着上一章那个最自然的念头往下走

上一章结尾留了个钩子。你已经看清 decode 是 memory-bound:每生成一个 token,GPU 都要把整个模型的权重从显存里整个搬一遍,而权重有多少字节,几乎就决定了这一步要花多久。那么一个再自然不过的念头冒出来了:如果我们不用 16 比特、而是用 8 比特甚至 4 比特来存每个权重,搬运量直接砍半甚至砍到四分之一,decode 不就快了吗?

这个念头不仅对,而且它的回报比你想的还大。降精度不是只省了搬运,它一口气干了三件事:让模型在显存里更小(于是能塞下更多 KV cache、更大的批),让 decode 每步搬的字节更少(于是算术强度更高、那个点沿斜屋顶往脊点挪),还让计算单元本身算得更快(低精度的张量核心吞吐更高,把算力屋顶也抬高了)。换句话说,上一章那张图里的两个屋顶和那个卡在左下角的点,降精度同时对它们三个下手。这是 serving 性能工程里少有的、一根杠杆撬动全局的招。

但天下没有白拿的吞吐。把一个数字用更少的比特表示,本质上是在丢信息,丢得不小心,模型的输出质量就会下降。最阴险的地方在于,这种下降不会让程序崩溃,也不会抛异常 —— 模型照样吐出通顺的句子,只是在那些最难的地方(多步推理、写代码、长上下文、冷门事实)悄悄错得更多。所以这一章是一对的:前半段告诉你这根杠杆为什么值得用、怎么用;后半段告诉你,用了它就必须配一套证据,去证明你没把模型弄笨。先从杠杆讲起。

1. 为什么降精度是吞吐最直接的杠杆

把上一章的 roofline 摆回眼前,你会发现降精度精确地命中了那张图的每一个部分。我们一件一件看,这三件事虽然都来自同一个动作,机制却各不相同,分开理解才不会糊成一团。

第一件,模型在显存里变小了。一个 700 亿参数的模型,用 BF16(每个权重 2 字节)存是约 140 GB,降到 FP8(1 字节)就是约 70 GB,再降到 FP4(半字节)只剩约 35 GB。省下来的几十 GB 显存不会浪费,它直接变成更多的 KV cache 预算或更大的批,而你在第四章算过,serving 的容量约束本质上就是 KV cache 的显存约束。尤其在长上下文场景,KV cache 自己往往比权重还吃显存,所以把 KV cache 也降精度(BF16 的 KV 降成 FP8,每个 token 的缓存直接砍半)常常比降权重更划算。

第二件,也是最该停下来体会的一件,decode 的算术强度被抬高了。回忆上一章的账:单序列 decode 的算术强度大约是 1 FLOP/字节,因为读 2N 字节的权重只算了 2N 次。现在如果权重从 2 字节降到 1 字节,读的字节数砍半,算术强度就翻倍到约 2,那个深陷在斜屋顶最左端的点,沿着带宽屋顶往右挪了一格,朝脊点靠近。同时,decode 每步那个纯由带宽决定的时间下限也跟着砍半(上一章那个 700 亿模型在 H100 上每 token 约 42 毫秒的硬上限,权重砍半就接近砍到 21 毫秒)。降精度和拼批是把 decode 往右推的两根独立杠杆,可以叠加使用。

第三件,计算屋顶本身被抬高了。现代加速器的张量核心,精度每降一档,峰值算力大致翻一倍。拿当下的 Blackwell B200 来说,单卡稠密算力 BF16 约 2.25 PFLOP/s、FP8 约 4.5、FP4 约 9,一档一个台阶。这意味着对 compute-bound 的 prefill 阶段,降精度直接把平屋顶顶上去。三件事合起来看就清楚了:上一章那张图里,降精度把斜屋顶和平屋顶一起往上抬,又把 decode 那个点往右推 —— 一根杠杆,动了整张图。

降精度是显存墙和算力墙的一条正交新轴。它不是把某一堵墙推得更高(那是老轴:堆更多显存、堆更多算力),而是开一条同时矮化两堵墙的新轴 —— 这正是「墙与轴」方法里最值钱的那种进步。

1.5 一个读规格的坑:稠密还是稀疏

刚才那组 B200 的数字,得加一句提醒,因为它本身就是一堂读硬件规格的课。厂商宣传页上最醒目的数字,往往是「带稀疏」的:Blackwell 标称 FP4 算力 20 PFLOP/s,但那是开了 2:4 结构化稀疏后的数,稠密真实值是它的一半,约 9 PFLOP/s。同理 FP8 标称 9、稠密 4.5。再加上 Blackwell 一张「GPU」其实是两片裸 die 封在一起、有时报的是双卡 superchip 的合计,所以看到一个 PFLOP/s 数字,先问三句:稠密还是稀疏?单 die 还是单卡?单卡还是超级芯片?这不是抠字眼,是性能工程师拿规格做容量估算时不踩坑的基本功。本章后面凡是给峰值算力,都用稠密、单卡口径。

2. 比特都花在哪:精度格式

要理解为什么不同精度能换来不同的质量和速度,得先看清一个浮点数的比特到底花在哪。任何一个浮点数都把比特分给三部分:1 个符号位定正负,一段指数位决定它能表示的数有多大的动态范围,剩下的尾数位决定在那个范围内分得有多细。指数位多,能表示的数跨度就大,但同样的总比特下尾数就少、精度就糙;尾数位多则反过来。整个低精度格式的设计,就是在固定的比特预算里反复权衡这两者。

先看 16 比特这一档的两个格式,它们的对比最能说明问题。FP16 把比特分成 1 位符号、5 位指数、10 位尾数,尾数多、精度细,但 5 位指数能表示的范围偏窄,训练时梯度一大就容易溢出。BF16 则是 1 位符号、8 位指数、7 位尾数,它把指数位加到和 FP32 一样宽(动态范围一样大,不容易溢出),代价是尾数只剩 7 位、精度更糙。BF16 之所以成了训练的默认格式,正是因为在深度学习里范围比精度更要命 —— 这是理解后面一切低精度取舍的钥匙。

往下到 8 比特,FP8 有两个标准变体,各有分工。E4M3 是 4 位指数、3 位尾数,范围窄一点(到 ±448)但精度好,用来存前向计算里那些有界的权重和激活。E5M2 是 5 位指数、2 位尾数,范围大、精度糙,用来存训练时跨度极大的梯度。记一句话就够:E4M3 保精度,E5M2 保范围。顺带一提,纯整数的 INT8 没有指数位、刻度均匀,硬件便宜,但碰上 LLM 激活里那种零星的超大离群值,均匀刻度就远不如 FP8 那种「越大越稀」的对数式刻度来得稳。

到了 4 比特,事情变得有意思。FP4 用 1 位符号、2 位指数、1 位尾数,整个格式只能表示 16 个值(0、0.5、1、1.5、2、3、4、6 及其负数),粗糙到单独拿来几乎没法用。让它能用的关键,是一个叫微缩放(microscaling)的技巧:把一小块连续的数共享同一个缩放因子。块里的每个数都存成那个粗糙的 4 比特小数,再乘上这一块自己的缩放因子,就能还原出真实大小,缩放因子贴着这一小块的局部范围走,4 比特的格子就不必去硬扛整个张量的离群值。当下的两个生产格式 NVFP4 和 MXFP4 都是这么干的,区别在精细程度:NVFP4 每 16 个数一块、缩放因子用 FP8(还能取小数倍),MXFP4 每 32 个数一块、缩放因子只能取 2 的整数次幂,所以 NVFP4 更准(NVIDIA 自己的对比里,均方误差 0.08 对 0.72)。这就是为什么 2026 年的前沿是 NVFP4:它把 4 比特从「能省显存」推到了「质量也够用」。

3. 别一刀切:混合精度的纪律

看到这你可能想,既然降精度这么香,那把整个模型一刀切到 FP8 甚至 FP4 不就完了?恰恰是这一步,把外行和内行分开。真实的前沿做法从来不是一刀切,而是混合精度:把模型里占绝大多数计算量的部分降到低精度,同时小心地把少数几个敏感部件留在高精度。我们拿一个公开得最透彻的真实案例来看这门纪律 —— DeepSeek-V3 的 FP8 训练方案(它的技术报告 第 3.3 节 把每个决定都写明了)。

它的核心做法是:把那些大矩阵乘法(GEMM,模型计算量的主体)放到 FP8 上算,同时明确保留高精度(BF16 或 FP32)的有五类部件 —— 嵌入层、输出头、MoE 的门控模块、各种归一化算子、以及注意力算子;此外,主权重、权重梯度、优化器状态也都存在更高精度里。你盯着这份「不许降」的清单看一眼就懂它的逻辑了:这些恰恰是计算量小、却极其敏感、一错就全盘皆输的部件。门控决定把 token 路由给哪个专家,路由错了后面全错;归一化里有除以很小的数的操作;输出头把内部表示翻译成每个 token 的概率;注意力里有指数运算。它们花的算力不多,但精度一糙就会污染全局。所以混合精度的纪律一句话:把大头的矩阵乘法狠狠降下去,把那几个精密的关键部件牢牢护住。

DeepSeek-V3 还有两个细节特别能体现「这是工程、不是开关」。一是它不对整个张量用一个缩放因子,而是细粒度地分块缩放:激活按 1×128 的小块(每个 token 的每 128 个通道一组),权重按 128×128 的块,各自配各自的缩放因子,好让离群值不至于把一整片数都带偏。二是它发现 H800 的张量核心累加 FP8 乘积时,精度只保留到约 14 位,最坏情况能累积出约 2% 的相对误差 —— 于是他们每累加 128 个数,就把部分和搬到通用 CUDA 核心上用 FP32 接着加,再搬回来,硬是把误差压到 0.25% 以内。一个前沿团队为了安全地用 FP8,要绕到硬件累加精度这么底层去打补丁,这件事本身就告诉你:低精度从来不是免费的,它是用工程换来的。

需要说一句时间坐标。DeepSeek-V3 是 2024 年底的方案,它用 FP8 是因为那是当时硬件最务实的选择;到 2026 年,前沿已经更进一步 —— DeepSeek-V4(2026 年 4 月)的 MoE 专家权重直接用 FP4(还用了量化感知训练来保质量),其余大多 FP8。我们仍拿 V3 当主案例,因为它把每个决定都公开得最透;但你要知道当下的前沿精度已经下探到 4 比特,原理一脉相承,只是格子更小、纪律要求更高。

4. 怎么量化一个模型:方法与 KV cache

前面讲的是「降哪些、护哪些」的纪律,这一节讲「具体怎么把一个已有的模型降下去」。第一个分叉是:在训练时就让模型适应低精度,还是训练完了再降?后者叫训练后量化(PTQ),不用重训、只需拿一小批样本数据跑一遍校准、定好各处的缩放因子,便宜又快,是 serving 最常走的路;前者叫量化感知训练(QAT),在训练过程里就模拟量化、让模型学会扛住它,更贵但在极低比特下质量更稳(前面说的 DeepSeek-V4 用 FP4 就走了 QAT)。

第二个分叉是:只降权重,还是连激活一起降?这个分叉的根由,是权重和激活的脾气不同:权重分布规矩、好降,而激活里常有那么一小撮通道的值大得离谱(离群值),粗暴降下去就会被它们带崩。只降权重(权重 4 比特、激活仍 16 位)只省了显存搬运,正好对症 memory-bound 的 decode,代表方法是 GPTQ(用近似的二阶信息逐列补偿误差)和 AWQ(专门识别那约 1% 最关键的权重通道,放大保护)。连激活一起降(权重激活都 8 比特)才能用上低精度的计算单元、提算力,但必须先治离群值,代表方法 SmoothQuant 的招数很巧:把激活里的离群值按比例「挪」进对应的权重里(激活除以一个系数、权重乘上同一个系数,乘积不变),让激活分布变平滑,普通的 8 比特就能稳稳拿下。这里也有缩放粒度的递进:从整个张量一个缩放因子(最省、最扛不住离群值),到每通道或每 token 一个,再到前面说的每小块一个(微缩放,FP4 必须这么细才行)。

别忘了还有 KV cache 这块大头。它和权重是两个独立的显存消耗者,降权重不会动它,得单独量化。把 KV cache 从 BF16 降到 FP8,每个 token 的缓存砍半,等于在同样显存里把上下文长度或并发数翻倍,对长上下文 serving 是实打实的胜利。今天 vLLM 这类引擎已经原生支持 FP8 的 KV cache,新一代甚至能让整个注意力计算都跑在 FP8 域里。至于量化算法本身的更深一层(它们为什么有效、量化对模型质量的精确影响、各种方法的取舍),那是模型设计的题目,见 #4 模型设计路书;本章站在 serving 的视角,你只需要知道有这些工具、它们各自对症什么瓶颈。

5. 降了精度不是完事:数值正确性是一门工程学科

现在回到开篇那个不流血的代价,这是这一章最该让你记住的一节。量化最危险的地方,是它失败得悄无声息。一个被粗暴量化的模型,照样能启动、照样跑得飞快、照样在你随手试的几个例子上对答如流 —— 它只是在那条最难的长尾上,悄悄地错得更多:多走几步的推理断了、写出的代码细节错了、长文档里前面的信息记串了、冷门的事实记错了。没有崩溃、没有异常、没有红色报错来提醒你。所以正确性这件事,在量化的世界里不能靠假设,必须靠工程手段去度量和守住。

真实团队怎么守?三件事环环相扣。第一是敏感度感知地选择降哪些层,别一刀切 —— DeepSeek-V3 第 3 节 那份「不许降」的清单就是模板,先做逐层的敏感度分析,搞清哪些层降了安全、哪些一碰就坏。第二是用 eval 做回归检测:维护一套覆盖多种硬件、多种数值精度、多种 serving 配置的正确性评测,任何一次量化改动只要让输出质量回退,就必须被这套评测拦下来,而不是放它上线。第三是质量恢复:校准出更好的缩放因子、把个别敏感层回退到高精度、或者干脆上 QAT 重训一段。

这套纪律不是纸上谈兵,它已经是前沿实验室明码标价招人的核心能力。Anthropic 的推理系统岗位,把「将正确性作为一门工程学科 —— 数值、评测设计、回归检测」直接写进任职要求,并把日常工作描述成「收紧一套正确性评测,让它能抓住某次量化改动引入的输出回退」「拥有那条验证模型输出质量跨硬件、跨数值、跨 serving 配置的正确性评测流水线」。Google DeepMind 更是设了专门的「数值工程师」岗位,负责决定 Gemini 用什么精度、数值、稀疏格式,并把这些一路推进到硬件路线图里。这两个岗位合起来告诉你一件事:在前沿,低精度不是一个你打开就走的开关,而是一门「先把精度狠狠降下去,再用证据证明你没把模型弄笨」的学科。

综合 · 你现在能把精度当一根工程杠杆来用了

回头收一下这一章。你从上一章最自然的那个念头出发,发现降精度是 serving 吞吐少有的一根全局杠杆:它把模型在显存里变小(腾出 KV cache 和批的空间)、把 decode 每步搬的字节砍掉一截(算术强度抬高、那个点往脊点挪)、还把张量核心的峰值算力顶上去 —— 一根杠杆同时动了 roofline 的两个屋顶和那个点。接着你看清了比特花在哪:符号、指数、尾数的取舍,FP16 与 BF16 的范围之争,FP8 的 E4M3 保精度、E5M2 保范围,以及让 FP4 能用的那个微缩放技巧。然后你学会了这门手艺真正的纪律不是一刀切,而是混合精度:狠降大头的矩阵乘法,死守门控、归一化、注意力这些精密部件,DeepSeek-V3 那份清单和那个绕到 14 位累加去打的补丁,就是这门纪律的活样本。你也认识了具体的量化方法(PTQ 与 QAT、只降权重与连激活一起降、各种缩放粒度)和单独要管的 KV cache 量化。

但这一章真正想钉进你脑子里的,是最后那条:量化失败得悄无声息,所以低精度从来不是一个开关,而是一门要用证据守住的工程学科。你现在面对一个 serving 系统,不会再天真地问「能不能降到 FP4」,而会接着问:降哪些、护哪些?用 PTQ 还是 QAT?KV cache 也降了吗?最关键的,我有没有一套正确性评测,能在质量悄悄回退时把它抓住?能答出这几问,你就握住了精度这根杠杆,也守住了它的纪律。

学完这一章,你已经能解释为什么降精度是 serving 吞吐最直接的杠杆、能看懂主流的精度格式、能讲清混合精度该降什么护什么、也知道为什么数值正确性必须当成一门工程学科来对待。这就是你该合上书的地方。第四站「性能 · 硬件」到这就走完了:你既有了判断瓶颈的 roofline(Ch8),又有了压榨吞吐的精度杠杆(Ch9)。下一章我们进入第五站,换一个更大的视角 —— 一个 serving 系统不光要快,还要不能倒。我们去看可靠性、可观测性、存储和成本:怎么让一个由成千上万张卡组成的系统在故障不断的现实里持续稳定地服务,以及这一切到底要花多少钱。

本章关键术语

本章引入的 canonical 术语,点进术语表看更完整的解释:

• 量化 quantization 用更少的比特表示权重/激活,以省显存、提算术强度、用上更快的低精度算力。训练后量化(PTQ · 校准即可,serving 常用)vs 量化感知训练(QAT · 训练时模拟,极低比特更稳);只降权重(GPTQ/AWQ,治 memory-bound)vs 连激活一起降(SmoothQuant 挪离群值,提算力)
• 混合精度 mixed precision 不一刀切:把大头的矩阵乘法降到低精度,把少数敏感部件(嵌入/输出头/门控/归一化/注意力 + 主权重)留在高精度。DeepSeek-V3 第 3.3 节 是公开得最透的模板 —— 量化大头、死守精密机件
• FP8 8 比特浮点,当下生产精度的主力。两个变体:E4M3(4 位指数 3 位尾数,保精度,存权重/激活)、E5M2(保范围,存梯度)。对照 INT8 的均匀刻度,FP8 的对数式刻度更扛 LLM 激活的离群值
• 微缩放 microscaling 让 4 比特能用的关键:一小块数共享一个缩放因子,块内存粗糙的 4 比特小数、再乘块的缩放因子还原。NVFP4(块 16 · FP8 缩放因子)比 MXFP4(块 32 · 2 的幂缩放)更准,是 2026 年 Blackwell 上的前沿格式

参考文献

Mode A · 引用出处(正文 inline,集中列在此)

• DeepSeek-V3 Technical Report 第 3.3 节(DeepSeek, 2024-12)· FP8 混合精度训练方案:高精度部件清单、1×128/128×128 细粒度量化、H800 ~14 位累加 → CUDA 核心提升 → 低于 0.25% loss(本章混合精度主案例)
• FP8 Formats for Deep Learning(NVIDIA/Arm/Intel, 2022)· E4M3 vs E5M2 两个变体的定义与分工
• Introducing NVFP4 for Efficient and Accurate Low-Precision Inference(NVIDIA)· NVFP4 两级缩放(块 16 + FP8 缩放 + FP32 张量缩放)、与 MXFP4 的精度对比(MSE 0.08 vs 0.72)、≤1% 精度损失
• SmoothQuant(Xiao et al., ICML 2023)· 把激活离群值按等价缩放挪进权重,使 W8A8 在百亿级模型上可行
• AWQ(Lin et al., MLSys 2024)· activation-aware 权重量化,保护约 1% 最关键通道;GPTQ(Frantar et al., 2022)· 二阶信息逐列补偿的 4 比特权重量化
• The State of FP8 KV-Cache and Attention Quantization(vLLM blog, 2026)· FP8 KV cache(E4M3/E5M2、per-tensor/per-head)、FlashAttention-3 全 FP8 注意力的工程现状
• Anthropic · Performance Engineer, Inference Systems(JD · 收录于 research/system-design/job-postings/anthropic.md)· 「将正确性作为工程学科:数值、评测设计、回归检测」+ 跨硬件/数值/配置的正确性评测流水线
• Google DeepMind · Software Engineer, Numerics(JD)· 决定 Gemini 的精度/数值/稀疏格式并推进到硬件路线图 —— 数值已是前沿实验室的专门岗位
• NVIDIA Blackwell Architecture + Inside NVIDIA Blackwell Ultra(NVIDIA)· 本章稠密单卡算力(B200 BF16 2.25 / FP8 4.5 / FP4 9 PFLOP/s · 标称数含 2:4 稀疏 2× 须减半)+ FP4 原生支持

深 dive 资源(可选 · 想往下走再看)

• LLM Inference Unveiled: Survey and Roofline Model Insights(2024)· 把量化、KV cache、算术强度统一放进 roofline 框架的系统性综述
• A Visual Guide to Quantization(Maarten Grootendorst)· 比特布局、对称/非对称量化、GPTQ/AWQ/GGUF 的可视化入门长文

说明:本章没有 Mode B 视频站 —— 量化与数值精度这类硬核系统主题,缺少合格的人讲解系统化长视频;原始论文、厂商格式文档与可视化博文在上方按需列出,由 Mode A 原创讲解扛主线。

下一章

下一章 Ch10 进入第五站「可靠性 · 运维 · 外推」,把视角从「怎么让系统更快」抬到「怎么让系统不倒、还算得清账」。一个由成千上万张卡组成的 serving 系统,故障不是意外而是常态(卡多了,总有一张在坏)。你会学到怎么用 SLO/SLI 把可靠性目标量出来、怎么设计可观测性而不只是会看仪表盘、为什么像 DeepSeek 3FS 这样的存储基础设施能同时扛训练和推理的数据洪流,以及最现实的一个问题 —— 服务一个模型到底要花多少钱,prompt caching 为什么是省钱的头号杠杆。这是你从「会调系统」走向「能对一个生产系统负责」的一站。