显存为什么成了稀缺资源

发布时间:2026-07-24 17:03

模型跑不起来的时候，十有八九卡在显存上。显存是显卡上搭载的高速内存，它为什么这么紧张，得从模型到底占多少空间说起。 一、模型本身就很占地方 参数量乘以每个参数的字节数，就是模型权重的显存占用。七十亿参数的模型用半精度（fp16，每个参数两字节）存放，权重就要十四个 G；用 fp32 全精度存放还要再翻一倍，所以部署时几乎都从半精度起步，量化则是在这个基础上继续压。如果是训练，还要加上梯度和优化器状态，占用翻好几倍。模型规模每上一个数量级，显存需求跟着翻倍再翻倍，大显存卡自然成了抢手货。 二、并发是第二个胃口 推理时不只是权重吃显存。每个请求的上下文——对话历史和生成过程中的中间状态，技术上叫 KV 缓存——都要占显存，上下文越长、并发请求越多，这部分占用越大。长上下文场景尤其明显：上下文从两千字拉到两万字，单个请求的缓存占用可能翻十倍，显存立刻见底。实测中权重可能只占一半，剩下全被并发吃掉，这是很多团队估算显存时漏掉的一块，也是高峰期报显存不足的主因。 三、缓解手段有哪些 最有效的是量化：把参数从半精度压到 8 位甚至 4 位，权重占用直接除以二或除以四，多数业务场景的精度损失可以接受。显存管理优化排在其后，主流推理框架都做了分页式管理，减少碎片浪费。多卡部署也是办法，模型切分到几张卡上，单卡压力下降，但成本上升，属于花钱买空间。剩下的靠运营手段：限制单请求上下文长度、排队机制，用等待时间换显存安全。 四、选型提醒 推理场景选卡，显存容量比峰值算力更值得优先考虑——模型装不下，算力再高也使不上。判断够不够用有个简单办法：拿权重加预估并发缓存的和，对照卡显存的七成线，低于就有把握，高于就要换卡或量化。规划时把权重、并发缓存、系统余量三块加起来，再留两成冗余，比事后被动扩容从容得多。