提到 AI 烧硬件,很多人第一反应是训练。但在"存力"这件事上,真正吃紧的恰恰是推理。
训练对容量的要求确实更高——要存参数的中间状态和计算过程,还得用 BF16 以上的高精度,存参数的内存能到推理的 8 到 16 倍。
可即便如此,容量在训练时也不算瓶颈:训练能把整个算力集群都投给一个模型,内存相当富余,就像一个人独享整座仓库。
紧张出在推理。推理时集群被切成小块,每个模型实例可能只分到几十到几百张卡,容量一下就捉襟见肘;再叠加推理时数据读写量随生成长度激增,速度压力也集中在这一端。
这也解释了这轮存力需求为什么和 AI 应用渗透、Agent 放量绑得这么紧——真正烧内存的,不是实验室里的训练,而是千万用户的日常调用。



