所以部署一个671B的模型 显存需要多少 有什么基准的硬件配置？
如果不想量化损失 benchmark scores，需要 700GB 以上的显存，或者 700 GB 以上的 CPU 内存。
现在本地部署满血deepseekR1按精度区分, **FP16（16位浮点数）需要1.342 TB显存, **FP32（32位浮点数)需要 2.684 TB显存,普通人就别想了…
看着是混合精度：BF16·F8_E4M3·F32，而且还要预留一部分现存给推理时用
· Sign up or log in to comment
