DeepSeek-R1-Distill-Qwen-7B 显存需求测算器
主流 7B 推理模型,性价比极高,在 8GB 显卡上配合 Q4_K_M 可获得极快推理速度。
大语言模型开发方: DeepSeek
推荐显卡: RTX 3060 12GB / RTX 4060 8GB
12 GB
32,768 tokens
预估所需总显存
7.54GB
显存负载比例63% (7.54 / 12 GB)
显存组成明细
模型权重4.49 GB
KV Cache1.75 GB
CUDA 运行时1.3 GB
✓ 验证通过,可流畅运行
+4.5 GB 剩余缓冲空间充足,推理过程稳定。