如何根据显卡配置选择合适尺寸的大模型
配主机网
阅读：8
2025-12-05 09:42:21
评论：0
一般地，应选择尺寸小于显存的大模型版本，且适当冗余。
譬如，显存 8GB，选择尺寸为 5.2GB 的 deepseek-r1:8b。
这样，整个大模型都能被完整地读取到显存中。
若选择 9.0GB 的 deepseek-r1:14b 则显存不足，Ollama 会自动调用系统内存和 CPU 来协同工作，导致推理速度显著下降。
显卡的算力影响生成的速度，模型的参数决定生成的质量。
另外经实测，在 /api/generate 接口的 format 参数中设置返回的 JSON 格式，会缩短生成时间，降低生成质量，可能的原因是强制格式限制了词汇选择空间。
声明
温馨提示：
欢迎您来到小站
1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；
2.本站的原创文章，请转载时务必注明文章作者和来源，不尊重原创的行为我们将追究责任；
3.作者投稿可能会经我们编辑修改或补充；
4.网页广告仅为维持服务器 请谅解；
5.QQ:1103606138 无其它联系方式。
公安备案号：