DeepSeek私有化部署如何做模型量化? 热门官方
回答:可使用GPTQ、AWQ、INT8/FP8量化,减少显存占用与推理延迟,需评估精度损失。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读