DeepSeek 私有化部署中模型服务的动态批处理大小调节策略? 热门官方
回答:根据实时队列长度与 GPU 利用率动态调整 batch size,队列长且资源空闲时增大 batch,反之减小以避免 OOM。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读