DeepSeek 私有化部署中模型服务的推理服务请求合并与拆分策略适用场景? 热门官方
回答:高并发短请求可合并批处理提升吞吐,超长文本或高复杂度任务可拆分为子任务并行执行后合并结果。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读