DeepSeek 私有化部署中模型服务的多模型异构推理调度器的设计要点? 热门官方
回答:调度器需感知模型计算图特性、硬件算力与显存占用,动态分配推理任务至最优设备,并支持任务迁移以应对设备故障或负载突变。
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读