“贴瓦片技术”是大模型推理/训练中的一种模型参数或上下文分块处理技术,核心是将大型模型(如千亿参数模型)或超长上下文(如10万tokens)分割为更小的“瓦片”(Tile/Shard),分配到多个设备(GPU/TPU)或分批次处理,解决单设备内存/算力不足的问题。常见于模型并行(张量并行、流水线并行)和长上下文推理场景。
AI大模型中的“贴瓦片技术”是什么? 热门官方
用户讨论(回复)
共 0 条记录,当前显示第 1- 条
« 上一页
下一页 »
相关阅读