社区/帮助 > 私有化部署 > 私有化部署

DeepSeek 私有化部署中如何优化 Transformer 推理的显存碎片？ 热门官方

更新于2025/12/1 17:48:38
阅读量 3,5
回答：固定输入 batch 大小、使用 PagedAttention（如 vLLM）或显存池技术，减少因变长输入导致的碎片与浪费。
上一篇：DeepSeek 私有化部署的模型服务请求采样策略？
下一篇：DeepSeek 私有化部署的模型服务多语言 Prompt 设计注意？

相关阅读

问
DeepSeek 私有化部署在重大科研部门如何保障科研数据的跨团队协作分析访问可控？
答
问答小助手 · 官方
回答：协作分析在牵头单位安全域完成，数据经脱敏与加密传输，分析结果仅限授权人员查看，通信与访问全程审计。
问
重大科研部门在 DeepSeek 私有化部署中如何确保科研数据的跨平台同步策略一致？
答
问答小助手 · 官方
回答：跨平台同步策略统一制定与审计，平台间安全基线一致，同步过程加密并审计，防止策略差异导致数据泄露或篡改。
问
DeepSeek 私有化部署在重大科研部门如何支撑科研项目的动态安全策略热更新？
答
问答小助手 · 官方
回答：安全策略依据威胁情报与审计结果动态调整，热更新经灰度测试与审批，确保新策略不影响科研任务连续性与保密性。
问
重大科研部门在 DeepSeek 私有化部署中涉密科研数据的可信销毁日志防篡改如何实现？
答
问答小助手 · 官方
回答：销毁日志写入即签名并存于 WORM 存储，设置防删改策略，定期备份至不同密级安全域，确保长期可查且不可篡改。
问
DeepSeek 私有化部署在重大科研部门如何防范科研数据的推理服务包大小分析攻击？
答
问答小助手 · 官方
回答：包大小分析攻击检测模块分析请求与响应大小分布异常，触发告警并阻断可疑会话，防止通过包大小推断模型内部信息。
问
重大科研部门在 DeepSeek 私有化部署中如何实现科研数据的可信导出审批链？
答
问答小助手 · 官方
回答：导出须经多级审批与脱敏，过程加密并全程审计，导出数据验证完整性与密级一致性，防止非法数据流出。
问
DeepSeek 私有化部署在重大科研部门如何支撑科研项目的多源异构数据融合防特征反推？
答
问答小助手 · 官方
回答：多源异构数据融合在涉密域完成，访问按数据源密级授权，融合结果经脱敏与审计，防止跨源特征反推涉密信息。
问
重大科研部门在 DeepSeek 私有化部署中涉密科研数据的分级标签动态更新如何防篡改？
答
问答小助手 · 官方
回答：标签信息加密存储并签名，动态更新需审批与审计，访问与处理依据最新标签动态控制，防止标签被篡改或伪造。
问
重大科研部门在 DeepSeek 私有化部署中如何确保科研数据的跨模态检索防特征泄露？
答
问答小助手 · 官方
回答：跨模态检索在涉密环境完成，检索请求与结果经加密与脱敏，不同模态数据访问须匹配密级权限，防止通过模态特征推断涉密信息。
问
DeepSeek 私有化部署在重大科研部门如何保障科研数据的长期可用与分级保密兼容？
答
问答小助手 · 官方
回答：结合保密与容灾策略，数据定期备份与恢复演练，按密级设置不同可用策略，确保在保密前提下长期可用。

用户讨论（回复）

发表评论

剩余500字符
共 0 条记录，当前显示第 1- 条