切错位置,跨卡要多传 4 GB:多模态把 PD 分离的两刀,逼成了三刀
·PD 分离 Prefill Decode
AI评分 32深度16·仅据标题摘要的分离只有两刀:Prefill 算力重、Decode 带宽重,把它们打到不同硬件上是 PD 分离的经典解法,DeepSeek、Kimi、Qwen 都吃过这...
原文链接待收录
2 篇扫描条目 · 追踪始于
自扫描同步 · 2 篇
·PD 分离 Prefill Decode
AI评分 32深度16·仅据标题摘要的分离只有两刀:Prefill 算力重、Decode 带宽重,把它们打到不同硬件上是 PD 分离的经典解法,DeepSeek、Kimi、Qwen 都吃过这...
原文链接待收录
·PD 分离 Prefill Decode
AI评分 26深度13·仅据标题摘要导读:当大模型的主业从「单次问答」变成「多轮 Agent 交互」,经典 PD 分离(把 Prefill 和 Decode 拆到不同机器)开始失灵....
原文链接待收录