微信公众号·南孜 AI Lab
关闭闲话 一张图看懂大模型推理过程 PD分离
AI评分 29深度13·结构·仅据标题摘要互动数据需从 wechatDownload 导出导入
更偏持续、低延迟地“吐”.所以有了 PD 分离:P 节点专门做 Prefill,D 节点专门做 Decode,中间通过 KV Cache / 中间状态衔接....
2026年9月13日·sogou·当前显示 30 / 30 篇
09:00 Asia/Shanghai routine. WeRead login blocked. Sogou P0 OK. Makeup 15 + routine refresh 2.
30 / 30
微信公众号·南孜 AI Lab
关闭互动数据需从 wechatDownload 导出导入
更偏持续、低延迟地“吐”.所以有了 PD 分离:P 节点专门做 Prefill,D 节点专门做 Decode,中间通过 KV Cache / 中间状态衔接....