闲话 一张图看懂大模型推理过程 PD分离
·PD 分离 Prefill Decode
AI评分 29深度13·结构·仅据标题摘要更偏持续、低延迟地“吐”.所以有了 PD 分离:P 节点专门做 Prefill,D 节点专门做 Decode,中间通过 KV Cache / 中间状态衔接....
原文链接待收录
1 篇扫描条目 · 追踪始于
自扫描同步 · 1 篇
·PD 分离 Prefill Decode
AI评分 29深度13·结构·仅据标题摘要更偏持续、低延迟地“吐”.所以有了 PD 分离:P 节点专门做 Prefill,D 节点专门做 Decode,中间通过 KV Cache / 中间状态衔接....
原文链接待收录