闲话 一张图看懂大模型推理过程 PD分离
质量分 29深度13·结构·仅据标题摘要
·PD 分离 Prefill Decode
更偏持续、低延迟地“吐”.所以有了 PD 分离:P 节点专门做 Prefill,D 节点专门做 Decode,中间通过 KV Cache / 中间状态衔接....
1 篇扫描条目 · 追踪始于
自扫描同步 · 1 篇
x-fetcher 仅支持单篇 mp URL。对已收录链接运行:
node scripts/download-account-bodies.mjs --account "南孜 AI Lab"
深度13·结构·仅据标题摘要
·PD 分离 Prefill Decode
更偏持续、低延迟地“吐”.所以有了 PD 分离:P 节点专门做 Prefill,D 节点专门做 Decode,中间通过 KV Cache / 中间状态衔接....