LLM 推理性能优化:深入理解 Prefill/Decode 分离
·PD 分离 Prefill Decode
AI评分 29深度13·结构·仅据标题摘要三、PD 分离到底拆了什么?PD 分离(Prefill/Decode Disaggregation) 将 LLM 推理的两个阶段解耦,部署到独立的资源池中:Prefill ...
原文链接待收录
1 篇扫描条目 · 追踪始于
自扫描同步 · 1 篇
·PD 分离 Prefill Decode
AI评分 29深度13·结构·仅据标题摘要三、PD 分离到底拆了什么?PD 分离(Prefill/Decode Disaggregation) 将 LLM 推理的两个阶段解耦,部署到独立的资源池中:Prefill ...
原文链接待收录