学习大模型推理的两个阶段:Prefill 与 Decode
·PD 分离 Prefill Decode
AI评分 28深度16·仅据标题摘要各配各的硬件,这就是 PD 分离(Prefill-Decode Disaggregation),OSDI 2024 上发表的 DistServe 是这条路线的代表作,近两年各家...
原文链接待收录
1 篇扫描条目 · 追踪始于
自扫描同步 · 1 篇
·PD 分离 Prefill Decode
AI评分 28深度16·仅据标题摘要各配各的硬件,这就是 PD 分离(Prefill-Decode Disaggregation),OSDI 2024 上发表的 DistServe 是这条路线的代表作,近两年各家...
原文链接待收录