微信公众号
SGLang 与 vLLM 的下半场:AI Infra 商业化 & 三点「非共识」
互动数据需从 wechatDownload 导出导入
- 公众号
- Jason的算法日志
- 发布时间
- 检索词
- vLLM SGLang
vLLM/SGLang 解决的是生成侧“请求如何高效跑起来”.RL 框架要把训练侧的参数分片重排成推理侧需要的 TP/EP 布局,再快速广...
2026-09-12 · 49 篇 · 49 条可开原文
2026年9月12日
sogou · weread·49 篇·当前显示 49 篇
真实扫描归档:每篇含公众号、发布时间、可点链接(搜狗中转或 mp 直链)
49 / 49
微信公众号
互动数据需从 wechatDownload 导出导入
vLLM/SGLang 解决的是生成侧“请求如何高效跑起来”.RL 框架要把训练侧的参数分片重排成推理侧需要的 TP/EP 布局,再快速广...