云原生训推 / 算力成本 / 模型测评（makeup）

sogou·17 篇·当前显示 17 篇

09:00 Asia/Shanghai routine. WeRead login blocked. Sogou P0 OK. Makeup 15 + routine refresh 2.

关键词搜索在当前扫描内搜索标题、公众号或摘要

检索词

排序

文章列表

17 / 17

微信公众号·Kueue Volcano Gang Scheduling·已收录链接
质量分 32
把训练扔进 Kubernetes?先看清这5个被忽略的真相
深度16·结构·仅据标题摘要
非科班软件人的修养·2026-09-12
条反模式速查Kueue Gang Admission 误当 Gang Scheduling,准入但不保证同时放置,产生半死锁.正解:用 Volcano/KAI 真 gang....
打开原文 →
微信公众号·vLLM SGLang 推理·已收录链接
质量分 32
SGLang vs vLLM推理引擎的两种取舍
深度16·结构·仅据标题摘要
飞哥AI说·2026-09-10
图:两个推理引擎在同一张对照表上的位置一、两个立足点,一条... vLLM 与 SGLang 分别站在第一轮和第三轮的中心,却又同时覆盖...
打开原文 →
微信公众号·PD 分离 Prefill Decode·已收录链接
质量分 28
学习大模型推理的两个阶段:Prefill 与 Decode
深度16·仅据标题摘要
日习一技·2026-09-04
各配各的硬件,这就是 PD 分离(Prefill-Decode Disaggregation),OSDI 2024 上发表的 DistServe 是这条路线的代表作,近两年各家...
打开原文 →
微信公众号·PD 分离 Prefill Decode·已收录链接
质量分 29
闲话一张图看懂大模型推理过程 PD分离
深度13·结构·仅据标题摘要
南孜 AI Lab·2026-09-01
更偏持续、低延迟地“吐”.所以有了 PD 分离:P 节点专门做 Prefill,D 节点专门做 Decode,中间通过 KV Cache / 中间状态衔接....
打开原文 →
微信公众号·GPU 算力成本 MFU·已收录链接
质量分 29
AI基础设施与生态层之《算力:GPU (图形处理器)》
深度13·结构·仅据标题摘要
言和科创·2026-08-31
GPU位于算力层的核心,与CPU、NPU/TPU、FPGA、ASIC、高... ·PUE(Power Usage Effectiveness):总能耗 / IT设备能耗;·MFU(...
打开原文 →
微信公众号·Token 成本推理·已收录链接
质量分 28
解读LLM推理的GPU能耗真相:Token只是表面成本
深度13·仅据标题摘要
WebView社区·2026-09-02
当我们在讨论大语言模型(LLM)的推理成本时,目光通常聚焦在两个地方:一是云服务商按Token数量明码标价的API账单(如...
打开原文 →
微信公众号·模型评测 benchmark 独立复现·已收录链接
质量分 29
记忆评测的“测试金字塔”:为什么满分通过对话测试的智能体,真实用起来照样失忆?
深度13·仅据标题摘要
广州亿能测试技术服务有限公司·2026-09-06
我们的做法是评测数据全部写入独立的 benchmark 命名空间,清理时只清这个命名空间,绝不触碰智能体真实用户的记忆.这是存储...
打开原文 →
微信公众号·SWE-bench Arena·已收录链接
质量分 28
AI会考试作弊了,强到我们没法准确评测它有多聪明
深度13·仅据标题摘要
JohnNotes·2026-09-06
包括SWE-bench、WebArena、OSWorld、GAIA、Terminal-Bench、FieldWorkArena、CAR-bench,结论是每一个都能被利用拿到接...
打开原文 →
微信公众号·SWE-bench Arena·已收录链接
质量分 35
AI智能体近期新技术/新突破深度分析(2025下半年–2026)
深度16·论据·仅据标题摘要
走向人工智能世界·2026-09-06
SWE-bench、WebArena、TerminalBench、AgentBench、环境交互类基准成为主流;区分离线仿真评测、Harness 回归评测、生产轨...
打开原文 →
微信公众号·SWE-bench Arena·已收录链接
质量分 35
Qwen3.8-27B:27B开源模型碾压闭源旗舰
深度16·结构·仅据标题摘要
技术知行之路·2026-09-02
SWE-bench Pro(Agent编码)得分61.7,超过Qwen3.6-27B的53.5和Opus4.6 Max的53.4.DeepSWE 1.1得分42.2,是Qwen3.6-27B(13.3...
打开原文 →
微信公众号·昇腾国产卡 Day0·已收录链接
质量分 41
华为昇腾全线产品形态梳理:国产AI算力卡的产品形态与趋势
深度19·结构·仅据标题摘要
甲乙方AI说·2026-09-04
Day-0 原生2026 年 4 月 DeepSeek V4 发布,技术报告把华为昇腾... 要不要混插多家国产卡.要的话,重点考察跨架构调度软件栈,这...
打开原文 →
微信公众号·昇腾国产卡 Day0·已收录链接
质量分 38
千问、GLM、混元接连上新:FlagOS 四天三次 Day0,将前沿模型多芯适配变成可持续能力
深度16·结构·仅据标题摘要
智源研究院·2026-08-31
因此,Day0的真正价值并不只是“快一天”.它缩短的是前沿模... 华为昇腾、海光等芯片上通过不同的推理框架插件方式完成推理部...
打开原文 →
微信公众号·昇腾国产卡 Day0·已收录链接
质量分 38
国产AI芯片出货占比逼近80%!10万张国产卡扛住62T词元,英伟达中国收入归零
深度19·结构·仅据标题摘要
七号驿站·2026-08-31
preview的Day 0适配.摩尔线程走的是另一套技术栈——自研... DSA压缩机制一个个拆开了重写进昇腾的CANN架构.一块国产卡...
打开原文 →
微信公众号·昇腾国产卡 Day0·已收录链接
质量分 35
国产算力＂批量交付＂:从产品验证到规模化,这一步有多难?
深度16·结构·仅据标题摘要
纵观云智算·2026-09-08
年昇腾出货 81.2 万张,占国产总出货近一半(49.2%).2026 年 ... Day0 适配(同期发布的当天就能在国产芯片上跑通);华为 ...
打开原文 →
微信公众号·NVL72 GB200·已收录链接
质量分 37
一文看懂华为384超节点对比英伟达 GB200 NVL72
深度22·仅据标题摘要
跟沈工学AI·2026-09-09
以下是华为云矩阵384超节点(Supernode 384)与NVIDIA GB200 NVL72的架构、性能、互联、内存、功耗及能效对比:1. 对比表格...
打开原文 →
微信公众号·Kueue Volcano·已收录链接
质量分 29
在 Kubernetes 上构建 AI 工厂:把一屋子 GPU 变成一池共享算力
深度13·结构·仅据标题摘要
HAMi Project·2026-09-11
Kueue、Volcano、KAI Scheduler 等选择.HAMi 的态度是协同而不是替代:• 原生 kube-scheduler:开箱即用,适合单任务独立调度...
打开原文 →
微信公众号·Kueue Volcano·已收录链接
质量分 32
KubeCon China 2026 回顾:HAMi 两场 Keynote、一场闪电演讲,与一项案例大奖
深度16·结构·仅据标题摘要
dotNET跨平台·2026-09-13
Volcano、Kueue、KAI Scheduler 的协同;MIG、vGPU 等切分方案的选型;以及 fleet 规模的多租户 GPU 管理.观看与下载所有 ...
打开原文 →

微信公众号

质量分 28深度13·仅据标题摘要关闭

解读LLM推理的GPU能耗真相:Token只是表面成本

互动数据需从 wechatDownload 导出导入

公众号: WebView社区
发布时间: 2026-09-02
检索词: Token 成本推理
原文: 查看原文 →（在新标签页打开）

当我们在讨论大语言模型(LLM)的推理成本时,目光通常聚焦在两个地方:一是云服务商按Token数量明码标价的API账单(如...

打开原文

文章列表

把训练扔进 Kubernetes?先看清这5个被忽略的真相

SGLang vs vLLM推理引擎的两种取舍

学习大模型推理的两个阶段:Prefill 与 Decode

闲话 一张图看懂大模型推理过程 PD分离

AI基础设施与生态层 之《算力:GPU (图形处理器)》

解读LLM推理的GPU能耗真相:Token只是表面成本

记忆评测的“测试金字塔”:为什么满分通过对话测试的智能体,真实用起来照样失忆?

AI会考试作弊了,强到我们没法准确评测它有多聪明

AI智能体近期新技术/新突破深度分析(2025下半年–2026)

Qwen3.8-27B:27B开源模型碾压闭源旗舰

华为昇腾全线产品形态梳理:国产AI算力卡的产品形态与趋势

千问、GLM、混元接连上新:FlagOS 四天三次 Day0,将前沿模型多芯适配变成可持续能力

国产AI芯片出货占比逼近80%!10万张国产卡扛住62T词元,英伟达中国收入归零

国产算力＂批量交付＂:从产品验证到规模化,这一步有多难?

一文看懂华为384超节点 对比 英伟达 GB200 NVL72

在 Kubernetes 上构建 AI 工厂:把一屋子 GPU 变成一池共享算力

KubeCon China 2026 回顾:HAMi 两场 Keynote、一场闪电演讲,与一项案例大奖

解读LLM推理的GPU能耗真相:Token只是表面成本

闲话一张图看懂大模型推理过程 PD分离

AI基础设施与生态层之《算力:GPU (图形处理器)》

一文看懂华为384超节点对比英伟达 GB200 NVL72