英伟达昨日发布技术解读，指出随着大模型参数规模、上下文长度和智能体应用快速增长，GPU 显存正面临前所未有的压力，HBM 供应趋紧、价格上升，在可以预见的未来仍将持续。

　　为了破解当前 AI 内存瓶颈，英伟达探索引入了“全栈协同设计”理念，将 GPU、CPU、网络、存储和软件作为一个整体协同设计，让每一字节内存在 AI 工厂的各层级都产生更高价值。附上相关如下：

　　在推理过程中，昂贵的 HBM 既要承载模型权重，也要保存 KV 缓存。智能体工作流会在多次模型调用和工具调用间持续携带历史上下文，部分场景需处理多达 300 万个 token；检索增强生成还会把企业资料加入提示词，进一步推高内存占用。

　　英伟达将 HBM 比作仓库、将内存带宽比作装卸口：容量再大，若数据进出速度跟不上，也会形成“内存墙”，导致新增容量无法有效转化为服务能力。因此，其方案强调把数据压缩、放置在合适层级，并在需要前提前送回 GPU。

　　在具体操作中，NVFP4 低精度格式可压缩模型权重和 KV 缓存；在 NVL72 系统中，模型权重可分散至最多 72 颗 GPU；Vera CPU 的大容量 LPDDR 内存可为暂停的上下文提供就近缓冲；Dynamo 推理软件则将不活跃上下文迁移至 CMX 上下文存储，并在复用前取回。RAG 索引也可保留在 CPU 与存储侧，避免长期占用 HBM。

　　GB300 NVL72 较 H200 平台在每用户每秒 100 token 条件下，每美元吞吐量最高提升 10 倍。这表明，AI 算力竞争的关键正从“显存多少”转向“每字节、每瓦特能产出多少有效 token”。

　　特别

　　顺德钓虾场爆火背后：钓友300多元入场，钓中“标虾”或可赢得iPhone17、电动车，律师称可能涉嫌犯罪

　　厦门一女子带宠物狗在烧烤店上桌就餐，用餐盘喂食，餐厅回应：所处商场系宠物友好商场，高峰期未及时发现，已消[*]事发区域并报废所有餐具

　　“已经8天了还没到账”，不少人吐槽用鲲鹏支付，收款不到账，公司承认未按时到账；这家老牌支付公司业务遍及北京、上海、深圳、广州等地

　　复刻1979年初代Walkman耳机：索尼推出全新MDR-3R加入USB-C接口，售价59.99美元