这位分析师评论称,目前的 AI 推理工作量中超过 50% 来自处理输入并建立相应的 KV Cache,新 Rubin CPX 能以更具弹性的部署方式与更低成本承接预填充负载;新 Rubin CPX 计算托盘具备 1.34TB HBM 内存,足以满足大多数长上下文预填充与 KV Cache 建立需求。
这位分析师评论称,目前的 AI 推理工作量中超过 50% 来自处理输入并建立相应的 KV Cache,新 Rubin CPX 能以更具弹性的部署方式与更低成本承接预填充负载;新 Rubin CPX 计算托盘具备 1.34TB HBM 内存,足以满足大多数长上下文预填充与 KV Cache 建立需求。