英伟达昨日发布博文，宣布推出 Nemotron-Labs-TwoTower，是一种基于预训练自回归骨干网络的离散扩散语言模型，

　　架构方面，TwoTower 最大的亮点，在于拆分传统扩散语言模型中的网络任务，将文本生成任务中的上下文表示与去噪过程分离到两个独立的神经网络“塔”中。

　　其中一个塔保持冻结，专注于维护文本的自回归上下文；另一个塔经过训练，负责对噪声块进行去噪，两个塔通过逐层交叉注意力连接协作。

　　性能方面，英伟达表示从综合基准测试质量来看，双塔架构保留 98.7% 的质量表现，但是实际运行时间吞吐量提高了 2.42 倍。附上相关测试结果如下：