英伟达于今年 6 月发表论文，推出 Audex统一音频-文本大语言模型，总参数量 30B，激活参数 3B，在保留核心文本智能情况下，能理解和生成音频和语音。

　　该模型的设计目标是避免多模态扩展后文本能力下滑问题。论文显示，Audex 将音频输入编码后映射到文本嵌入空间，并把量化后的音频输出标记与文本标记统一处理。

　　语音输出采用 X-Codec2，速率为每秒 50 个标记，使用单层 finite scalar quantization，码本大小为 65536。非语音音频采用 X-Codec，速率为每秒 200 个标记，使用 4 层展平残差向量量化。