Nanbeige4.2-3B 是 BOSS 直聘旗下的南北阁实验室推出,仅含 30 亿非嵌入参数,采用 Looped Transformer 架构,通过在不增加参数量的前提下复用 Transformer 层,提高模型的有效计算深度和容量。
横轴表示“输出 256 个 token 所需的时间”,纵轴表示“上下文长度限制为 16K 个 token 时的平均基准测试得分”。“Nanbeige4.2-3B”的基准测试得分与“LFM2.5-2.6B”相当。
Nanbeige4.2-3B 是 BOSS 直聘旗下的南北阁实验室推出,仅含 30 亿非嵌入参数,采用 Looped Transformer 架构,通过在不增加参数量的前提下复用 Transformer 层,提高模型的有效计算深度和容量。
横轴表示“输出 256 个 token 所需的时间”,纵轴表示“上下文长度限制为 16K 个 token 时的平均基准测试得分”。“Nanbeige4.2-3B”的基准测试得分与“LFM2.5-2.6B”相当。