Neon开源4B模型:文档搜索能力超GPT-5.6 Sol,成本仅为1100

发布时间:2026-08-07 14:00

  注:Neon 是一款完全托管的无服务器PostgreSQL 数据库。它分离计算与存储,支持自动扩展、按需缩容至零以及类似 Git 的数据库分支功能,非常适合现代云原生应用和 AI 智能体。

  而 Castform 主要提供面向企业和开发者的 AI 语音智能体与模型训练平台。它通过高度拟真的语音交互和自动化工作流,帮助企业处理日常通话、销售跟进及客户支持。

  博文指出一个好的 AI 智能体,需要具备以下 2 种能力:一是通过工具找到正确的上下文数据;二是路由判断该使用什么模型。

  因此 Neon 团队携手 Castform 公司使用强化学习,后训练 1 个 4B 参数开源模型。在任务中,该模型的准确率与 OpenAI 的 GPT-5.6 Sol 相当、甚至更高,而成本约为后者的 1/100。

  Neon 团队指出在文档方面,目前主流做法是嵌入式,通常把文档转换为数值化数据,再查找相似内容。

  而伴随着 AI 智能体的普及,流程开始转向智能体式。在这类系统中,AI 模型会把大型问题拆成多个小问题,自主决定查询,查看结果,并基于结果发起下一次,直到收集到所需信息。

  Neon 表示,智能体式更适合处理复杂问题,但每次都需要调用高性能模型,因此会增加耗时和成本。按 Neon 给出的典型请求口径,使用 GPT-5.6 Sol 的一次请求耗时超过 10 秒,成本约为 $0.03。

  Castform 选择训练相对较小的开源模型,让模型学习如何从特定数据中找到所需信息。Neon 负责提供文档存储位置和功能,Castform 负责训练模型判断“该什么”。

  训练流程中,模型会尝试完成任务,系统会给结果打分,并把评分结果纳入后续试验。评估维度包括:是否找到正确文档、是否引用合适段落、最终答案是否正确。

  成本方面,后训练模型的单次推理成本为 0.000929 美元;GPT-5.6 Sol 的单次推理成本为 0.087338 美元。

排行

精选