大模型下一个飞跃?OpenAI的“新突破”:通用验证器

音符科技网

  炒股就看,权威,专业,及时,全面,助您挖掘潜力主题机会!

(来源:网易科技)

在下一代大模型GPT-5备受期待之际,一项名为“通用验证器”的新技术正浮出水面,揭示了OpenAI可能用于拉开竞争差距的“秘密武器”。

OpenAI的“通用验证器”或将直接影响GPT-5模型的市场竞争力,8月4日据科技媒体The Information援引知情人士消息报道,这项技术已被应用于GPT-5的开发过程中。

该技术的核心机制,被比作一场“证明者-验证者游戏”。简而言之,它让一个AI模型扮演“验证者”的角色,去检查和评判另一个“证明者”模型生成的答案。通过这种内部对抗和反馈,系统性地提升模型的输出质量。这一自动化流程旨在解决强化学习(RL)在创意写作等主观领域或数学证明等复杂领域难以验证的瓶颈。

OpenAI内部研究人员已在社交平台X上间接证实了相关 *** 的有效性。研究员Noam Brown表示,这些技术是“通用的”,能让大模型“在难以验证的任务上表现得更好”。这也标志着OpenAI正试图攻克AI商业化应用中的核心痛点——可信度。

“证明者-验证者”的对抗游戏

“通用验证器”的技术细节,最早在OpenAI于2024年7月发表的一篇题为《证明者-验证者游戏提升大语言模型可读性》的论文中被阐述。该 *** 构建了一个精巧的内部对抗训练框架,背后是一种“证明者-验证者博弈”模型。

该框架中“证明者和验证者”两种角色,如同让一个模型内部分裂出两个“人格”:

在训练过程中,“验证者”模型通过学习区分正确与错误的解决方案,不断提升其“打假”能力。同时,“证明者”模型则根据“验证者”的反馈进行优化,学习如何生成更具说服力且不易被伪造的正确答案。论文明确指出,该验证器规模足够小,适合大规模部署,并“为未来的GPT部署而设计”。

有研究人员向The Information表示,这种机制类似于生成对抗 *** (GANs),即通过一个“判别器”来区分真实数据与AI生成的数据,从而倒逼“生成器”不断进步。

超级对齐团队的“技术遗产”?

值得注意的是,这项关键技术被指为OpenAI前“超级对齐”团队的“技术遗产”。发表《证明者-验证者游戏提升大语言模型可读性》这篇论文的六位作者中,目前仅有Yining Chen和Nat McAleese两人仍留在OpenAI。

据悉,该团队由公司联合创始人Ilya Sutskever主导成立,旨在研究如何控制未来可能出现的超级智能,但在Sutskever和另一位负责人Jan Leike离职后被迅速解散。

这为这项技术的应用增添了一层复杂的公司内部动态背景。尽管团队已不复存在,但其技术成果显然已被整合进OpenAI的核心产品研发路径中,用于解决当前模型的对齐和可靠性问题。

GPT-5期望高企

这项技术突破与备受瞩目的GPT-5直接相关。社交媒体上的信息显示,有观点认为,曾在GPT-4代码辅助功能中进行试点的模型自我批判系统,如今已被正式整合进GPT-5这个“下一个主线模型”中。这使得外界对GPT-5的期望达到了新的高度。

OpenAI首席执行官Sam Altman本人也在近期一档播客节目中为GPT-5造势,称其“在几乎所有方面都比我们更聪明”,进一步加剧了市场的期待。与此同时,包括xAI和谷歌在内的竞争对手也已将强化学习作为提升模型能力的关键技术路径并加倍投入。在此背景下,“通用验证器”不仅是OpenAI的一项技术创新,更被视为其在白热化的人工智能竞赛中保持领先优势的核心资产,其最终效果将在GPT-5发布后接受市场的检验。

突破与挑战并存

“通用验证器”最重要的价值在于其“通用性”。据报道,这项技术不仅帮助OpenAI模型在可轻松验证答案对错的软件编程等领域取得进步,也在创意写作等更主观的领域展现了改进。这意味着AI的能力正在从客观领域向主观领域渗透。

例如,在复杂的数学证明中,验证器可以确保每一步都遵循形式逻辑规则且相互一致,而不仅仅是检查最终答案。据报道,OpenAI模型最近在国际数学奥林匹克竞赛中取得的突破性成绩,很可能就得益于包括“通用验证器”在内的技术。OpenAI高级研究员Alexander Wei在社交平台X上称,公司所使用的强化学习 *** 是“通用目的”的,暗示其可以验证更主观类别的答案质量。

然而,通往技术飞跃的道路并非坦途。据媒体早前爆料,GPT-5的研发面临着严峻挑战,包括高质量训练数据的日益稀缺,以及大规模预训练带来的性能提升收益正在下降。此外,模型从内部测试到面向公众部署后的性能衰减问题依然存在,例如内部测试中表现强大的“o3”模型,在实际应用中性能便出现大幅下降。这些因素都为GPT-5最终能否实现预期的突破,带来了不确定性。

文章版权声明:除非注明,否则均为音符科技网 wap.luzhiwang.com原创文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 新华每日电讯:创新引力更是营商磁力,上海持续成为外商投资热土
  • ​人民日报头版:巩固拓展经济回升向好势头——看中国经济之“进”
  • 国盾量子上半年量子计算业务收入同比增超283%
  • 8月14日隔夜要闻:美股收涨 加密货币大涨 特朗普施压“特普会” 美联储9月降息板上钉钉?市场已消化预期
  • 江苏索普拟定增募资不超15亿元扩产
  • 兖矿能源上半年增产降本显经营韧性
  • 上期所原油期货主力合约夜盘收跌1.69%
  • “早中晚高峰禁止老年人免费乘车”,为何公布三天就取消
  • 赣锋锂业整合海外三块锂盐湖项目
  • 国际原油期货结算价收跌
  • 多家养殖上市公司前7个月出栏总量同比增加
  • 在岸人民币兑美元较周二夜盘收盘涨54点
  • 美股三大指数集体收涨,纳指、标普500指数续创历史收盘新高
  • 年内险资举牌上市公司已达27次
  • 德国车企比惨,巨头加速关厂、裁员
  • 泽连斯基称欧美就与俄谈判原则达成五项共识
  • “社保新规”下企业用工风向:退休人员走红?小老板已在做打算
  • 资本市场指数化投资增添“新动能”
  • 陷“助农风波”,赵露思最新回应:真的是助农,将注销微博!官方:确给苹果汁公司发过证书,未对任何个人发过
  • 中国资产爆发!人民币拉升,腾讯狂飙7%,市值超7000亿美元
  • 中考高分考生正涌入中职
  • 叶童人民日报撰文谈“乘风”经历:遇见大好河山,遇见自己
  • “淘宝第一个程序员”离职,已是亿万富豪!他花名“多隆”,在阿里任职25年,从零开始搭建起淘宝网站,被评价“一人顶一个团队”
  • 多家药企研发基孔肯雅热检测试剂专家:不建议自测
  • 两艘非法移民船在意大利南部海域倾覆至少27人死亡
  • 董事长谭平涛,被立案调查、留置!他33岁时由母亲和妻子出资创业,曾登上湖北富豪榜,公司股价今年已涨超60%
  • 详解金融国补:1元贴息带动百元促消费贷款
  • 黄金走高 美联储下月降息预期升温
  • 驾驶辅助不是自动驾驶 两部门为智驾宣传划边界
  • 特朗普:若“特普会”顺利将进行美俄乌三方会晤
  • 台风“杨柳”在福建漳浦县沿海再次登陆
  • 增收不增利 中国利郎阵痛前行
  • 多品类收入下滑 甘源食品上半年净利腰斩
  • 筹划仅一周 永和智控三度易主告败
  • 特朗普:若“特普会”顺利 将进行美俄乌三方会晤
  • 沪指创近四年新高 A股4000点可期?
  • 立案调查股应避而远之
  • 美国务院对巴西等国政府官员实施签证限制
  • 为10月加息扫清障碍?日本央行部分高官呼吁放弃模糊通胀指标
  • 川财证券收警示函 债券业务频遭“点名”
  • 目录[+]

    取消
    微信二维码
    微信二维码
    支付宝二维码