快讯2026-10-21 · 智涌AI

OpenAI 开源 MultiLangBench:新模型写 COBOL 通过率翻 6 倍

OpenAI 美国时间 10 月 19 日发文,讲自家新模型在 COBOL、Fortran、Visual Basic 这类“冷门老语言”上的进步,并把评测集 MultiLangBench 开源到 GitHub。

评测GPT-5.6 Sol新模型
MultiLangBench 20 语言平均26.8%GPT-6 Astra 87.4%
其中 COBOL10.9%Astra 72.1%
其中 Fortran21.4%Astra 83.5%
COBOL 迁移(低推理强度)5.4%GPT-6.1 Sol 86.6%

MultiLangBench 的考法是:用指定语言从零写一个兼容 SQLite 的数据库引擎,再拿 SQLite 自带的测试改编的用例来检验。COBOL 迁移评测则要求把 COBOL 程序改写成 Java、Python、Rust 等语言,输出必须逐字节一致才算过;GPT-6.1 Sol 开高推理强度能到 97.9%。

便宜档的 GPT-6 Luna 平均 40.3%,每个样本成本约 0.77 美元,比 GPT-5.6 Sol 的 3.48 美元低约 78%。

注意:两个评测都是 OpenAI 自己设计的,只比了自家模型,没有其他厂商的成绩。OpenAI 自己也说,用到生产系统前仍需专家审查,并按业务规则做测试。好在评测集开源了,可以自己拿去复测。

📬 订阅《智涌AI周报》

每周一封,精选 AI 大事和实用技巧。