OpenAI 开源 MultiLangBench:新模型写 COBOL 通过率翻 6 倍
OpenAI 美国时间 10 月 19 日发文,讲自家新模型在 COBOL、Fortran、Visual Basic 这类“冷门老语言”上的进步,并把评测集 MultiLangBench 开源到 GitHub。
| 评测 | GPT-5.6 Sol | 新模型 |
|---|---|---|
| MultiLangBench 20 语言平均 | 26.8% | GPT-6 Astra 87.4% |
| 其中 COBOL | 10.9% | Astra 72.1% |
| 其中 Fortran | 21.4% | Astra 83.5% |
| COBOL 迁移(低推理强度) | 5.4% | GPT-6.1 Sol 86.6% |
MultiLangBench 的考法是:用指定语言从零写一个兼容 SQLite 的数据库引擎,再拿 SQLite 自带的测试改编的用例来检验。COBOL 迁移评测则要求把 COBOL 程序改写成 Java、Python、Rust 等语言,输出必须逐字节一致才算过;GPT-6.1 Sol 开高推理强度能到 97.9%。
便宜档的 GPT-6 Luna 平均 40.3%,每个样本成本约 0.77 美元,比 GPT-5.6 Sol 的 3.48 美元低约 78%。
注意:两个评测都是 OpenAI 自己设计的,只比了自家模型,没有其他厂商的成绩。OpenAI 自己也说,用到生产系统前仍需专家审查,并按业务规则做测试。好在评测集开源了,可以自己拿去复测。