Ai2 发布 StateBench：前沿模型长文状态追踪仍会掉分

Ai2（艾伦人工智能研究所）11 月 3 日（美国时间）在 Hugging Face 博客发布 StateBench，测语言模型在长文档里能否跟住实体状态的变化，比如代码里变量被反复赋值，或小说里物品在人物之间流转。

参测的前沿模型是 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna。开源侧测了同数据预训练的 Olmo 3（Transformer）和 Olmo Hybrid（加 Gated DeltaNet 层），多数模型在最难一级停在随机水平。训练实验里模型最长只见过 256 步赋值，测试长到 64,000 步。

做 Agent 的可以参考这个结果：长任务里反复改写的状态（文件、变量、待办），最好交给外部工具记录，别全靠模型在上下文里记。

注意：结论来自 Ai2 自己的实验设置，前沿模型只测了“读完赋值序列、写出全部变量终值”这一种形式；StateBench 目前假设变量数固定，不覆盖对话中途不断出现新实体的情况。