Ai2 发布 XYBench:AI 爱答字面问题

Ai2(艾伦人工智能研究所)在 11 月 13 日发布 XYBench:8,115 个「问错了问题」的真实提问,测 AI 助手能不能看出用户背后真正想解决的事。
题目来源:Stack Overflow 1,557 题、Stack Exchange 184 题、人工整理 102 题、根据 WikiHow 生成 6,272 题。被测的是 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro。在 Stack Overflow 题上,75–86% 的回答给了字面问题的解法,给出真实目标解法的只有 59–71%。
直接把用户的真实意图告诉模型也没完全解决:Sonnet 4.6 给出真实目标解法的比例从 59% 升到 67%,指出用户误解的比例却从 47% 降到 34%。这篇论文拿了 EMNLP 2026 最佳资源论文奖。做编程 Agent、客服机器人的团队,可以拿它测一测自家产品会不会追问真实需求。
注意:评测用 Claude Sonnet 4.5 当自动裁判,人工复核了 500 条回答,在「回答侧重点」一项上与人工的一致率只有 74.2–79.8%。测的都是较早的模型,题目目前只有英文。