文心 5.5 Flash 预览版:280B MoE

百度 11 月 11 日发布文心 5.5 Flash Preview,这是在此前开放的 ERNIE 5.5 Flash Base 上做后训练得到的第一个模型。千帆平台已经能调用 API,权重将以 Apache 2.0 协议开源。
百度的发布页放的全是 Agent 环境里端到端做完的案例:一次 11 小时的编码任务,把多代 Unreal Engine 素材合进一个 UE 5.8 项目并用 C++ 写完整个游戏;按策划文档做了近 100 个手机小游戏;用 Blender Python API 搭机场、客机和法隆寺。模型本身只吃文本,看不到画面,所以它把试玩中发现的问题改写成代码里的测试,再靠测试驱动迭代。
据新华网报道,模型用了混合稀疏注意力、多路由器 MoE 和 ECHO 多 token 预测,生成速度每秒超过 200 token,还首次让 ERNIE Evolve 参与推理优化。
注意:百度自己说明这是后训练的中间检查点,训练没做完,有些能力可能还不到位,正式版会再改进。案例和跑分都来自百度,权重目前还没放出。