快讯2026-11-08 · 智涌AI

阿里开源 MNN-Pocket:173MB 端侧模型

阿里 MNN-Pocket-0.3B 端侧模型规格示意

阿里 MNN 推理框架团队本周在 Hugging Face 开源 MNN-Pocket-0.3B:一个约 3 亿参数的中英双语指令模型,和 MNN 推理栈一起设计,目标是在手机等设备上离线运行,许可证 Apache 2.0。

同时放出 Base、SFT、GGUF(可用 llama.cpp)和 MNN 部署版,还有一个一次前向就回答所有问题的非自回归决策模型 Dec。结构是 28 层、隐藏维度 896、GQA 注意力,词表 65,536。除 MNN 外,Transformers 和 llama.cpp 也能跑。

适合 App 里做离线问答、表单信息抽取、轻量 Agent 的路由和判断,省掉云端调用的费用和延迟,用户数据也不必离开设备。对已经在用 MNN 做端侧推理的国内 App 团队,接入成本最低。官方也直说,这个体量不适合高等数学、长程代码生成这类重推理任务。

注意:速度和基准分为团队自测,换设备、换推理引擎结果会不同。

关注公众号「智涌AI速递」

每天的 AI 快讯、实用教程和 AI项目实测,也会同步发到微信公众号。在微信里搜索「智涌AI速递」就能关注;不用微信的话,可以用 RSS 订阅本站。