阿里开源 MNN-Pocket:173MB 端侧模型

阿里 MNN 推理框架团队本周在 Hugging Face 开源 MNN-Pocket-0.3B:一个约 3 亿参数的中英双语指令模型,和 MNN 推理栈一起设计,目标是在手机等设备上离线运行,许可证 Apache 2.0。
同时放出 Base、SFT、GGUF(可用 llama.cpp)和 MNN 部署版,还有一个一次前向就回答所有问题的非自回归决策模型 Dec。结构是 28 层、隐藏维度 896、GQA 注意力,词表 65,536。除 MNN 外,Transformers 和 llama.cpp 也能跑。
适合 App 里做离线问答、表单信息抽取、轻量 Agent 的路由和判断,省掉云端调用的费用和延迟,用户数据也不必离开设备。对已经在用 MNN 做端侧推理的国内 App 团队,接入成本最低。官方也直说,这个体量不适合高等数学、长程代码生成这类重推理任务。
注意:速度和基准分为团队自测,换设备、换推理引擎结果会不同。