腾讯开源 DSpine:Qwen3.8 提速约 3 倍

腾讯在北京时间 11 月 7 日晚把 DSpine 的 Qwen3.8-27B 版本放上 Hugging Face。它是一个给 Qwen3.8-27B 用的 5 层草稿模型,块大小 16,一次并行生成 16 个草稿 token 交给大模型验证,按 Apache 2.0 开源。10 月中旬腾讯已发过 Qwen3-8B 版本。
思路写在模型卡和论文里:每一层把预测出的前驱特征传给相邻位置,让因果依赖沿着网络深度传下去,所以草稿可以并行生成而不完全丢掉前后关系。动态验证部分参考了 DeepSeek 的 DSpark。测试场景里有三个来自腾讯自家的 WorkBuddy(代码、网页、办公),另两个是 SWE-bench Pro 和 τ²-bench;其中 WorkBuddy Office 从 210.03 tok/s 提到 805.53 tok/s。WorkBuddy 是什么可以看站内 WorkBuddy 上手篇。
对自己部署 Qwen3.8-27B 跑 Agent 的团队,这类草稿模型不改主模型权重,只换推理配置,接入成本低。
注意:数字都是腾讯在 SGLang 0.5.22、BF16、并发 8 的条件下自测的;需要从 Tencent/DSpine 仓库安装并按模型卡给 SGLang 加一长串参数。换并发、换硬件后的提速幅度要自己再测。