llama.cpp 发布 1.0:删掉 35 个旧接口,以后按主版本升级

北京时间 11 月 13 日,ggml-org 把 llama.cpp 和底层张量库 ggml 同时发成 v1.0.0。从这一版起,两个库的公开 C 接口一旦出现不兼容改动,主版本号就要往上跳。拿 llama.cpp 做本地推理、或者在它上面封装应用的开发者,以后看版本号就能知道升级会不会弄坏自己的代码。这一版本身也删了一批旧接口,llama-server 的几项网络默认值也收紧了,升级前要先查一下自己的启动参数。
版本号开始替下游说话
llama.cpp 做了约 3.5 年,多数人用的是按提交编号命名的夜间构建,比如写稿时最新的是 b12374,一天能出好几个。官方博客说,下游依赖越来越多,库接口需要稳定,所以这次把 llama.cpp 和 ggml 一起定为 1.0.0,并公布了规则:
| 改动类型 | 版本号怎么变 |
|---|---|
./include 里公开 C 接口的破坏性改动 | MAJOR |
| 向后兼容的新功能、后端更新、新模型支持、新增接口 | MINOR |
| 不改接口的 bug 修复 | PATCH |
对应的两个库是 libllama(头文件在 llama.cpp/include/)和 libggml(ggml/include/)。ggml-org 的发版说明还写了一条约束:llama.cpp 仓库里带着一份 ggml,正式版标签只在这份内置副本和发布版 ggml 完全一样时才打。Homebrew、Debian 这类把 llama.cpp 链接到系统级 ggml 的打包方,跟着正式版走就不会出现两边对不上的情况。上一个库版本是 11 月 4 日的 v0.9.0。
用夜间构建的照旧用,打包和做 SDK 的可以改为锁正式版:以后看到主版本号变了,才需要准备改代码。
这一版删了什么、加了什么
1.0 的主要工作是清理接口。llama.h 删掉了 llama_set_warmup、35 个标为弃用的函数和 defrag_thold 字段,命令行的 -dt, --defrag-thold 一并移除。原来放在 llama-ext.h 里的 NextN(投机解码相关)接口提进了 llama.h,llama_set_embd_state_src 改名为 llama_set_ctx_state_src。多模态这边去掉了 clip.h,统一并入 mtmd。
新功能里,开发者最可能用上的是:
- FP8 KV 缓存:
-ctk/-ctv f8_e4m3,可选静态的逐张量缩放。 - 放在主机内存里的 MoE 专家缓存,
llama_context_params新增moe_cache_size和moe_cache_cpu_share,可以设多少比例的未命中交给 CPU 算。 llama-server新增兼容 OpenAI 的/v1/audio/speech接口。- 新模型架构 Kimi-K3.1-Pro、Ripple-65B-Preview、xing4_0,以及 drama-3 TTS;视觉侧加了 MageVL-Cowork 和 Kimi-K3.1。官方称目前支持 150 多种架构变体。
ggml 1.0.0 同样删了弃用接口和旧的 DIAG_MASK 算子,加了 FP8 支持和可配置的 YaRN 截断,CUDA、Metal、Vulkan、SYCL、OpenCL、WebGPU 等后端都有性能改动。投机解码在本地机器上的实际效果,可以看站内的 llama.cpp 投机解码教程。
llama-server 用户:先查这三项启动参数
- 局域网开放 + 工具:
--host填了非回环地址,又开了工具或 MCP,但没设 API key,服务会拒绝启动,要么配 key,要么显式加--allow-unauthenticated-tools。--cors-origins现在也会严格校验端口。 - 本地地址访问:CORS 代理和聊天接口里的媒体 URL 不再能访问本机和局域网地址。媒体放在同一局域网 NAS 上的,要加
--media-allow-private-urls;用 CORS 代理连localhost或局域网里的 MCP 服务器这条路已经封掉,没有开关。 - 令牌范围:
HF_TOKEN只发给 huggingface.co 的主机;客户端断开或超时时,正在进行的 MCP 工具调用会被取消并通知 MCP 服务器。
相关 PR 的说明给了原因:很多人直接在自己电脑上跑 llama-server,原本「默认能访问本地地址、靠用户自己做隔离」的设计开始出问题,所以牺牲了一点易用性。
谁该关心,怎么试
直接链接 libllama 的绑定库、封装 SDK 的项目和打包方受影响最大:调用过被删函数的代码在 1.0 上编不过,要按发布说明改。只通过命令行或 llama-server 使用的,重点是脚本里有没有 --defrag-thold,以及上面三项网络参数。分发渠道方面,官方列了 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 和 iOS/macOS 用的 XCFramework。项目截至 11 月 14 日在 GitHub 上有 134,878 颗星,MIT 许可。
最后
升级前把自己的 llama-server 启动命令和 GitHub 上 v1.0.0 发布说明的 Server changes 一节对一遍,再决定要不要切到正式版标签。