ggml-org于上海时间2026年10月21日12时11分通过GitHub Release发布llama.cpp预发布b11780,接口显示published_at为2026-10-21T04:11:52Z,prerelease标记为true,标签与名称均为b11780。仓库归属为ggml-org组织下的ggml-org/llama.cpp,项目定位为本地大模型推理引擎,覆盖llama-server自托管与CPU、CUDA、Vulkan等多后端本地部署。本次当日发布页以服务端实时转录接口为主,未提及许可证变更,沿用站内已核验的MIT条件。中国用户可通过当日Release页面与Release API验证版本与发布时间,不以聚合榜单、转载或搜索片段为准。
关键变化
- 服务端新增实时转录WebSocket接口/v1/realtime,兼容OpenAI实时转录会话形态,配套文档与WebSocket代理转发;API密钥中间件覆盖WebSocket握手阶段,握手失败直接返回401,支持Bearer、原始密钥与X-Api-Key并覆盖路由代理子实例;实时槽位排除提示词循环并在槽位就绪后启动音频流与会话创建,避免提示词批处理饥饿与过早会话事件;提交项命名与发送时序按实时规范对齐,同一锁内发送提交与转录完成,避免增量穿插;对比区间主要合入该服务端实时转录合集,未标记破坏性变更,MIT许可不变
适用对象与价值
本次主要面向在llama-server上构建实时语音转录的自托管用户,包括需要兼容OpenAI实时接口做流式音频接入、代理转发与统一鉴权的推理服务维护者。此前服务端缺少官方实时转录WebSocket路径,需要外部网关或私有分支实现握手鉴权与槽位调度,升级与排查成本较高。本次在同一服务端内提供/v1/realtime、文档与代理能力,并将鉴权与会话启动时序纳入主分支后,相关服务可用一致方式接入实时音频流,减少自维护分支。对仅做普通文本对话、未启用实时音频或已有稳定版本的用户,本次无直接感知变化,可按常规节奏跟随。中国用户如需验证,需自行解决GitHub网络可达性,并核对本地构建版本与服务配置。
兼容性与安装条件
本次为预发布版本,不建议直接用于生产全量升级,存量服务宜先在测试环境验证。发布说明将变更列为服务端新增能力,未标记破坏性变更与既有接口参数调整,现有启动参数、模型加载与文本接口路径保持兼容,但涉及WebSocket握手鉴权与实时槽位调度,仍需回归既有文本与新实时路径。仓库为公开仓库,无需授权即可查看发布页与拉取源码,当日构建产物沿用既有分发渠道,覆盖macOS、Linux、Windows、Android与iOS等,实际使用仍需配置转录模型权重路径、服务端口与后端参数。国内拉取与构建需自行评估网络与编译环境,升级前建议记录当前版本与服务配置以便回退。
限制与下一步
当日来源未将本次列为安全修复版本,不作安全加固保证;实时转录在不同模型、采样率与网络条件下的延迟与准确性未在当日发布页量化,不作普遍性能提升保证。许可证方面,当日说明未提及变更,按MIT不变处理,实际复用仍以仓库许可证文件与自身合规评估为准,不对维护持续性作保证。需要使用实时转录的用户建议先在隔离环境升级至b11780,重点验证握手鉴权三种密钥形态、代理转发与会话创建时序是否符合预期,确认无回归后再跟随。后续进展以同一仓库Release页面为准。