核心变化

结论:vLLM 项目于 2026 年 10 月 18 日 06:50 UTC(北京时间同日 14:50)发布 v0.32.0 正式版。根据官方发布说明,该版本为正式发布而非预发布,共包含 814 次提交、363 位贡献者,其中 121 位为新贡献者。PyPI 同日上架 0.32.0 安装包,发布日期可交叉确认。编辑说明:以上发布时间以 GitHub API 的 published_at 为准,已换算为北京时间,仍属当日窗口。

官方发布说明称,本次核心变化包括:新增 POST /v1/systemone 结构化决策接口,可对结构化状态回答 choice、noul 与 score 三类问题并默认启用,同时提供读取检查点 response_template 的通用 hf 工具调用与推理解析器,减少对模型专用解析器的依赖;低精度 KV 缓存扩展至更多架构,NVFP4 覆盖 SM8x、SM12x 与 SM90,GLM-5.x 在 SM100 默认使用 FP8 KV 缓存,ROCm 新增 4 位 ultraquant_4bit;Model Runner V2 带来 GPU n-gram 推测、弹性专家并行与 stock torch.compile 模式,并在 ROCm 默认启用。

  • 新增模型与优化:EmbeddingGemma 2 多模态嵌入、MiniCPM-V 4.7、Nemotron 3.5 ASR;Transformers 后端新增视频输入;Qwen3.8-Flash-Next、DeepSeek-V4/V4.1、Kimi-K3 与 MiniMax-M3 推理路径优化;启动加速包括预编译内核下载与 autotune 预热;安全修复涉及聊天模板资源耗尽、tokenizer 与 P2P 套接字问题,默认 CORS 不再允许所有来源,非受信图片限于光栅格式。

影响与可用范围

受影响对象为自托管推理与 OpenAI 兼容 API 服务用户,覆盖 NVIDIA CUDA 13.0/12.9、ROCm、Intel XPU 与 CPU 的 Python Wheel 与 Docker 镜像,可通过 pip install vllm 与 docker pull vllm/vllm-openai:v0.32.0 获取。对中国用户而言,Qwen、DeepSeek、GLM、MiniCPM、Kimi 等常用模型的吞吐、首 token 时延与多模态支持受此次更新直接影响。官方给出的部分基准提升仅限其测试条件,例如特定并发与上下文配置下的吞吐变化,不构成普遍性能保证,实际效果需结合自身模型与硬件验证。

限制与下一步

限制与破坏性变更:官方明确停止支持 Python 3.10,默认 CORS 来源收紧,依赖要求 transformers 特定版本区间与 tokenizers 最低版本,并移除 cascade attention 与部分旧参数,Responses API 推理流事件重命名。以上结论均来自官方发布说明,尚未经独立复现验证。建议生产升级前在测试环境回归验证接口、解析器与量化配置,确认依赖与网关 CORS 策略后再分批上线;若仅需稳定性,可暂留旧版本并关注后续补丁。