北京时间10月19日10时55分,sgl-project在GitHub发布高性能推理框架SGLang正式版v0.5.22,仓库接口记录发布时间为2026-10-19T02:55:19Z,对比为常规正式版迭代。本次累计合入约950个PR、245位贡献者,聚焦新模型支持、吞吐优化与加载加速,仓库描述为面向大语言模型与多模态模型的高性能服务框架,许可证为Apache-2.0且发布说明未提及许可证调整,面向自建推理服务的中国开发者与企业用户,需按Python与容器要求验证后升级。

核心变化

新模型方面,本次新增Clef与Clef Flash、PPLX-Decider v1与v1.1、EmbeddingGemma 2、LLaDA2.2等语言与视觉语言模型支持,以及混元Image-3.0-Instruct、Kandinsky 6与超分版、Wan-Animate-2、SANA-Video 2.0、LLaDA-Image系列等扩散模型支持,并提供对应Cookbook链接。性能方面,DeepSeek-V4.1在H200上单卡吞吐最高提升约2.3倍,并通过DSpark支持AMD MI350X与MI355X且最高提升约1.9倍;Qwen3.8-Flash-Next在B200上解码快约12%,GLM-5.3-Flash结合DFlash在B300上快约10%;MiMo-V2.6-Pro结合DFlash在B300上解码吞吐达约1.85倍;新InstantTensor加载器使模型加载快约10倍;PD解耦在长提示负载下吞吐最高提升约27%且95分位首Token时间减半;GLM-5.2与5.3支持解码上下文并行结合MTP,GLM-5.3解码最高快约2.1倍。平台方面,SGLang新增在苹果芯片Mac上以标准PyTorch后端运行的能力,并保留MLX路径;SGLang Diffusion新增在ComfyUI中运行MiniMax-H3与Qwen-Image 2.1,并支持社区GGUF检查点与LoRA加载。另合入混合线性模型在推测解码与结构化输出并用时可能从错误mamba状态恢复的重要修复。

  • 发布正式版v0.5.22,发布时间为2026-10-19T02:55:19Z即上海10月19日10时55分,累计约950个PR与245位贡献者;新增Clef系列、PPLX-Decider、EmbeddingGemma 2、LLaDA2.2及多款扩散模型支持;DeepSeek等多模型吞吐显著提升且加载快约10倍;新增苹果芯片PyTorch后端与ComfyUI扩散支持;要求Python 3.11及以上,未提及许可证调整与安全公告

适用对象与访问条件

本次更新主要面向三类中国用户:一是自建大模型推理服务,需要高吞吐、低延迟与多卡并行调度的团队,可在本次获得DeepSeek、Qwen、GLM等主流模型的解码加速与PD解耦、推测解码等能力并开展压测验证;二是有多模型统一 serving 需求的开发者,可用同一框架覆盖语言、视觉语言与扩散模型,并通过OpenAI兼容接口与ComfyUI集成减少适配成本;三是在苹果芯片Mac或Intel、AMD异构环境做本地与边缘验证的用户,可按新增后端与容器矩阵选择对应镜像验证。访问条件为公开仓库https://github.com/sgl-project/sglang,无需付费,升级方式为uv pip install --prerelease=allow sglang==0.5.22或拉取对应Docker镜像,包括NVIDIA CUDA 13、AMD MI35x与MI30x的ROCm镜像、Intel GPU的XPU镜像与Intel CPU的Xeon镜像,国内下载需自行解决网络可达性,实际部署还需具备对应GPU驱动、容器运行时与模型权重。

兼容性、限制与下一步

兼容性方面,本次明确要求Python 3.11或更新版本,低于该版本的环境需先升级解释器与依赖后再安装验证。发布说明将Python版本要求列为升级前提,未将本次描述为破坏性重构,但鉴于涉及调度、注意力后端与并行策略的大量改动,平滑升级仍需回归验证。许可证方面,仓库接口显示为Apache-2.0,发布说明未提及许可证变化,可视为沿用不变,实际商用仍以仓库LICENSE文件与自身合规评估为准,不对维护持续性作保证。安全方面,发布说明未发布安全公告,仅提及混合模型状态恢复等正确性修复,不应理解为漏洞处置承诺。已知限制是文中吞吐与延迟数据均为官方在特定硬件与配置下的结果,如H200、B200、B300与MI350X等,具体收益受模型、并发、量化与网络拓扑影响,国内用户还需考虑硬件可得性与镜像拉取成本。建议先在测试环境从上一正式版升级至v0.5.22,重点验证常用模型的加载、吞吐、长提示稳定性与苹果芯片或异构镜像的兼容性,确认无异常后再评估生产跟随;若出现依赖冲突或启动异常,应以官方Release说明与对应PR信息为准排查,并在升级前做好回退准备。