BerriAI维护的开源AI网关LiteLLM于上海时间2026年9月18日发布v1.103.0-dev.2。这是一个开发阶段预发布,标记为prerelease,由维护方通过GitHub Release发布,接口显示published_at为2026-09-18T02:42:04Z,对应北京时间2026年9月18日10时42分,落在当日00:00至23:59窗口内。仓库归属BerriAI组织,项目定位为统一调用100多种大模型的AI网关,支持Python SDK与代理服务两种形态。本次发布说明未声明许可证变更与正式版状态,根目录LICENSE对enterprise目录之外内容继续适用MIT许可,中国开发者可通过PyPI与Docker镜像验证。

关键变化

  • 防护栏Singulr v2契约:新增logging_only、pre_mcp_call与post_mcp_call,便于审计与MCP调用前后控制;路由影子流量:支持将影子流量扇出到多个silent_model目标,便于灰度对比与回归验证;出站HTTP/2可选项:httpx客户端可选启用HTTP/2,面向高并发网关链路;xAI兼容修复:Responses API保留instructions字段,网页搜索场景系统消息不再丢失;Anthropic流式兼容:容忍无usage的message_delta事件,并在无usage流结束时补计token;成本与可观测性:同步278个模型价格并新增客户预算仪表与OTel元数据透传,代理不再向Anthropic透传虚拟密钥

适用对象与价值

面向已用LiteLLM统一接入OpenAI、Anthropic、Gemini、Bedrock、Azure等多家模型的团队,特别是自建AI网关、需要虚拟密钥、支出跟踪、负载均衡与防护栏的平台方。影子流量扇出有助于在不影响线上请求的前提下对比新模型或新配置。Singulr防护栏新契约有助于把调用前检查、调用后审计与仅记录模式分开,满足不同合规阶段的需求。出站HTTP/2与流式兼容修复面向高并发与长连接场景,有助于减少因协议与事件差异导致的失败。价格同步与预算仪表面向多模型成本核算,便于及时发现新模型与废弃模型的价格变化。

兼容性与安装条件

本次为dev预发布,不应直接用于生产全量。发布说明未声明破坏性变更,但包含Rust侧网关与路由相关重构与精简,使用Rust实验特性的用户需核对变更再升级。Python用户可通过PyPI安装对应dev版本验证,包名为litellm,版本字符串为1.103.0.dev2。Docker用户可拉取ghcr.io/berriai/litellm对应标签,并按发布页说明使用cosign校验镜像签名。使用需要配置各模型提供方的密钥与网关虚拟密钥,实际模型可用范围、限流与计费以后端开通与账户权限为准。建议先在测试环境验证路由、防护栏与可观测性链路。

限制与注意事项

发布说明未声明安全修复,不应将其理解为安全加固版本。其中提到的zlib相关扫描为CI侧暂时忽略,等待上游修复,不构成可直接使用的安全结论。许可证方面,根LICENSE明确enterprise目录另有企业许可,核心网关之外目录的二次使用需自行核对。新增的影子流量、防护栏契约与HTTP/2选项均需网关配置对应开启,默认行为以配置文件与文档为准。流式与计费行为变化可能影响依赖旧事件与用量判断的代码,升级后需回归异常分支与账单核对。本文不对安全性、长期维护与后续版本节奏作超出发布说明的保证,细节以仓库发布页与代码为准。

下一步

已使用LiteLLM的项目可在测试环境升级至v1.103.0-dev.2,重点验证影子流量配置、Singulr防护栏新参数、xAI与Anthropic链路的系统消息与流式表现,以及价格同步后的成本统计,再决定是否跟进正式版。未接入的团队可按仓库说明先跑通代理快速开始与虚拟密钥,再评估网关形态。更多细节见Release v1.103.0-dev.2说明与PyPI上litellm对应版本页面。