BerriAI于上海时间2026年10月21日13时47分通过GitHub Release发布LiteLLM稳定补丁v1.104.5,接口显示published_at为2026-10-21T05:47:40Z,created_at为2026-10-21T01:08:33Z,prerelease标记为false,标签与名称均为v1.104.5,对照区间为v1.104.4至v1.104.5,打包PR为#47634。仓库归属为BerriAI组织下的BerriAI/litellm,项目定位为统一调用多种大模型的开源AI网关,支持代理服务与Python调用两种形态。本次当日说明未提及许可证变更,沿用仓库MIT条件。中国用户可通过当日Release页面、Release API与PR页面验证版本、时间与回迁内容,不以聚合榜单或转载为准。
关键变化
本次为stable/1.104.x线单点回迁补丁,仅合入#47634一笔变更,将主线#45317与#46430中Bedrock相关部分合入稳定分支并升至1.104.5。核心解决Bedrock Runtime CountTokens对较新Claude模型返回400或404后本地估算少算问题:先按原逻辑请求Bedrock Runtime,遇Claude模型400或404时改走Bedrock Mantle Anthropic端点计数,若Mantle仍失败则保留本地估算,非Claude模型不调用Mantle。PR给出实测:同一短消息此前本地估算为27且标记local_estimate,实际推理计费为42,修复后计数为42并标注来源与模型,与推理usage一致。另含aiohttp锁相关依赖随附调整。Docker镜像ghcr.io/berriai/litellm:v1.104.5可在发布页按提交哈希或标签以cosign校验,MIT许可不变且未声明为安全修复版本。
适用对象与兼容性
本次主要面向跟随1.104.x稳定线的自建网关团队,特别是经LiteLLM代理统一接入Bedrock上Claude Opus 4.8、Sonnet 5系列等并使用/v1/messages/count_tokens预估成本的平台方,有助于对齐预估与账单口径,避免按少算值做预算与限流。本次为正式稳定补丁,不含预发布标记,可按常规补丁流程评估,未标记破坏性变更,但涉及计数来源与模型路由,存量网关仍需核对客户端对来源字段解析。仓库为公开仓库,可直接查看发布页与源码,Python包与容器按常规方式升级,实际使用仍需配置AWS与各模型密钥及网关虚拟密钥,可用模型与计费以后端开通为准。国内拉取需自行解决网络可达性。
限制与下一步
当日来源未将本次列为安全修复版本,不作安全加固保证;PR中列出多类仍失败的计数与环境行均与本次无关,不视为回归。发布说明未给出性能数据与全量受影响模型清单,不作普遍正确或加速保证。许可证方面,当日说明未提及变更,按MIT不变处理,企业目录例外以仓库LICENSE为准,复用仍以自身合规评估为准,不对维护持续性作保证。已使用v1.104.4的项目建议先在测试环境升级至v1.104.5,重点验证Claude新模型计数是否由local_estimate转为Mantle来源且与推理usage一致,非Claude与原有通过路径无变化,确认无回归后再全量跟随。后续进展以同一仓库Release页面为准。