LiteLLM 1.99.1 是 BerriAI 于上海时间 2026-09-02 14:17 发布的 Docker 专用补丁版,仅更新容器镜像,未发布 PyPI 包。核心为 OpenTelemetry v2 缓存 token 统计修复,面向以 LiteLLM 网关统一接入多模型并通过 OTel 做成本监控的团队。
关键变化
- Docker-only:提供 ghcr.io/berriai/litellm、litellm-database、litellm-non_root 三类镜像,同步推送至 docker.io/litellm/*,标签均为 1.99.1 与 v1.99.1;无 PyPI,需用镜像部署或停留在 1.99.0。 OTel 修复:在 v2 spans 中新增 cache_creation 与 cache_read 的 input_tokens 计数,与已有缓存成本字段对齐,基于 OTel 的 prompt caching 成本不再低估。 单一回移植:基于 1.99.0 回移植 #38716,无其他功能变更。 标签更新:latest 与 main-stable 已指向 1.99.1。
适用对象与价值
适用于已部署 LiteLLM AI Gateway(支持 100+ 模型、OpenAI 兼容接口、成本追踪与网关策略)的中国企业与开发者,尤其是启用 prompt caching 并以 OpenTelemetry 采集 gen_ai.usage 进行费用分摊、预算告警或账单核对的场景。修复后缓存命中与创建的 token 能被完整计入,避免成本低估。
兼容性与迁移/访问条件
无破坏性变更,镜像与 1.99.0 配置兼容。迁移条件:执行 docker pull ghcr.io/berriai/litellm:1.99.1 或 :latest 并重启服务;Kubernetes 以镜像方式部署的集群更新 deployment 镜像标签即可。验证:所有镜像以 cosign 签名,官方推荐以提交 0112e53 的公钥 https://raw.githubusercontent.com/BerriAI/litellm/0112e53/cosign.pub 验证,亦可用标签 v1.99.1 的公钥作便捷验证。PyPI 用户无需操作,继续使用 1.99.0 即可。
限制与下一步
限制:本版本仅为容器镜像,无 pip 包;仅修复 OTel 缓存计数,未改变网关功能与 API。许可证:核心仓库为 MIT(Copyright 2023 Berri AI),enterprise/ 目录另有独立许可。已知不确定性:无。下一步:更新镜像后检查 OTel 采集端是否出现 cache_creation 与 cache_read 字段,并核对与 LiteLLM 自身 cost 字段的一致性,再同步更新账单与监控规则。
官方说明:This release ships container images only. There is no PyPI package for 1.99.1. It carries one fix on top of 1.99.0: OpenTelemetry v2 spans now emit cache token counts.