#937 LiteLLM 副 key 启用脚本 + 计划 (20260810-154721)

新增 litellm/apply_secondary_key.sh + rollback + verify + README + docs/observability/litellm-failover-activation.md. 代码层已就绪(commit 84d89ab),等用户提供 SiliconFlow 副 key 后,单次低峰会话完成切换.
This commit is contained in:
qihu-bot committed 2026-08-10 15:47:21 +08:00
1 parent e50d006ef4
commit b415a0b62e
5 files changed
+186

No files matched your search

@@ -0,0 +1,29 @@
# LiteLLM 副 key 启用计划 (Task #937)
## 必要性判断
- **必要性**: 🟡 中等(非紧急,设计已就绪)
- **理由**: #937 failover 设计 + 沙箱已交付(commit 84d89ab),`test_litellm_failover_sandbox.py` 在沙箱跑通。但**实际启用**需要用户提供副 key。
- **冲突**: 修改 litellm config + kill -HUP 1 会触发 litellm reload,可能瞬时影响 LLM 调用。
## 当前状态(本会话交付)
- **代码就绪**:`app/core/llm_router.py` + `test_llm_router.py` 已支持熔断 + 路由
- **沙箱验证**:`tests/test_litellm_failover_sandbox.py` dry-run 通过
- **运维脚本**:`litellm/apply_secondary_key.sh` + `rollback_secondary_key.sh` + `verify_failover.sh` + README
## 启用流程(等用户提供副 key)
1. 用户:向 SiliconFlow 申请副 key(用户责任,无法自动化)
2. 在低峰期执行 `SECONDARY_API_KEY=sk-xxx ./apply_secondary_key.sh --gray=10`
3. 观察 24h 一致率
4. 切到 100%:`./apply_secondary_key.sh --gray=100`
5. 验证:`./verify_failover.sh`
## 不启用的代价
- **当前可用**: 主 key 正常,实测 1-4% CPU 误判已修
- **风险**: 主 key 限流时整个 LLM 服务中断
- **概率**: 低(SiliconFlow 个人账户默认 1k req/min,平台日均 200 req)
## 总结
- **现在做**:运维脚本 + 文档(本会话已交付,commit 下一行)
- **不实际启用**:等用户提供副 key
- **执行时机**:用户给副 key 后,单次低峰期会话完成切换