docs: 后台新增独立LLM管理中心模块
后台从8个板块扩展为9个板块:
① 管理仪表盘
② 用户管理
③ LLM管理中心 ⭐ (新增,独立模块)
④ 能力审核中心
⑤ 财务管理中心
⑥ 技能市场管理
⑦ 系统运维监控
⑧ 内容运营管理
⑨ 平台配置中心
LLM管理中心包含:
- 渠道管理 (7个LLM提供商)
- API Key管理 (加密存储+多Key轮询)
- 模型管理 (启用/禁用/配置)
- 定价管理 (每模型计费系数)
- 路由策略 (用户选择/成本优先/延迟优先/负载均衡)
- 健康监控 (探活/延迟/错误率/自动摘除)
- 用量统计 (按渠道/模型/时间)
- 成本分析 (成本vs收入利润)
This commit is contained in:
1 parent
aed9c2a4e4
commit
33f2007e4d
1 file changed
+120
-40
+120
-40
@@ -12,17 +12,17 @@
|
|||||||
│ QihuAI 平台 │
|
│ QihuAI 平台 │
|
||||||
├────────────────────────────┬────────────────────────────────────────┤
|
├────────────────────────────┬────────────────────────────────────────┤
|
||||||
│ 前台(用户端) │ 后台(管理端) │
|
│ 前台(用户端) │ 后台(管理端) │
|
||||||
│ 12 个功能板块 │ 8 个功能板块 │
|
│ 12 个功能板块 │ 9 个功能板块 │
|
||||||
├────────────────────────────┼────────────────────────────────────────┤
|
├────────────────────────────┼────────────────────────────────────────┤
|
||||||
│ ① 首页/营销落地页 │ ① 管理仪表盘 │
|
│ ① 首页/营销落地页 │ ① 管理仪表盘 │
|
||||||
│ ② 用户认证中心 │ ② 用户管理 │
|
│ ② 用户认证中心 │ ② 用户管理 │
|
||||||
│ ③ 工作台 Dashboard │ ③ 能力审核中心 │
|
│ ③ 工作台 Dashboard │ ③ LLM 管理中心 ⭐ │
|
||||||
│ ④ LLM 对话实验室 │ ④ 财务管理中心 │
|
│ ④ LLM 对话实验室 │ ④ 能力审核中心 │
|
||||||
│ ⑤ 模型广场 │ ⑤ 技能市场管理 │
|
│ ⑤ 模型广场 │ ⑤ 财务管理中心 │
|
||||||
│ ⑥ 技能市场 │ ⑥ 系统运维监控 │
|
│ ⑥ 技能市场 │ ⑥ 技能市场管理 │
|
||||||
│ ⑦ Agent 工坊 │ ⑦ 内容运营管理 │
|
│ ⑦ Agent 工坊 │ ⑦ 系统运维监控 │
|
||||||
│ ⑧ MCP 工具中心 │ ⑧ 平台配置中心 │
|
│ ⑧ MCP 工具中心 │ ⑧ 内容运营管理 │
|
||||||
│ ⑨ API 开发者控制台 │ │
|
│ ⑨ API 开发者控制台 │ ⑨ 平台配置中心 │
|
||||||
│ ⑩ 账务中心 │ │
|
│ ⑩ 账务中心 │ │
|
||||||
│ ⑪ 开发者中心 │ │
|
│ ⑪ 开发者中心 │ │
|
||||||
│ ⑫ 个人设置 │ │
|
│ ⑫ 个人设置 │ │
|
||||||
@@ -446,7 +446,85 @@ GET /v1/usage ← 用量查询
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### ③ 能力审核中心
|
### ③ LLM 管理中心 ⭐
|
||||||
|
|
||||||
|
**作用**: 平台核心——管理所有 LLM 模型渠道、API Key、定价、健康状态。这是 PaaS 平台的"水电煤"调度中心。
|
||||||
|
|
||||||
|
| 模块 | 说明 |
|
||||||
|
|------|------|
|
||||||
|
| **渠道管理** | 接入的 LLM 提供商列表(DeepSeek/千问/豆包/智谱/元宝/百度/Ollama) |
|
||||||
|
| **API Key 管理** | 每个渠道的 API Key 配置(加密存储,支持多 Key 轮询) |
|
||||||
|
| **模型管理** | 各渠道下的模型列表(启用/禁用/配置参数) |
|
||||||
|
| **定价管理** | 每个模型的计费系数(输入Token价格/输出Token价格) |
|
||||||
|
| **路由策略** | 智能路由规则(用户选择/成本优先/延迟优先/负载均衡) |
|
||||||
|
| **故障转移** | 主渠道不可用时自动切换备用渠道 |
|
||||||
|
| **健康监控** | 各渠道实时可用性/延迟/错误率 |
|
||||||
|
| **用量统计** | 按渠道/模型/时间的调用量和 Token 消耗 |
|
||||||
|
| **配额管理** | 各渠道的每日/每月调用上限 |
|
||||||
|
| **成本分析** | 各渠道实际成本 vs 用户付费,利润分析 |
|
||||||
|
|
||||||
|
**渠道配置结构**:
|
||||||
|
```
|
||||||
|
渠道 (Provider)
|
||||||
|
├── DeepSeek
|
||||||
|
│ ├── API Key 1 (主) → 状态: 正常, 延迟: 230ms
|
||||||
|
│ ├── API Key 2 (备) → 状态: 正常, 延迟: 280ms
|
||||||
|
│ ├── 模型: deepseek-chat → 定价: 1.0x, 启用
|
||||||
|
│ ├── 模型: deepseek-reasoner → 定价: 2.0x, 启用
|
||||||
|
│ └── 配额: 100万Token/天
|
||||||
|
├── 千问 (Qianwen)
|
||||||
|
│ ├── API Key 1 → 状态: 正常
|
||||||
|
│ ├── 模型: qwen-turbo → 定价: 0.8x, 启用
|
||||||
|
│ ├── 模型: qwen-plus → 定价: 1.5x, 启用
|
||||||
|
│ └── 配额: 50万Token/天
|
||||||
|
├── 豆包 (Doubao)
|
||||||
|
│ ├── API Key 1 → 状态: 正常
|
||||||
|
│ ├── 模型: doubao-pro → 定价: 1.2x, 启用
|
||||||
|
│ └── 配额: 80万Token/天
|
||||||
|
├── 智谱 (Zhipu)
|
||||||
|
├── 元宝 (Yuanbao)
|
||||||
|
├── 百度文心 (Wenxin)
|
||||||
|
└── Ollama (本地)
|
||||||
|
├── 地址: http://localhost:11434
|
||||||
|
├── 模型: qwen2.5:7b → 定价: 0.1x, 启用
|
||||||
|
└── 配额: 无限制
|
||||||
|
```
|
||||||
|
|
||||||
|
**路由策略配置**:
|
||||||
|
```
|
||||||
|
默认路由: 用户手动选择模型
|
||||||
|
成本优先: 自动选择当前最便宜的可用模型
|
||||||
|
延迟优先: 自动选择响应最快的模型
|
||||||
|
负载均衡: 在同级别模型间轮询
|
||||||
|
故障转移: 主模型失败 → 自动切换备用模型
|
||||||
|
```
|
||||||
|
|
||||||
|
**健康检查机制**:
|
||||||
|
```
|
||||||
|
定时探活: 每 5 分钟发送测试请求
|
||||||
|
延迟监控: 记录每次调用的响应时间
|
||||||
|
错误率统计: 滑动窗口计算错误率
|
||||||
|
自动摘除: 错误率 > 50% 自动摘除,恢复后自动加回
|
||||||
|
告警通知: 渠道不可用时通知管理员
|
||||||
|
```
|
||||||
|
|
||||||
|
**页面结构**:
|
||||||
|
```
|
||||||
|
/admin/llm ← LLM 管理中心
|
||||||
|
/admin/llm/providers ← 渠道管理
|
||||||
|
/admin/llm/providers/{id} ← 渠道详情/配置
|
||||||
|
/admin/llm/api-keys ← API Key 管理
|
||||||
|
/admin/llm/models ← 模型管理
|
||||||
|
/admin/llm/pricing ← 定价管理
|
||||||
|
/admin/llm/routing ← 路由策略
|
||||||
|
/admin/llm/health ← 健康监控
|
||||||
|
/admin/llm/usage ← 用量统计
|
||||||
|
/admin/llm/cost ← 成本分析
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### ④ 能力审核中心
|
||||||
|
|
||||||
**作用**: 审核开发者发布的能力和技能,确保平台内容质量。
|
**作用**: 审核开发者发布的能力和技能,确保平台内容质量。
|
||||||
|
|
||||||
@@ -476,7 +554,7 @@ GET /v1/usage ← 用量查询
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### ④ 财务管理中心
|
### ⑤ 财务管理中心
|
||||||
|
|
||||||
**作用**: 平台财务全局管理。
|
**作用**: 平台财务全局管理。
|
||||||
|
|
||||||
@@ -501,7 +579,7 @@ GET /v1/usage ← 用量查询
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### ⑤ 技能市场管理
|
### ⑥ 技能市场管理
|
||||||
|
|
||||||
**作用**: 管理技能市场的运营。
|
**作用**: 管理技能市场的运营。
|
||||||
|
|
||||||
@@ -525,7 +603,7 @@ GET /v1/usage ← 用量查询
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### ⑥ 系统运维监控
|
### ⑦ 系统运维监控
|
||||||
|
|
||||||
**作用**: 系统健康监控和运维管理。
|
**作用**: 系统健康监控和运维管理。
|
||||||
|
|
||||||
@@ -552,7 +630,7 @@ GET /v1/usage ← 用量查询
|
|||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### ⑦ 内容运营管理
|
### ⑧ 内容运营管理
|
||||||
|
|
||||||
**作用**: 平台内容和运营活动管理。
|
**作用**: 平台内容和运营活动管理。
|
||||||
|
|
||||||
@@ -562,7 +640,6 @@ GET /v1/usage ← 用量查询
|
|||||||
| Banner 管理 | 首页轮播图配置 |
|
| Banner 管理 | 首页轮播图配置 |
|
||||||
| 文档管理 | 帮助文档/FAQ 编辑 |
|
| 文档管理 | 帮助文档/FAQ 编辑 |
|
||||||
| 活动管理 | 促销活动/优惠券配置 |
|
| 活动管理 | 促销活动/优惠券配置 |
|
||||||
| 模型管理 | 新增/下架/配置 LLM 模型 |
|
|
||||||
| 邮件模板 | 注册/通知/账单邮件模板 |
|
| 邮件模板 | 注册/通知/账单邮件模板 |
|
||||||
|
|
||||||
**页面结构**:
|
**页面结构**:
|
||||||
@@ -571,12 +648,11 @@ GET /v1/usage ← 用量查询
|
|||||||
/admin/content/announcements ← 公告管理
|
/admin/content/announcements ← 公告管理
|
||||||
/admin/content/banners ← Banner 管理
|
/admin/content/banners ← Banner 管理
|
||||||
/admin/content/documents ← 文档管理
|
/admin/content/documents ← 文档管理
|
||||||
/admin/content/models ← 模型管理
|
|
||||||
```
|
```
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
### ⑧ 平台配置中心
|
### ⑨ 平台配置中心
|
||||||
|
|
||||||
**作用**: 全局系统配置管理。
|
**作用**: 全局系统配置管理。
|
||||||
|
|
||||||
@@ -586,7 +662,6 @@ GET /v1/usage ← 用量查询
|
|||||||
| 订阅配置 | 套餐价格/额度/分成比例 |
|
| 订阅配置 | 套餐价格/额度/分成比例 |
|
||||||
| 短信配置 | 短信宝 API Key/签名/模板 |
|
| 短信配置 | 短信宝 API Key/签名/模板 |
|
||||||
| 支付配置 | 支付宝/微信支付 API 配置 |
|
| 支付配置 | 支付宝/微信支付 API 配置 |
|
||||||
| LLM 配置 | 各模型 API Key/渠道管理 |
|
|
||||||
| 安全配置 | 限流规则/IP 白名单/黑名单 |
|
| 安全配置 | 限流规则/IP 白名单/黑名单 |
|
||||||
| 邮件配置 | SMTP 服务器配置 |
|
| 邮件配置 | SMTP 服务器配置 |
|
||||||
| 存储配置 | 文件存储(OSS/本地) |
|
| 存储配置 | 文件存储(OSS/本地) |
|
||||||
@@ -598,7 +673,6 @@ GET /v1/usage ← 用量查询
|
|||||||
/admin/config/subscription ← 订阅配置
|
/admin/config/subscription ← 订阅配置
|
||||||
/admin/config/sms ← 短信配置
|
/admin/config/sms ← 短信配置
|
||||||
/admin/config/payment ← 支付配置
|
/admin/config/payment ← 支付配置
|
||||||
/admin/config/llm ← LLM 配置
|
|
||||||
/admin/config/security ← 安全配置
|
/admin/config/security ← 安全配置
|
||||||
```
|
```
|
||||||
|
|
||||||
@@ -626,18 +700,23 @@ GET /v1/usage ← 用量查询
|
|||||||
```
|
```
|
||||||
管理员 → 仪表盘(①) 全局概览
|
管理员 → 仪表盘(①) 全局概览
|
||||||
→ 用户管理(②) 管理用户
|
→ 用户管理(②) 管理用户
|
||||||
→ 能力审核(③) 审核内容
|
→ LLM管理(③) ⭐ 核心:渠道/模型/定价/健康
|
||||||
→ 财务管理(④) 管理资金
|
→ 能力审核(④) 审核内容
|
||||||
→ 技能市场(⑤) 运营市场
|
→ 财务管理(⑤) 管理资金
|
||||||
→ 系统监控(⑥) 保障稳定
|
→ 技能市场(⑥) 运营市场
|
||||||
→ 内容运营(⑦) 运营推广
|
→ 系统监控(⑦) 保障稳定
|
||||||
→ 平台配置(⑧) 系统配置
|
→ 内容运营(⑧) 运营推广
|
||||||
|
→ 平台配置(⑨) 系统配置
|
||||||
```
|
```
|
||||||
|
|
||||||
### 数据流关系
|
### 数据流关系
|
||||||
|
|
||||||
```
|
```
|
||||||
用户调用LLM → 用量上报Kafka → 计费扣费 → 交易记录
|
用户调用LLM → NEW API路由 → 选择渠道/模型 → LLM推理返回
|
||||||
|
→ 用量上报Kafka → 计费扣费 → 交易记录
|
||||||
|
|
||||||
|
LLM管理中心: 配置渠道/Key/定价 → 同步到NEW API → 健康监控反馈
|
||||||
|
|
||||||
开发者发布能力 → 审核通过 → 上架市场 → 用户购买 → 分成结算
|
开发者发布能力 → 审核通过 → 上架市场 → 用户购买 → 分成结算
|
||||||
用户订阅 → 权限开放 → 创建/发布能力 → 欠费保护 → 已发布能力保持在线
|
用户订阅 → 权限开放 → 创建/发布能力 → 欠费保护 → 已发布能力保持在线
|
||||||
```
|
```
|
||||||
@@ -648,21 +727,22 @@ GET /v1/usage ← 用量查询
|
|||||||
|
|
||||||
| 能力 | 说明 | 对应功能 |
|
| 能力 | 说明 | 对应功能 |
|
||||||
|------|------|---------|
|
|------|------|---------|
|
||||||
| **多模型接入** | 统一接口调用多家 LLM | ④⑤⑨ |
|
| **LLM 管理** ⭐ | 渠道/模型/Key/定价/路由/健康 | 后台③ |
|
||||||
| **API 兼容** | OpenAI 兼容格式 | ⑨ |
|
| **多模型接入** | 统一接口调用多家 LLM | 前台前台④⑤⑨ |
|
||||||
| **按量计费** | Token 级别精确计费 | ⑩ |
|
| **API 兼容** | OpenAI 兼容格式 | 前台⑨ |
|
||||||
| **订阅制** | 月费套餐 | ⑩ |
|
| **按量计费** | Token 级别精确计费 | 前台⑩ |
|
||||||
| **能力注册** | 标准化能力注册/发现 | ⑪ |
|
| **订阅制** | 月费套餐 | 前台⑩ |
|
||||||
| **技能市场** | 生态交易平台 | ⑥ |
|
| **能力注册** | 标准化能力注册/发现 | 前台⑪ |
|
||||||
| **Agent 编排** | 可视化工作流 | ⑦ |
|
| **技能市场** | 生态交易平台 | 前台⑥ |
|
||||||
| **MCP 集成** | 工具扩展协议 | ⑧ |
|
| **Agent 编排** | 可视化工作流 | 前台⑦ |
|
||||||
| **开发者生态** | SDK/文档/示例 | ⑨ |
|
| **MCP 集成** | 工具扩展协议 | 前台⑧ |
|
||||||
| **开放 API** | 独立应用接入 | ⑨ |
|
| **开发者生态** | SDK/文档/示例 | 前台⑨ |
|
||||||
| **多租户隔离** | 用户数据隔离 | 全局 |
|
| **开放 API** | 独立应用接入 | 前台⑨ |
|
||||||
| **审计日志** | 操作可追溯 | ⑥⑫ |
|
| **用户数据隔离** | 用户数据安全 | 全局 |
|
||||||
| **SLA 保障** | 高可用/故障转移 | ⑥ |
|
| **审计日志** | 操作可追溯 | 前台⑫/后台⑦ |
|
||||||
| **安全合规** | 实名认证/数据加密 | ② |
|
| **SLA 保障** | 高可用/故障转移 | 后台③⑦ |
|
||||||
| **运维监控** | 全链路监控 | ⑥ |
|
| **安全合规** | 实名认证/数据加密 | 前台② |
|
||||||
|
| **运维监控** | 全链路监控 | 后台⑦ |
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
|
|||||||
Reference in new issue
Block a user