qyyfw/ai-paas-comparison
1
0 Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: 后台新增独立LLM管理中心模块

Browse Source 
后台从8个板块扩展为9个板块:
① 管理仪表盘
② 用户管理
③ LLM管理中心 ⭐ (新增，独立模块)
④ 能力审核中心
⑤ 财务管理中心
⑥ 技能市场管理
⑦ 系统运维监控
⑧ 内容运营管理
⑨ 平台配置中心

LLM管理中心包含:
- 渠道管理 (7个LLM提供商)
- API Key管理 (加密存储+多Key轮询)
- 模型管理 (启用/禁用/配置)
- 定价管理 (每模型计费系数)
- 路由策略 (用户选择/成本优先/延迟优先/负载均衡)
- 健康监控 (探活/延迟/错误率/自动摘除)
- 用量统计 (按渠道/模型/时间)
- 成本分析 (成本vs收入利润)
This commit is contained in:
qyyfw committed 2026-06-28 00:18:20 +00:00
1 parent aed9c2a4e4
commit 33f2007e4d
1 file changed
+120 -40
Download Patch File Download Diff File Expand all files Collapse all files
docs/07-前后台功能框架.md
+120 -40
View File
@@ -12,17 +12,17 @@
│ QihuAI 平台 │
├────────────────────────────┬────────────────────────────────────────┤
│ 前台（用户端） │ 后台（管理端） │
│ 12 个功能板块 │ 8 个功能板块 │
│ 12 个功能板块 │ 9 个功能板块 │
├────────────────────────────┼────────────────────────────────────────┤
│ ① 首页/营销落地页 │ ① 管理仪表盘 │
│ ② 用户认证中心 │ ② 用户管理 │
│ ③ 工作台 Dashboard │ ③ 能力审核中心 │
│ ④ LLM 对话实验室 │ ④ 财务管理中心 │
│ ⑤ 模型广场 │ ⑤ 技能市场管理 │
│ ⑥ 技能市场 │ ⑥ 系统运维监控 │
│ ⑦ Agent 工坊 │ ⑦ 内容运营管理 │
│ ⑧ MCP 工具中心 │ ⑧ 平台配置中心 │
│ ⑨ API 开发者控制台 │ │
│ ③ 工作台 Dashboard │ ③ LLM 管理中心 ⭐ │
│ ④ LLM 对话实验室 │ ④ 能力审核中心 │
│ ⑤ 模型广场 │ ⑤ 财务管理中心 │
│ ⑥ 技能市场 │ ⑥ 技能市场管理 │
│ ⑦ Agent 工坊 │ ⑦ 系统运维监控 │
│ ⑧ MCP 工具中心 │ ⑧ 内容运营管理 │
│ ⑨ API 开发者控制台 │ ⑨ 平台配置中心 │
│ ⑩ 账务中心 │ │
│ ⑪ 开发者中心 │ │
│ ⑫ 个人设置 │ │
@@ -446,7 +446,85 @@ GET /v1/usage ← 用量查询
---
### ③ 能力审核中心
### ③ LLM 管理中心 ⭐
**作用**: 平台核心——管理所有 LLM 模型渠道、API Key、定价、健康状态。这是 PaaS 平台的"水电煤"调度中心。
| 模块 | 说明 |
|------|------|
| **渠道管理** | 接入的 LLM 提供商列表（DeepSeek/千问/豆包/智谱/元宝/百度/Ollama） |
| **API Key 管理** | 每个渠道的 API Key 配置（加密存储，支持多 Key 轮询） |
| **模型管理** | 各渠道下的模型列表（启用/禁用/配置参数） |
| **定价管理** | 每个模型的计费系数（输入Token价格/输出Token价格） |
| **路由策略** | 智能路由规则（用户选择/成本优先/延迟优先/负载均衡） |
| **故障转移** | 主渠道不可用时自动切换备用渠道 |
| **健康监控** | 各渠道实时可用性/延迟/错误率 |
| **用量统计** | 按渠道/模型/时间的调用量和 Token 消耗 |
| **配额管理** | 各渠道的每日/每月调用上限 |
| **成本分析** | 各渠道实际成本 vs 用户付费，利润分析 |
**渠道配置结构**:
```
渠道 (Provider)
├── DeepSeek
│ ├── API Key 1 (主) → 状态: 正常, 延迟: 230ms
│ ├── API Key 2 (备) → 状态: 正常, 延迟: 280ms
│ ├── 模型: deepseek-chat → 定价: 1.0x, 启用
│ ├── 模型: deepseek-reasoner → 定价: 2.0x, 启用
│ └── 配额: 100万Token/天
├── 千问 (Qianwen)
│ ├── API Key 1 → 状态: 正常
│ ├── 模型: qwen-turbo → 定价: 0.8x, 启用
│ ├── 模型: qwen-plus → 定价: 1.5x, 启用
│ └── 配额: 50万Token/天
├── 豆包 (Doubao)
│ ├── API Key 1 → 状态: 正常
│ ├── 模型: doubao-pro → 定价: 1.2x, 启用
│ └── 配额: 80万Token/天
├── 智谱 (Zhipu)
├── 元宝 (Yuanbao)
├── 百度文心 (Wenxin)
└── Ollama (本地)
├── 地址: http://localhost:11434
├── 模型: qwen2.5:7b → 定价: 0.1x, 启用
└── 配额: 无限制
```
**路由策略配置**:
```
默认路由: 用户手动选择模型
成本优先: 自动选择当前最便宜的可用模型
延迟优先: 自动选择响应最快的模型
负载均衡: 在同级别模型间轮询
故障转移: 主模型失败 → 自动切换备用模型
```
**健康检查机制**:
```
定时探活: 每 5 分钟发送测试请求
延迟监控: 记录每次调用的响应时间
错误率统计: 滑动窗口计算错误率
自动摘除: 错误率 > 50% 自动摘除，恢复后自动加回
告警通知: 渠道不可用时通知管理员
```
**页面结构**:
```
/admin/llm ← LLM 管理中心
/admin/llm/providers ← 渠道管理
/admin/llm/providers/{id} ← 渠道详情/配置
/admin/llm/api-keys ← API Key 管理
/admin/llm/models ← 模型管理
/admin/llm/pricing ← 定价管理
/admin/llm/routing ← 路由策略
/admin/llm/health ← 健康监控
/admin/llm/usage ← 用量统计
/admin/llm/cost ← 成本分析
```
---
### ④ 能力审核中心
**作用**: 审核开发者发布的能力和技能，确保平台内容质量。
@@ -476,7 +554,7 @@ GET /v1/usage ← 用量查询
---
### ④ 财务管理中心
### ⑤ 财务管理中心
**作用**: 平台财务全局管理。
@@ -501,7 +579,7 @@ GET /v1/usage ← 用量查询
---
### ⑤ 技能市场管理
### ⑥ 技能市场管理
**作用**: 管理技能市场的运营。
@@ -525,7 +603,7 @@ GET /v1/usage ← 用量查询
---
### ⑥ 系统运维监控
### ⑦ 系统运维监控
**作用**: 系统健康监控和运维管理。
@@ -552,7 +630,7 @@ GET /v1/usage ← 用量查询
---
### ⑦ 内容运营管理
### ⑧ 内容运营管理
**作用**: 平台内容和运营活动管理。
@@ -562,7 +640,6 @@ GET /v1/usage ← 用量查询
| Banner 管理 | 首页轮播图配置 |
| 文档管理 | 帮助文档/FAQ 编辑 |
| 活动管理 | 促销活动/优惠券配置 |
| 模型管理 | 新增/下架/配置 LLM 模型 |
| 邮件模板 | 注册/通知/账单邮件模板 |
**页面结构**:
@@ -571,12 +648,11 @@ GET /v1/usage ← 用量查询
/admin/content/announcements ← 公告管理
/admin/content/banners ← Banner 管理
/admin/content/documents ← 文档管理
/admin/content/models ← 模型管理
```
---
### ⑧ 平台配置中心
### ⑨ 平台配置中心
**作用**: 全局系统配置管理。
@@ -586,7 +662,6 @@ GET /v1/usage ← 用量查询
| 订阅配置 | 套餐价格/额度/分成比例 |
| 短信配置 | 短信宝 API Key/签名/模板 |
| 支付配置 | 支付宝/微信支付 API 配置 |
| LLM 配置 | 各模型 API Key/渠道管理 |
| 安全配置 | 限流规则/IP 白名单/黑名单 |
| 邮件配置 | SMTP 服务器配置 |
| 存储配置 | 文件存储（OSS/本地） |
@@ -598,7 +673,6 @@ GET /v1/usage ← 用量查询
/admin/config/subscription ← 订阅配置
/admin/config/sms ← 短信配置
/admin/config/payment ← 支付配置
/admin/config/llm ← LLM 配置
/admin/config/security ← 安全配置
```
@@ -626,18 +700,23 @@ GET /v1/usage ← 用量查询
```
管理员 → 仪表盘(①) 全局概览
→ 用户管理(②) 管理用户
→ 能力审核(③) 审核内容
→ 财务管理(④) 管理资金
→ 技能市场(⑤) 运营市场
→ 系统监控(⑥) 保障稳定
→ 内容运营(⑦) 运营推广
→ 平台配置(⑧) 系统配置
→ LLM管理(③) ⭐ 核心：渠道/模型/定价/健康
→ 能力审核(④) 审核内容
→ 财务管理(⑤) 管理资金
→ 技能市场(⑥) 运营市场
→ 系统监控(⑦) 保障稳定
→ 内容运营(⑧) 运营推广
→ 平台配置(⑨) 系统配置
```
### 数据流关系
```
用户调用LLM → 用量上报Kafka → 计费扣费 → 交易记录
用户调用LLM → NEW API路由 → 选择渠道/模型 → LLM推理返回
→ 用量上报Kafka → 计费扣费 → 交易记录
LLM管理中心: 配置渠道/Key/定价 → 同步到NEW API → 健康监控反馈
开发者发布能力 → 审核通过 → 上架市场 → 用户购买 → 分成结算
用户订阅 → 权限开放 → 创建/发布能力 → 欠费保护 → 已发布能力保持在线
```
@@ -648,21 +727,22 @@ GET /v1/usage ← 用量查询
| 能力 | 说明 | 对应功能 |
|------|------|---------|
| **多模型接入** | 统一接口调用多家 LLM | ④⑤⑨ |
| **API 兼容** | OpenAI 兼容格式 | ⑨ |
| **按量计费** | Token 级别精确计费 | ⑩ |
| **订阅制** | 月费套餐 | ⑩ |
| **能力注册** | 标准化能力注册/发现 | ⑪ |
| **技能市场** | 生态交易平台 | ⑥ |
| **Agent 编排** | 可视化工作流 | ⑦ |
| **MCP 集成** | 工具扩展协议 | ⑧ |
| **开发者生态** | SDK/文档/示例 | ⑨ |
| **开放 API** | 独立应用接入 | ⑨ |
| **多租户隔离** | 用户数据隔离 | 全局 |
| **审计日志** | 操作可追溯 | ⑥⑫ |
| **SLA 保障** | 高可用/故障转移 | ⑥ |
| **安全合规** | 实名认证/数据加密 | ② |
| **运维监控** | 全链路监控 | ⑥ |
| **LLM 管理** ⭐ | 渠道/模型/Key/定价/路由/健康 | 后台③ |
| **多模型接入** | 统一接口调用多家 LLM | 前台前台④⑤⑨ |
| **API 兼容** | OpenAI 兼容格式 | 前台⑨ |
| **按量计费** | Token 级别精确计费 | 前台⑩ |
| **订阅制** | 月费套餐 | 前台⑩ |
| **能力注册** | 标准化能力注册/发现 | 前台⑪ |
| **技能市场** | 生态交易平台 | 前台⑥ |
| **Agent 编排** | 可视化工作流 | 前台⑦ |
| **MCP 集成** | 工具扩展协议 | 前台⑧ |
| **开发者生态** | SDK/文档/示例 | 前台⑨ |
| **开放 API** | 独立应用接入 | 前台⑨ |
| **用户数据隔离** | 用户数据安全 | 全局 |
| **审计日志** | 操作可追溯 | 前台⑫/后台⑦ |
| **SLA 保障** | 高可用/故障转移 | 后台③⑦ |
| **安全合规** | 实名认证/数据加密 | 前台② |
| **运维监控** | 全链路监控 | 后台⑦ |
---