From 33f2007e4d10e7c37d4fdbe4bb9afe44d7c02d8f Mon Sep 17 00:00:00 2001 From: qyyfw Date: Sun, 28 Jun 2026 00:18:20 +0000 Subject: [PATCH] =?UTF-8?q?docs:=20=E5=90=8E=E5=8F=B0=E6=96=B0=E5=A2=9E?= =?UTF-8?q?=E7=8B=AC=E7=AB=8BLLM=E7=AE=A1=E7=90=86=E4=B8=AD=E5=BF=83?= =?UTF-8?q?=E6=A8=A1=E5=9D=97?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 后台从8个板块扩展为9个板块: ① 管理仪表盘 ② 用户管理 ③ LLM管理中心 ⭐ (新增，独立模块) ④ 能力审核中心 ⑤ 财务管理中心 ⑥ 技能市场管理 ⑦ 系统运维监控 ⑧ 内容运营管理 ⑨ 平台配置中心 LLM管理中心包含: - 渠道管理 (7个LLM提供商) - API Key管理 (加密存储+多Key轮询) - 模型管理 (启用/禁用/配置) - 定价管理 (每模型计费系数) - 路由策略 (用户选择/成本优先/延迟优先/负载均衡) - 健康监控 (探活/延迟/错误率/自动摘除) - 用量统计 (按渠道/模型/时间) - 成本分析 (成本vs收入利润) --- docs/07-前后台功能框架.md | 160 ++++++++++++++++++++++++++++---------- 1 file changed, 120 insertions(+), 40 deletions(-) diff --git a/docs/07-前后台功能框架.md b/docs/07-前后台功能框架.md index 04c1ff3..31b5918 100644 --- a/docs/07-前后台功能框架.md +++ b/docs/07-前后台功能框架.md @@ -12,17 +12,17 @@ │ QihuAI 平台 │ ├────────────────────────────┬────────────────────────────────────────┤ │ 前台（用户端） │ 后台（管理端） │ -│ 12 个功能板块 │ 8 个功能板块 │ +│ 12 个功能板块 │ 9 个功能板块 │ ├────────────────────────────┼────────────────────────────────────────┤ │ ① 首页/营销落地页 │ ① 管理仪表盘 │ │ ② 用户认证中心 │ ② 用户管理 │ -│ ③ 工作台 Dashboard │ ③ 能力审核中心 │ -│ ④ LLM 对话实验室 │ ④ 财务管理中心 │ -│ ⑤ 模型广场 │ ⑤ 技能市场管理 │ -│ ⑥ 技能市场 │ ⑥ 系统运维监控 │ -│ ⑦ Agent 工坊 │ ⑦ 内容运营管理 │ -│ ⑧ MCP 工具中心 │ ⑧ 平台配置中心 │ -│ ⑨ API 开发者控制台 │ │ +│ ③ 工作台 Dashboard │ ③ LLM 管理中心 ⭐ │ +│ ④ LLM 对话实验室 │ ④ 能力审核中心 │ +│ ⑤ 模型广场 │ ⑤ 财务管理中心 │ +│ ⑥ 技能市场 │ ⑥ 技能市场管理 │ +│ ⑦ Agent 工坊 │ ⑦ 系统运维监控 │ +│ ⑧ MCP 工具中心 │ ⑧ 内容运营管理 │ +│ ⑨ API 开发者控制台 │ ⑨ 平台配置中心 │ │ ⑩ 账务中心 │ │ │ ⑪ 开发者中心 │ │ │ ⑫ 个人设置 │ │ @@ -446,7 +446,85 @@ GET /v1/usage ← 用量查询 --- -### ③ 能力审核中心 +### ③ LLM 管理中心 ⭐ + +**作用**: 平台核心——管理所有 LLM 模型渠道、API Key、定价、健康状态。这是 PaaS 平台的"水电煤"调度中心。 + +| 模块 | 说明 | +|------|------| +| **渠道管理** | 接入的 LLM 提供商列表（DeepSeek/千问/豆包/智谱/元宝/百度/Ollama） | +| **API Key 管理** | 每个渠道的 API Key 配置（加密存储，支持多 Key 轮询） | +| **模型管理** | 各渠道下的模型列表（启用/禁用/配置参数） | +| **定价管理** | 每个模型的计费系数（输入Token价格/输出Token价格） | +| **路由策略** | 智能路由规则（用户选择/成本优先/延迟优先/负载均衡） | +| **故障转移** | 主渠道不可用时自动切换备用渠道 | +| **健康监控** | 各渠道实时可用性/延迟/错误率 | +| **用量统计** | 按渠道/模型/时间的调用量和 Token 消耗 | +| **配额管理** | 各渠道的每日/每月调用上限 | +| **成本分析** | 各渠道实际成本 vs 用户付费，利润分析 | + +**渠道配置结构**: +``` +渠道 (Provider) +├── DeepSeek +│ ├── API Key 1 (主) → 状态: 正常, 延迟: 230ms +│ ├── API Key 2 (备) → 状态: 正常, 延迟: 280ms +│ ├── 模型: deepseek-chat → 定价: 1.0x, 启用 +│ ├── 模型: deepseek-reasoner → 定价: 2.0x, 启用 +│ └── 配额: 100万Token/天 +├── 千问 (Qianwen) +│ ├── API Key 1 → 状态: 正常 +│ ├── 模型: qwen-turbo → 定价: 0.8x, 启用 +│ ├── 模型: qwen-plus → 定价: 1.5x, 启用 +│ └── 配额: 50万Token/天 +├── 豆包 (Doubao) +│ ├── API Key 1 → 状态: 正常 +│ ├── 模型: doubao-pro → 定价: 1.2x, 启用 +│ └── 配额: 80万Token/天 +├── 智谱 (Zhipu) +├── 元宝 (Yuanbao) +├── 百度文心 (Wenxin) +└── Ollama (本地) + ├── 地址: http://localhost:11434 + ├── 模型: qwen2.5:7b → 定价: 0.1x, 启用 + └── 配额: 无限制 +``` + +**路由策略配置**: +``` +默认路由: 用户手动选择模型 +成本优先: 自动选择当前最便宜的可用模型 +延迟优先: 自动选择响应最快的模型 +负载均衡: 在同级别模型间轮询 +故障转移: 主模型失败 → 自动切换备用模型 +``` + +**健康检查机制**: +``` +定时探活: 每 5 分钟发送测试请求 +延迟监控: 记录每次调用的响应时间 +错误率统计: 滑动窗口计算错误率 +自动摘除: 错误率 > 50% 自动摘除，恢复后自动加回 +告警通知: 渠道不可用时通知管理员 +``` + +**页面结构**: +``` +/admin/llm ← LLM 管理中心 +/admin/llm/providers ← 渠道管理 +/admin/llm/providers/{id} ← 渠道详情/配置 +/admin/llm/api-keys ← API Key 管理 +/admin/llm/models ← 模型管理 +/admin/llm/pricing ← 定价管理 +/admin/llm/routing ← 路由策略 +/admin/llm/health ← 健康监控 +/admin/llm/usage ← 用量统计 +/admin/llm/cost ← 成本分析 +``` + +--- + +### ④ 能力审核中心 **作用**: 审核开发者发布的能力和技能，确保平台内容质量。 @@ -476,7 +554,7 @@ GET /v1/usage ← 用量查询 --- -### ④ 财务管理中心 +### ⑤ 财务管理中心 **作用**: 平台财务全局管理。 @@ -501,7 +579,7 @@ GET /v1/usage ← 用量查询 --- -### ⑤ 技能市场管理 +### ⑥ 技能市场管理 **作用**: 管理技能市场的运营。 @@ -525,7 +603,7 @@ GET /v1/usage ← 用量查询 --- -### ⑥ 系统运维监控 +### ⑦ 系统运维监控 **作用**: 系统健康监控和运维管理。 @@ -552,7 +630,7 @@ GET /v1/usage ← 用量查询 --- -### ⑦ 内容运营管理 +### ⑧ 内容运营管理 **作用**: 平台内容和运营活动管理。 @@ -562,7 +640,6 @@ GET /v1/usage ← 用量查询 | Banner 管理 | 首页轮播图配置 | | 文档管理 | 帮助文档/FAQ 编辑 | | 活动管理 | 促销活动/优惠券配置 | -| 模型管理 | 新增/下架/配置 LLM 模型 | | 邮件模板 | 注册/通知/账单邮件模板 | **页面结构**: @@ -571,12 +648,11 @@ GET /v1/usage ← 用量查询 /admin/content/announcements ← 公告管理 /admin/content/banners ← Banner 管理 /admin/content/documents ← 文档管理 -/admin/content/models ← 模型管理 ``` --- -### ⑧ 平台配置中心 +### ⑨ 平台配置中心 **作用**: 全局系统配置管理。 @@ -586,7 +662,6 @@ GET /v1/usage ← 用量查询 | 订阅配置 | 套餐价格/额度/分成比例 | | 短信配置 | 短信宝 API Key/签名/模板 | | 支付配置 | 支付宝/微信支付 API 配置 | -| LLM 配置 | 各模型 API Key/渠道管理 | | 安全配置 | 限流规则/IP 白名单/黑名单 | | 邮件配置 | SMTP 服务器配置 | | 存储配置 | 文件存储（OSS/本地） | @@ -598,7 +673,6 @@ GET /v1/usage ← 用量查询 /admin/config/subscription ← 订阅配置 /admin/config/sms ← 短信配置 /admin/config/payment ← 支付配置 -/admin/config/llm ← LLM 配置 /admin/config/security ← 安全配置 ``` @@ -626,18 +700,23 @@ GET /v1/usage ← 用量查询 ``` 管理员 → 仪表盘(①) 全局概览 → 用户管理(②) 管理用户 - → 能力审核(③) 审核内容 - → 财务管理(④) 管理资金 - → 技能市场(⑤) 运营市场 - → 系统监控(⑥) 保障稳定 - → 内容运营(⑦) 运营推广 - → 平台配置(⑧) 系统配置 + → LLM管理(③) ⭐ 核心：渠道/模型/定价/健康 + → 能力审核(④) 审核内容 + → 财务管理(⑤) 管理资金 + → 技能市场(⑥) 运营市场 + → 系统监控(⑦) 保障稳定 + → 内容运营(⑧) 运营推广 + → 平台配置(⑨) 系统配置 ``` ### 数据流关系 ``` -用户调用LLM → 用量上报Kafka → 计费扣费 → 交易记录 +用户调用LLM → NEW API路由 → 选择渠道/模型 → LLM推理返回 + → 用量上报Kafka → 计费扣费 → 交易记录 + +LLM管理中心: 配置渠道/Key/定价 → 同步到NEW API → 健康监控反馈 + 开发者发布能力 → 审核通过 → 上架市场 → 用户购买 → 分成结算 用户订阅 → 权限开放 → 创建/发布能力 → 欠费保护 → 已发布能力保持在线 ``` @@ -648,21 +727,22 @@ GET /v1/usage ← 用量查询 | 能力 | 说明 | 对应功能 | |------|------|---------| -| **多模型接入** | 统一接口调用多家 LLM | ④⑤⑨ | -| **API 兼容** | OpenAI 兼容格式 | ⑨ | -| **按量计费** | Token 级别精确计费 | ⑩ | -| **订阅制** | 月费套餐 | ⑩ | -| **能力注册** | 标准化能力注册/发现 | ⑪ | -| **技能市场** | 生态交易平台 | ⑥ | -| **Agent 编排** | 可视化工作流 | ⑦ | -| **MCP 集成** | 工具扩展协议 | ⑧ | -| **开发者生态** | SDK/文档/示例 | ⑨ | -| **开放 API** | 独立应用接入 | ⑨ | -| **多租户隔离** | 用户数据隔离 | 全局 | -| **审计日志** | 操作可追溯 | ⑥⑫ | -| **SLA 保障** | 高可用/故障转移 | ⑥ | -| **安全合规** | 实名认证/数据加密 | ② | -| **运维监控** | 全链路监控 | ⑥ | +| **LLM 管理** ⭐ | 渠道/模型/Key/定价/路由/健康 | 后台③ | +| **多模型接入** | 统一接口调用多家 LLM | 前台前台④⑤⑨ | +| **API 兼容** | OpenAI 兼容格式 | 前台⑨ | +| **按量计费** | Token 级别精确计费 | 前台⑩ | +| **订阅制** | 月费套餐 | 前台⑩ | +| **能力注册** | 标准化能力注册/发现 | 前台⑪ | +| **技能市场** | 生态交易平台 | 前台⑥ | +| **Agent 编排** | 可视化工作流 | 前台⑦ | +| **MCP 集成** | 工具扩展协议 | 前台⑧ | +| **开发者生态** | SDK/文档/示例 | 前台⑨ | +| **开放 API** | 独立应用接入 | 前台⑨ | +| **用户数据隔离** | 用户数据安全 | 全局 | +| **审计日志** | 操作可追溯 | 前台⑫/后台⑦ | +| **SLA 保障** | 高可用/故障转移 | 后台③⑦ | +| **安全合规** | 实名认证/数据加密 | 前台② | +| **运维监控** | 全链路监控 | 后台⑦ | ---