32 KiB
32 KiB
AI PaaS 商业平台 - 最终方案（3 个思路）
综合 DeepSeek、千问、百度文心、数生、元宝 5 个平台的方案，结合交叉验证共识，形成 3 套可执行方案。 开发工具：MiMo Code（小米开源 AI 编程助手，10.9k Stars，终端原生，支持 AGENTS.md + CLAUDE.md）
交叉验证核心结论
5 个平台高度一致的部分（置信度 > 90%）：
| 组件 | 共识选型 | 自研/开源 | 说明 |
|---|---|---|---|
| API Gateway | APISIX / Kong / Higress | 开源 + 自研插件 | 功能等价，选一个即可 |
| LLM Router | 自研 | 100% 自研 | 核心竞争力，多模型路由+故障转移 |
| 计费引擎 | Redis Lua 原子操作 | 自研 | 元宝+DeepSeek 详细论证，先扣后服 |
| 向量数据库 | Milvus | 开源 | 千问+数生+DeepSeek 一致推荐 |
| 消息队列 | Kafka | 开源 | 事件总线，异步持久化 |
| 认证 | Keycloak / OAuth2+JWT | 开源 + 自研适配 | 百度+数生推荐 |
| 技术栈分层 | Go + Python + TypeScript | - | Go=网关, Python=AI, TS=前端 |
| 开发策略 | 核心自研 + 基础设施开源 | - | 所有平台一致 |
方案一：快跑 MVP（12 周）
思路: 用 CoAI/Prism 做底座快速出活，自研中间件补齐核心差异 适用: 需要最快验证商业模式，愿意承担底座许可证风险
架构图
┌─────────────────────────────────────────────────────────────────┐
│ MiMo Code 驱动开发（AGENTS.md + Quest Mode） │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ 接入层 │
│ Web Dashboard (React) / REST API / WebSocket / CLI / IM Bot │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ CoAI/Prism 底座（Apache 2.0） │
│ ├── OpenAI 兼容 API ✅ │
│ ├── 多租户 + 用户管理 ✅ │
│ ├── 基础计费（订阅制）✅ │
│ └── 模型市场 + 渠道管理 ✅ │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ 自研标准化中间件层（核心 IP） │
│ ┌──────────────────────────────────────────────────────────┐ │
│ │ Capability Registry（能力注册中心） │ │
│ │ - 每个 AI 项目注册为 Capability │ │
│ │ - OpenAPI 3.0 规范 + YAML 配置 │ │
│ └──────────────────────────────────────────────────────────┘ │
│ ┌────────────┐ ┌────────────┐ ┌────────────┐ ┌────────────┐ │
│ │ LLM Router │ │ Token 计费 │ │ Metering │ │ OpenAPI 网关│ │
│ │ 多平台路由 │ │ Redis Lua │ │ Kafka 上报 │ │ 外部应用 │ │
│ └────────────┘ └────────────┘ └────────────┘ └────────────┘ │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ AI 能力层 │
│ ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐ ┌──────────────┐ │
│ │Agent │ │ MCP │ │ Skills │ │ RAG │ │ IM Bot │ │
│ │LangFlow│ │mcp-hub │ │ 自研 │ │ Milvus │ │ LangBot │ │
│ └────────┘ └────────┘ └────────┘ └────────┘ └──────────────┘ │
└─────────────────────────────────────────────────────────────────┘
技术栈
| 层级 | 技术 | 许可证 |
|---|---|---|
| 前端 | React + TypeScript + Ant Design | MIT |
| 后端网关 | CoAI/Prism (Go + Gin) | Apache 2.0 |
| 中间件 | Go (LLM Router + 计费 + 注册中心) | 自研 |
| AI 服务 | Python (LangFlow + mcp-hub) | MIT |
| 数据库 | PostgreSQL + Redis | PostgreSQL License |
| 向量库 | Milvus | Apache 2.0 |
| 消息队列 | Kafka | Apache 2.0 |
| 认证 | CoAI 内置 + Keycloak (扩展) | Apache 2.0 |
| IM Bot | LangBot | Apache 2.0 |
| 开发工具 | MiMo Code | Apache 2.0 |
核心模块拆解（MiMo Code 任务）
project-root/
├── .mimocode/ # MiMo Code 项目配置
│ └── AGENTS.md # AI Agent 指令
├── docs/
│ ├── architecture.md # 架构文档
│ ├── api-spec.yaml # OpenAPI 3.0 规范
│ └── billing-spec.md # 计费规格（元宝方案）
├── packages/
│ ├── gateway/ # [自研] Go - LLM Router + Capability Registry
│ ├── billing/ # [自研] Go - Token 计费引擎 (Redis Lua)
│ ├── metering/ # [自研] Go - 用量追踪 (Kafka → PG)
│ ├── web/ # [自研] React - 用户 Dashboard
│ └── admin/ # [自研] React - 管理后台
├── services/
│ ├── aiflow/ # [开源] CoAI/Prism 底座
│ ├── langflow/ # [开源] Agent 编排
│ ├── langbot/ # [开源] IM Bot
│ ├── mcp-hub/ # [开源] MCP 管理
│ └── milvus/ # [开源] 向量数据库
└── deploy/
└── docker-compose.yml # 一键部署
MiMo Code 任务清单
| 任务 | MiMo Code 模式 | 预估工时 |
|---|---|---|
| 项目骨架初始化 | Quest Mode | 2h |
| LLM Router 设计+实现 | Agent Mode | 3 天 |
| Token 计费引擎 (Redis Lua) | Agent Mode | 3 天 |
| Capability Registry | Agent Mode | 2 天 |
| 用量追踪 (Kafka→PG) | Agent Mode | 2 天 |
| 用户 Dashboard | Agent Mode | 5 天 |
| 管理后台 | Agent Mode | 3 天 |
| OpenAPI 网关 | Agent Mode | 2 天 |
| 集成测试 | Code Review | 2 天 |
| Docker 部署 | Agent Mode | 1 天 |
风险
| 风险 | 等级 | 对策 |
|---|---|---|
| CoAI/Prism 停更 | 中 | 核心中间件自研，底座仅做用户管理 |
| 许可证合规 | 中 | CoAI/Prism 为 Apache 2.0，可商用 |
| 多租户性能 | 中 | PRSRLS + Redis 缓存 |
优点
- ✅ 最快出 MVP（12 周）
- ✅ 利用 CoAI/Prism 已有的 OpenAI API + 用户管理
- ✅ 自研中间件掌控核心竞争力
缺点
- ❌ 底座依赖第三方，停更风险
- ❌ 需要深度改造 CoAI/Prism 才能支持多租户 SaaS
方案二：稳扎稳打（20 周）
思路: 核心服务全部自研，基础设施用开源，架构完全自主可控 适用: 追求长期自主可控，愿意投入更多开发时间
架构图
┌─────────────────────────────────────────────────────────────────┐
│ MiMo Code 驱动开发（AGENTS.md + Quest Mode） │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ 接入层 │
│ Web Dashboard (React) / REST API / WebSocket / CLI / SDK │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ API Gateway (Apache APISIX) │
│ ├── JWT/API Key 认证插件 │
│ ├── 限流熔断插件 │
│ ├── 能力路由插件（自研） │
│ └── 计费计量插件（自研） │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ 核心业务层（全部自研） │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────────────┐ │
│ │ Auth Service │ │ Billing Engine│ │ Capability Registry │ │
│ │ Keycloak+适配 │ │ Redis Lua │ │ gRPC + REST │ │
│ │ 多租户 RBAC │ │ Credit 模型 │ │ 能力发现/调用/版本 │ │
│ └──────────────┘ └──────────────┘ └──────────────────────┘ │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────────────┐ │
│ │ LLM Router │ │ Metering │ │ Skills Marketplace │ │
│ │ 多平台智能路由│ │ Kafka→PG │ │ 发布/审核/交易/分成 │ │
│ └──────────────┘ └──────────────┘ └──────────────────────┘ │
│ ┌──────────────┐ ┌──────────────┐ ┌──────────────────────┐ │
│ │ IM Bot GW │ │ User Dashboard│ │ Admin Console │ │
│ │ 多平台适配器 │ │ React + TS │ │ React + TS │ │
│ └──────────────┘ └──────────────┘ └──────────────────────┘ │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ AI 能力层（开源集成） │
│ ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐ ┌──────────────┐ │
│ │LangFlow│ │mcp-hub │ │ Milvus │ │ vLLM │ │ Temporal │ │
│ │Agent │ │MCP Srv │ │向量检索 │ │模型推理 │ │工作流引擎 │ │
│ └────────┘ └────────┘ └────────┘ └────────┘ └──────────────┘ │
└─────────────────────────────────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ 基础设施层 │
│ PostgreSQL + Redis + Kafka + Docker + K8s + Prometheus │
└─────────────────────────────────────────────────────────────────┘
技术栈
| 层级 | 技术 | 许可证 |
|---|---|---|
| 前端 | React + TypeScript + Ant Design Pro | MIT |
| API Gateway | Apache APISIX + 自研插件 (Go) | Apache 2.0 |
| 认证 | Keycloak + 租户适配器 (Go) | Apache 2.0 |
| 核心业务 | Go (高服务) + Python (AI 服务) | 自研 |
| 计费 | Go + Redis Lua + Kafka → PostgreSQL | 自研 |
| Agent 编排 | LangFlow | MIT |
| MCP | mcp-hub | MIT |
| 向量库 | Milvus | Apache 2.0 |
| 模型推理 | vLLM / SGLang | Apache 2.0 |
| 工作流 | Temporal | MIT |
| 消息队列 | Kafka | Apache 2.0 |
| 开发工具 | MiMo Code | Apache 2.0 |
核心模块拆解（MiMo Code 任务）
project-root/
├── .mimocode/
│ └── AGENTS.md
├── docs/
│ ├── architecture.md
│ ├── api-spec.yaml # OpenAPI 3.0
│ ├── billing-spec.md # 元宝计费方案
│ ├── capability-registry-spec.md # DeepSeek 注册中心方案
│ └── llm-router-spec.md # LLM 路由规格
├── services/
│ ├── gateway/ # [自研] Go - APISIX 插件
│ ├── auth/ # [自研] Go - Keycloak 适配器
│ ├── billing/ # [自研] Go - Token 计费引擎
│ ├── metering/ # [自研] Go - 用量追踪
│ ├── registry/ # [自研] Go - Capability Registry
│ ├── llm-router/ # [自研] Go - LLM 智能路由
│ ├── skills/ # [自研] Go - Skills 市场
│ ├── im-gateway/ # [自研] Go - IM Bot 网关
│ ├── web/ # [自研] React - 用户 Dashboard
│ ├── admin/ # [自研] React - 管理后台
│ ├── langflow/ # [开源] Agent 编排
│ ├── mcp-hub/ # [开源] MCP 管理
│ └── temporal/ # [开源] 工作流引擎
├── infra/
│ ├── milvus/ # [开源] 向量数据库
│ ├── vllm/ # [开源] 模型推理
│ ├── kafka/ # [开源] 消息队列
│ └── keycloak/ # [开源] 认证服务
└── deploy/
├── docker-compose.yml # 本地开发
└── k8s/ # 生产部署
MiMo Code 任务清单
| 任务 | MiMo Code 模式 | 预估工时 |
|---|---|---|
| 项目骨架 + AGENTS.md | Quest Mode | 3h |
| APISIX 网关 + 自研插件 | Agent Mode | 4 天 |
| Keycloak + 租户适配器 | Agent Mode | 3 天 |
| LLM Router (多平台智能路由) | Agent Mode | 4 天 |
| Token 计费引擎 (Redis Lua) | Agent Mode | 5 天 |
| Capability Registry (gRPC+REST) | Agent Mode | 4 天 |
| 用量追踪 (Kafka→PG) | Agent Mode | 3 天 |
| Skills 市场 | Agent Mode | 5 天 |
| IM Bot 网关 | Agent Mode | 3 天 |
| 用户 Dashboard | Agent Mode | 5 天 |
| 管理后台 | Agent Mode | 4 天 |
| 集成测试 + E2E | Code Review | 4 天 |
| Docker + K8s 部署 | Agent Mode | 2 天 |
风险
| 风险 | 等级 | 对策 |
|---|---|---|
| 开发周期长 | 高 | 分阶段交付，MVP 先上核心模块 |
| 技术复杂度高 | 中 | MiMo Code 辅助生成骨架代码 |
| 团队人力 | 中 | 一人开发需严格控制范围 |
优点
- ✅ 完全自主可控，无许可证风险
- ✅ 架构统一，长期维护成本低
- ✅ 核心竞争力完全自研
缺点
- ❌ 开发周期长（20 周）
- ❌ 前期投入大，MVP 延后
方案三：分层渐进（16 周 MVP + 持续迭代）
思路: 底座用开源快速搭建，核心中间件自研但分批交付，AI 能力层各取所长 适用: 平衡速度与可控性，分阶段验证再投入
架构图
┌─────────────────────────────────────────────────────────────────┐
│ MiMo Code 驱动开发（AGENTS.md + Quest Mode） │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ 接入层 │
│ Web (React) / API (REST+WS) / CLI / IM Bot / OpenAPI │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ Phase 1: Higress API Gateway (开源) │
│ Phase 2: + 自研能力路由插件 │
│ Phase 3: + 自研计费计量插件 │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ 分层自研核心 │
│ │
│ ┌─── Phase 1 (Week 1-8) ───────────────────────────────────┐ │
│ │ ✅ LLM Router (多平台路由) │ │
│ │ ✅ Token 计费引擎 (Credit + Redis Lua) │ │
│ │ ✅ 用户 Dashboard (React) │ │
│ │ ✅ 基础 OpenAPI 网关 │ │
│ └────────────────────────────────────────────────────────────┘ │
│ │
│ ┌─── Phase 2 (Week 9-12) ──────────────────────────────────┐ │
│ │ ✅ Capability Registry (能力注册中心) │ │
│ │ ✅ 用量追踪 (Kafka → PostgreSQL) │ │
│ │ ✅ 管理后台 │ │
│ └────────────────────────────────────────────────────────────┘ │
│ │
│ ┌─── Phase 3 (Week 13-16) ─────────────────────────────────┐ │
│ │ ✅ Skills 市场 v1 │ │
│ │ ✅ IM Bot 网关 (微信/QQ/钉钉) │ │
│ │ ✅ ACP 协议基础 │ │
│ └────────────────────────────────────────────────────────────┘ │
└───────────────────────────┬─────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ AI 能力层（开源自集成） │
│ ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐ ┌──────────────┐ │
│ │LangFlow│ │mcp-hub │ │ Milvus │ │ LiteLLM│ │ LangBot │ │
│ │Agent │ │MCP Srv │ │向量检索 │ │LLM代理 │ │IM Bot │ │
│ └────────┘ └────────┘ └────────┘ └────────┘ └──────────────┘ │
└─────────────────────────────────────────────────────────────────┘
▼
┌─────────────────────────────────────────────────────────────────┐
│ 基础设施 │
│ PostgreSQL + Redis + Kafka + Docker │
└─────────────────────────────────────────────────────────────────┘
技术栈
| 层级 | 技术 | 许可证 | 阶段 |
|---|---|---|---|
| 前端 | React + TypeScript + Ant Design | MIT | Phase 1 |
| API Gateway | Higress (阿里云开源) + 自研插件 | Apache 2.0 | Phase 1+ |
| LLM 代理 | LiteLLM | MIT | Phase 1 |
| LLM Router | 自研 (Go) | 自研 | Phase 1 |
| 计费引擎 | 自研 (Go + Redis Lua) | 自研 | Phase 1 |
| Capability Registry | 自研 (Go) | 自研 | Phase 2 |
| Agent | LangFlow | MIT | Phase 1 |
| MCP | mcp-hub | MIT | Phase 1 |
| IM Bot | LangBot | Apache 2.0 | Phase 3 |
| 向量库 | Milvus | Apache 2.0 | Phase 1 |
| 消息队列 | Kafka | Apache 2.0 | Phase 1 |
| 开发工具 | MiMo Code | Apache 2.0 | 全程 |
核心模块拆解（MiMo Code 任务）
project-root/
├── .mimocode/
│ └── AGENTS.md
├── docs/
│ ├── architecture.md
│ ├── api-spec.yaml
│ ├── phase1-spec.md # Phase 1 详细规格
│ ├── phase2-spec.md # Phase 2 详细规格
│ └── phase3-spec.md # Phase 3 详细规格
├── packages/
│ ├── llm-router/ # [自研] Go - Phase 1
│ │ ├── provider/ # 多平台适配器
│ │ ├── router/ # 智能路由逻辑
│ │ └── failover/ # 故障转移
│ ├── billing/ # [自研] Go - Phase 1
│ │ ├── credit/ # Credit 模型
│ │ ├── metering/ # 用量计量 (Redis Lua)
│ │ └── reconcile/ # 每日对账
│ ├── registry/ # [自研] Go - Phase 2
│ │ ├── discovery/ # 能力发现
│ │ ├── metadata/ # 元数据管理
│ │ └── versioning/ # 版本管理
│ ├── metering/ # [自研] Go - Phase 2
│ │ ├── collector/ # Kafka 消费
│ │ └── storage/ # PG 持久化
│ ├── skills/ # [自研] Go - Phase 3
│ ├── im-gateway/ # [自研] Go - Phase 3
│ ├── web/ # [自研] React - Phase 1
│ └── admin/ # [自研] React - Phase 2
├── services/
│ ├── langflow/ # [开源] Agent
│ ├── mcp-hub/ # [开源] MCP
│ ├── langbot/ # [开源] IM Bot
│ ├── litellm/ # [开源] LLM 代理
│ └── milvus/ # [开源] 向量库
├── gateway/
│ └── higress-plugins/ # [自研] APISIX/Higress 插件
└── deploy/
└── docker-compose.yml
MiMo Code 任务清单
Phase 1（Week 1-8）：核心引擎
| 任务 | MiMo Code 模式 | 预估工时 |
|---|---|---|
| 项目骨架 + AGENTS.md | Quest Mode | 3h |
| LLM Router 设计+实现 | Agent Mode | 4 天 |
| Token 计费引擎 (Credit+Redis Lua) | Agent Mode | 5 天 |
| Higress 插件 (认证+路由) | Agent Mode | 3 天 |
| LiteLLM 集成 + 多平台配置 | Agent Mode | 2 天 |
| 用户 Dashboard v1 | Agent Mode | 5 天 |
| OpenAPI 网关 v1 | Agent Mode | 2 天 |
| LangFlow 集成 | Agent Mode | 2 天 |
| Milvus 集成 | Agent Mode | 1 天 |
| Docker Compose 编排 | Agent Mode | 1 天 |
| Phase 1 里程碑 | 8 周 |
Phase 2（Week 9-12）：能力治理
| 任务 | MiMo Code 模式 | 预估工时 |
|---|---|---|
| Capability Registry | Agent Mode | 4 天 |
| 用量追踪 (Kafka→PG) | Agent Mode | 3 天 |
| 管理后台 v1 | Agent Mode | 4 天 |
| Dashboard 升级 (用量图表) | Agent Mode | 2 天 |
| 集成测试 | Code Review | 2 天 |
| Phase 2 里程碑 | 4 周 |
Phase 3（Week 13-16）：生态扩展
| 任务 | MiMo Code 模式 | 预估工时 |
|---|---|---|
| Skills 市场 v1 | Agent Mode | 5 天 |
| IM Bot 网关 (微信/QQ/钉钉) | Agent Mode | 4 天 |
| ACP 协议基础 | Agent Mode | 3 天 |
| 全链路测试 | Code Review | 3 天 |
| Phase 3 里程碑 | 4 周 |
风险
| 风险 | 等级 | 对策 |
|---|---|---|
| Phase 1 核心模块延期 | 中 | LLM Router + 计费先交付，其他延后 |
| Higress 学习曲线 | 低 | 文档完善，社区活跃 |
| LangFlow 集成复杂度 | 低 | 标准 HTTP API 对接 |
优点
- ✅ 分阶段交付，每阶段都有可运行的成果
- ✅ Phase 1 就能跑通核心流程（LLM 调用 + 计费）
- ✅ 后续阶段按需扩展，投入可控
- ✅ 开源底座选择更灵活（Higress vs APISIX vs Kong）
缺点
- ❌ 比方案一慢 4 周
- ❌ 分阶段增加架构一致性风险
三套方案对比总结
| 维度 | 方案一 (快跑) | 方案二 (稳扎) | 方案三 (渐进) |
|---|---|---|---|
| MVP 周期 | 12 周 ⚡ | 20 周 | 16 周 |
| 自主可控 | 中 | 高 ⭐ | 高 |
| 许可证风险 | 中 (CoAI) | 低 ⭐ | 低 ⭐ |
| 架构一致性 | 低 | 高 ⭐ | 中 |
| 扩展性 | 中 | 高 ⭐ | 高 |
| MiMo Code 适配 | 好 | 好 | 最好 ⭐ |
| 适合场景 | 快速验证 | 长期运营 | 平衡选择 |
推荐选择
- 如果你想最快验证商业模式 → 方案一（12 周 MVP）
- 如果你要长期自主运营 → 方案二（20 周，完全可控）
- 如果你想稳中求进 → 方案三（16 周，分阶段交付）⭐ 推荐
MiMo Code 使用指南
安装
# npm 安装
npm install -g @anthropic-ai/mimo-code
# 或 bun 安装
bun install -g @anthropic-ai/mimo-code
项目配置
在项目根目录创建 .mimocode/AGENTS.md：
# AI PaaS Platform
## 架构
- Go 后端服务（网关、路由、计费）
- Python AI 服务（LangFlow、MCP）
- TypeScript 前端（React + Ant Design）
- PostgreSQL + Redis + Kafka + Milvus
## 开发规范
- Go: 遵循 gofmt + golangci-lint
- Python: 遵循 ruff + black
- TypeScript: 遵循 eslint + prettier
- 所有 API 必须有 OpenAPI 3.0 规范
- 所有数据库变更必须有 Migration 脚本
## 核心模块
- llm-router: 多平台 LLM 智能路由
- billing: Token 计费引擎 (Redis Lua)
- registry: 能力注册中心
- metering: 用量追踪
开发流程
# 进入项目目录
cd ai-paas-platform
# 启动 MiMo Code
mimo
# 在 MiMo Code 中使用 Quest Mode
# 输入：实现 LLM Router 模块，支持 DeepSeek/千问/豆包/百度/元宝 5 个平台
# MiMo Code 会自动：
# 1. 分析需求
# 2. 生成代码骨架
# 3. 实现核心逻辑
# 4. 编写测试
# 5. 提交 Git
文档版本：1.0 | 更新日期：2026-06-27