01
为什么值得拆解
本地模型接入
统一聊天体验
自托管权限
知识与工具扩展
02
产品主流程
- 01
部署服务并连接模型端点
- 02
创建用户并配置模型权限
- 03
发起对话或上传知识文件
- 04
调用模型与扩展工具
- 05
保存会话并由管理员维护实例
03
系统架构分层
L1
交互层
提供会话、模型切换、文件上传与消息渲染。
L2
模型网关
把不同模型服务转换成一致的应用调用方式。
L3
知识扩展
将文档、检索和工具能力接入对话流程。
L4
管理层
控制用户、模型可见范围和实例配置。
04
已验证技术栈
系统层技术或平台作用
Web 前端Svelte
承载聊天、模型选择、知识和管理界面。
服务端Python
处理模型代理、会话、用户和扩展能力。
模型接口Ollama、OpenAI-compatible API
统一连接本地或远程推理服务。
交付方式Docker
适合个人、实验室和团队自托管。
05
从零开发的建议顺序
01
MVP · 做通统一聊天入口
交付：模型列表、流式对话和会话记录
02
阶段 2 · 支持本地模型运营
交付：端点配置、健康检查和模型权限
03
阶段 3 · 增加知识能力
交付：文件处理、检索与来源展示
04
阶段 4 · 面向团队使用
交付：用户、角色、审计和实例设置
06
关键取舍
自托管增强数据控制，但模型运行、升级和备份责任由使用者承担。
统一接口改善体验，但不同模型的能力差异仍需在产品层明确呈现。
07