fish827-08/rag-kb

English | 中文
**本地优先、完全离线可用的 Agent 记忆与知识服务**——REST + MCP 双协议，混合检索（向量 + BM25 归一化加权融合），文档/网页入库与 RAG 问答；无 LLM 时存取与检索完整可用。
本仓库含两个子系统（ROADMAP）：
| 子系统 | 一句话定位 | 状态 |
|---|---|---|
| **kb** | 本地优先、完全免费的 Agent 记忆与知识服务（核心产品，开发主线，当前测试开发阶段） | 测试开发中 |
| **agent-orchestra** | 基于 kb 共享任务板的跨任务多 Agent 协作系统（❄️ 维护模式，自用脚手架） | B1-B3 收口冻结 |
> 开源协议：Apache-2.0（含专利授权，可商用）。
kb — 本地优先的 Agent 记忆与知识服务
Windows 单进程常驻（python -m kb serve），REST + MCP 双协议，向 Claude Code /
Cursor / TraeWork / 自建 Agent 提供记忆写入、文档与网页入库、混合检索
（向量 + BM25 归一化加权融合）与 RAG 问答。
**无 LLM 时存取与检索完整可用**——记忆写入、文档入库、混合检索不依赖任何大模型；
配置本地 Ollama 或云端 API 后，/ask 问答能力自动启用。
核心特性
- **单进程常驻**：一个 python -m kb serve 同时提供 REST API 与 MCP 端点，无需额外组件
- **混合检索**：BGE-M3 向量检索 + BM25 关键词检索，归一化加权融合排序（每路 min-max 归一化后按生效路数均权，N32/N33），中文分词友好
- 可选精排：KB_RERANK_ENABLED=true 启用 bge-reranker-v2-m3 交叉重排（默认关）
- 可选三路：KB_SPARSE_ENABLED=true 启用 BGE-M3 稀疏向量第三路（默认关，失败自动降级双路）
- **记忆管理**：写入 / 更新 / 删除 / 列表，支持 namespace、tags、type 过滤
- **记忆全共享（v3）**：所有记忆/知识与任何客户端、任务、AI 全共享——本地单用户定位，跨 agent、跨任务读到同一份用户记忆；client/project 仅用于审计归类与元数据（不再隔离读写）；主键服务端生成
- **存取审计**：每次写/读/改/删/检索/问答记 JSON 到 logs/agent-audit/ __ .log（按 client+project 分文件）；用户可查：REST GET /api/v1/audit?client= [&project= ] 或 CLI kb audit --client
- **知识入库**：本地文档（txt/md/pdf/docx 等）上传或路径导入，网页正文抓取入库
- **目录监听**：指定目录内新增/删除文件自动入库/清理（KB_WATCH_DIR）
- **CLI 工具**：kb add/search/stats/ask/eval/forget/dedup——终端直接完成写入、检索、统计与 RAG 问答
- **隐私护栏**：敏感 namespace 强制本地回答不出网；/ask 智能路由（本地优先，难题可选云端）
- **断网可用**：模型与数据全部落本地，无网络时存取与检索功能完整
快速开始（Windows / Linux / macOS）
**Windows PowerShell：**
**Linux / macOS：**
> 重要：kb 命令只装在虚拟环境内。**每个新终端都要先激活虚拟环境**
> （Windows .\venv\Scripts\Activate.ps1，Linux/macOS source venv/bin/activate），
> 否则会提示 kb：未找到命令。改用 python -m kb 可绕过激活。
>
> 快速安装备选（免虚拟环境，Python 3.10+）：pip install --user -r requirements.txt 后
> 用 python -m kb serve 运行，但建议优先使用 venv 隔离依赖。
启动后健康检查：
> 首次启动会加载本地嵌入模型（默认 BAAI/bge-m3，约 2GB，需提前下载缓存）；
> 未配置 LLM 时服务照常启动，/ask 返回 503 与配置指引。
>
> **LLM 默认关闭（KB_LLM_MODE=off）**：服务启动不会探测/加载/调用任何大模型，
> 零显存、零成本、纯离线；记忆写入、文档入库、混合检索完整可用。
> 需要 RAG 问答（/ask）时再按下面方式配置本地或云端 LLM。
配置 LLM（可选，/ask 问答需要）
KB_LLM_MODE 默认 off（不加载不调用）；四个档位：
| 档位 | 行为 |
|---|---|
| off（默认） | 完全不加载/不调用 LLM；记忆存取与检索完整可用 |
| local | 仅本地 Ollama（完全离线，隐私零出网） |
| auto | **本地优先，云端降级**：本地 Ollama 可用走本地，无本地但有云端 Key 走云端 |
| cloud | 全部走云端（本地仅做压缩与隐私隔离） |
**本地 LLM（Ollama）：**
**云端 LLM（任意 OpenAI 兼容服务商，不绑定 DeepSeek）：**
DeepSeek / OpenAI / 通义千问 / 硅基流动 / Moonshot 等均可，通用三键：
验证：GET /api/v1/healthz 的 llm 字段——local/cloud 表示 LLM 已就绪，disabled 表示未启用。
常见问题：嵌入模型下载失败
- **中国大陆直连 huggingface.co 会超时**。设置 HF 镜像后重启即可：
模型会自动从镜像下载并缓存到 ~/.cache/huggingface/hub/，之后断网也能离线加载。
- **模型已在本机缓存，但无外网**：kb 采用离线优先（先命中本地缓存，失败才联网），
只要缓存目录完整即可完全离线运行。
让 Agent 接入 kb（客户端无关）
把 kb 的接入规约交给 AI 客户端（TraeWork / Claude Code / Cursor / 自建 Agent），
让它们知道怎么读写记忆、按什么身份规约、怎么查审计。**两种方式，任选其一**：
1. **skill（推荐，能自动触发）——可选的独立步骤**：仓库内
skills/kb-memory/SKILL.md
是客户端无关的 Anthropic 开格式 skill。把它安装到你所用客户端的用户级 skills 目录后，
该客户端的任何项目会话都会在读写记忆/RAG 问答/审计查询时**自动识别并触发**。
安装 = 把 skills/kb-memory 目录复制过去即可（有脚本，也可手动复制，无需任何依赖）；
更新（重新覆盖）、卸载、以及装好后的使用说明见
scripts/README.md。
> **不装也不影响 kb 服务**：skill 只是给 AI 客户端的「提示词包装」，与服务的安装、
> 启动无关——跳过这一步，服务照常运行，你随时可用方法 2 的纯文本提示词接入；
> skill 安装是**一次性、按需、独立执行**的，不会随 kb serve 自动触发，
> 也不会写入你的任何客户端目录以外的文件。
2. **纯文本提示词（兜底，任何客户端通用）**：整段复制
docs/AGENT_PROMPT.md 粘贴给 Agent 即可，不依赖 skill 机制。
> **.trae-cn/skills / .claude/skills / .cursor/skills 是任何客户端都认的「标准」吗？——不是。**
> 这些只是各家客户端各自的**用户级约定目录**：SKILL.md 本身是统一的 Anthropic 开格式，
> 但「装到哪个目录、能否自动触发」由各客户端自行决定，支持程度不一：