goesByhc/cn-scraper-mcp

让 AI Agent 直接搜索中国互联网——淘宝、京东、小红书、知乎、微博、B站、知识星球……不再被反爬墙挡住。
---
这是什么
每个 AI Agent（Codex、Claude Code、Cursor、Trae）都能搜网页，但中文平台通常需要登录态、浏览器环境或平台专用参数：
- **淘宝**：需要浏览器一致的网络指纹和登录 Cookie
- **京东**：依赖已登录的本地浏览器环境
- **小红书**：需要住宅 IP、本地浏览器和搜索结果中的访问参数
- **知乎**：游客搜索已关闭，全部 API 需要登录态
- **拼多多**：平台限制严格，目前不推荐使用
- **微博**：搜索 API 需要登录态（SUB token），热搜游客即可访问
- **抖音**：需要浏览器登录并可能人工处理验证码
- **B站**：搜索、热门、视频详情和评论可直接使用公开 API
- **豆瓣**：条目搜索、条目详情和短评/影评
- **大众点评**：商户搜索、商户详情和用户评价
- **知识星球**：付费社群，内容藏在 cookie 认证的 REST API 后面
**这个项目就是把踩了好几个月的坑打包成一个 MCP Server**——你的 Agent 一句话就能搜：taobao_search("儿童学习桌")。
安全与隐私
cn-scraper-mcp 在你的电脑上本地运行，不需要把 Cookie、账号密码或浏览器 Profile 上传到任何中转服务器：
- Cookie 默认保存在 ~/.cn-scraper-cookies/，京东登录态保存在本地 Chrome Profile。
- 登录过程直接发生在平台官方页面，软件不会读取或保存你的账号密码。
- Cookie 值不会写入日志，也不会通过 MCP 工具结果返回给 Agent；工具只返回状态、字段名和本地路径等非敏感信息。
- 发起抓取或在线登录验证时，凭证只会发送给对应平台域名。
- 代码完全开源，所有凭证处理流程都可以审查。
建议仍像保护浏览器登录态一样保护本机账号：不要分享 Cookie 文件，不要把凭证提交到 Git，并限制本地文件的访问权限。
---
平台支持
电商
| 平台 | 方式 | 无需浏览器 | 限制 | 稳定性 |
|------|------|-----------|------|--------|
| **淘宝/Tmall** | curl_cffi + MTOP 签名 | ✅ | 宽松¹ | ✅ 稳定 |
| **京东/JD** | Chrome CDP headful | 需 Chrome | 中等 | ✅ 稳定² |
| **拼多多/PDD** | Chrome CDP + iPhone UA | 需 Chrome | 单次搜索限制³ | ⚠️ 不推荐 |
> ¹ 淘宝无硬性限流，但平台可能随时收紧，不建议高频批量抓取。
> ² 京东由本地 Chrome 生成登录态和动态签名，工具读取结构化 API 响应；通过 guided_login("jd") 可自动初始化持久化 Profile。
> ³ 拼多多每个浏览器会话仅放行第一次搜索，之后永久"系统繁忙"。单次搜索结果零实用价值，引擎代码保留但不推荐使用。
内容社区
| 平台 | 方式 | 无需浏览器 | 限制 | 稳定性 |
|------|------|-----------|------|--------|
| **小红书/XHS** | 本地 Chrome CDP + cookie | 需 Chrome | 中等⁴ | ✅ 稳定 |
| **知乎/Zhihu** | REST API v4 | ✅ | 正常 | ✅ 稳定 |
| **知识星球/ZSXQ** | REST API v2 | ✅ | 正常 | ✅ 稳定 |
| **微博/Weibo** | REST API | ✅ | 正常 | ✅ 稳定 |
| **抖音/Douyin** ⚠️ | Chrome CDP + 验证码轮询 | 需 Chrome | 实验性⁵ | ⚠️ 实验性 |
| **B站/Bilibili** | 公开 Web API | ✅ | 建议低频调用 | ✅ 稳定 |
| **豆瓣/Douban** | 移动端 JSON API | ✅ | 搜索可能触发风控 | ⚠️ 依会话 |
| **大众点评/Dianping** | 公开网页解析 | ✅ | 可能触发页面风控 | ⚠️ 依页面结构 |
> ⁴ 小红书只允许住宅 IP——云浏览器/数据中心 IP 直接封。必须用本地 Chrome。
> ⁵ 抖音搜索需要登录态 + 手动过滑块验证码。支持 120s 等待用户手动验证，通过后自动抓取。guided_login("douyin") 可引导登录。
快速开始
安装
也可以从源码安装开发版本：
推荐：CDP 自动登录并保存 Cookie
安装并连接 MCP 后，直接让 Agent 调用：
它会打开本地 Chrome 并进入平台官方登录页。你自己扫码或输入密码后，工具通过 CDP 自动读取完整 Cookie（包括 JavaScript 无法读取的 HttpOnly Cookie），再保存到本机 ~/.cn-scraper-cookies/。京东则保存到本地持久化 Chrome Profile。
这是推荐方式，因为它不会要求你复制 Cookie，不容易漏掉关键字段，也更适合 Cookie 过期后的重新登录。可用平台名包括 taobao、jd、xiaohongshu、zhihu、weibo、zsxq、douyin、pdd、douban 和 dianping。
已有通过远程调试端口启动且登录完成的 Chrome 时，也可以调用：
启动
Docker
容器内预装 Chromium，无需本地浏览器：
远程服务器部署可以切换到 HTTP transport，通过 IP + 端口 连接：
远程 MCP endpoint：
也可以使用 Docker Compose：
可用环境变量：
| 变量 | 默认值 | 说明 |
|------|------|------|
| CN_SCRAPER_TRANSPORT | stdio | stdio、http、sse，也接受 streamable-http 作为 http 别名 |
| CN_SCRAPER_HOST | 0.0.0.0 | HTTP/SSE 模式监听地址 |
| CN_SCRAPER_PORT | 8000 | HTTP/SSE 模式监听端口 |
| CN_SCRAPER_PATH | /mcp | HTTP/SSE MCP endpoint 路径 |
> 远程 HTTP 模式会让 MCP 工具通过网络访问本机 Cookie/Profile 目录，请勿直接裸露公网端口。建议放在内网、VPN、防火墙白名单或带鉴权的反向代理后面。小红书、京东、抖音等依赖本地浏览器、住宅 IP 或人工验证码的平台，在远程服务器上的稳定性取决于服务器网络与图形环境。
当平台要求人工处理登录、验证码或风控页时，工具会返回统一的 ACTION_REQUIRED 结构，并在 action_required 字段中说明平台、原因、处理动作、处理链接和建议重试的工具。当前抖音验证码已接入该结构；远程 Docker 场景下仍需要你通过可见浏览器或后续 noVNC 网页完成验证。
Agent 集成配置：
请把 /本机绝对路径/ 替换为真实路径；MCP 客户端直接启动进程时不会替你展开 ~。
> Docker 镜像内置 Chromium + --no-sandbox。京东 headful 模式如需 Xvfb，设置环境变量 XVFB_WRAPPER=1。小红书仍需住宅 IP——数据中心 IP 会被封。