wukan1986/mcp_query_table

1. 基于playwright实现的财经网页表格爬虫，支持Model Context Protocol (MCP) 。目前可查询来源为
同花顺问财
通达信问小达
东方财富条件选股
实盘时，如果某网站宕机或改版，可以立即切换到其他网站。(注意：不同网站的表格结构不同，需要提前做适配)
2. 基于playwright实现的大语言模型调用爬虫。目前可用来源为
纳米搜索
腾讯元宝
百度AI搜索
RooCode提供了Human Reply功能。但发现纳米搜索网页版复制时格式破坏，所以研发了此功能
## 安装
commandline
pip install -i https://pypi.org/simple --upgrade mcpquerytable
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade mcpquerytable
## 使用
python
import asyncio
from mcpquerytable import
async def main() -> None:
async with BrowserManager(endpoint="http://127.0.0.1:9222", executablepath=None, devtools=True) as bm:
# 问财需要保证浏览器宽度>768，防止界面变成适应手机
page = await bm.getpage()
df = await query(page, '收益最好的200只ETF', querytype=QueryType.ETF, maxpage=1, site=Site.THS)
print(df.tomarkdown())
df = await query(page, '年初至今收益率前50', querytype=QueryType.Fund, maxpage=1, site=Site.TDX)
print(df.tocsv())
df = await query(page, '流通市值前10的行业板块', querytype=QueryType.Index, maxpage=1, site=Site.TDX)
print(df.tocsv())
# TODO 东财翻页要提前登录
df = await query(page, '今日涨幅前5的概念板块;', querytype=QueryType.Board, maxpage=3, site=Site.EastMoney)
print(df)
output = await chat(page, "1+2等于多少？", provider=Provider.YuanBao)
print(output)
output = await chat(page, "3+4等于多少？", provider=Provider.YuanBao, create=True)
print(output)
print('done')
bm.releasepage(page)
await page.waitfortimeout(2000)
if name == 'main':
asyncio.run(main())
## 注意事项
1. 浏览器最好是Chrome。如一定要使用Edge,除了关闭Edge所有窗口外，还要在任务管理器关闭Microsoft Edge
的所有进程，即taskkill /f /im msedge.exe
2. 浏览器要保证窗口宽度，防止部分网站自动适配成手机版，导致表格查询失败
3. 如有网站账号，请提前登录。此工具无自动登录功能
4. 不同网站的表格结构不同，同条件返回股票数量也不同。需要查询后做适配
## 工作原理
不同于requests，playwright是基于浏览器的，模拟用户在浏览器中的操作。
1. 不需要解决登录问题
2. 不需要解决请求构造、响应解析
3. 可以直接获取表格数据，所见即所得
4. 运行速度慢于requests，但开发效率高
数据的获取有：
1. 直接解析HTML表格
1. 数字文本化了，不利于后期研究
2. 适用性最强
2. 截获请求，获取返回的json数据
1. 类似于requests，需要做响应解析
2. 灵活性差点，网站改版后，需要重新做适配
此项目采用的是模拟点击浏览器来发送请求，使用截获响应并解析的方法来获取数据。
后期会根据不同的网站改版情况，使用更适合的方法。
## 无头模式
无头模式运行速度更快，但部分网站需要提前登录，所以，无头模式一定要指定userdatadir，否则会出现需要登录的情况。
endpoint=None时，headless=True可无头启动新浏览器实例。指定executablepath和userdatadir，才能确保无头模式下正常运行。
endpoint以http://开头，连接CDP模式启动的有头浏览器，参数必有--remote-debugging-port。executablepath为本地浏览器路径。
endpoint以ws://开头，连接远程Playwright Server。也是无头模式，但无法指定userdatadir，所以使用受限
参考：https://playwright.dev/python/docs/docker#running-the-playwright-server
Chrome新版的安全策略使用默认userdatadir时将无法创建CDP服务，建议重新复制配置目录到其他地方
## MCP支持
确保可以在控制台中执行python -m mcpquerytable -h。如果不能，可能要先pip install mcpquerytable
在Cline中可以配置如下。其中command是python的绝对路径，timeout是超时时间，单位为秒。 在各AI
平台中由于返回时间常需1分钟以上，所以需要设置大的超时时间。
### STDIO方式
json
"mcpServers": {
"mcpquerytable": {
"timeout": 300,
"command": "D:\\Users\\Kan\\miniconda3\\envs\\py312\\python.exe",
"args": [
"-m",
"mcpquerytable",
"--format",
"markdown",
"--endpoint",
"http://127.0.0.1:9222",
"--executablepath",
"C:\\Program Files\\Google\\Chrome\\Application\\chrome.exe"
### SSE方式
先在控制台中执行如下命令，启动MCP服务
commandline
python -m mcpquerytable --format markdown --transport sse --port 8000 --endpoint http://127.0.0.1:9222 --userdatadir "D:\user-data-dir"