Rererr/amenbo

English | 日本語
**Skims the web without making waves** — a Japanese-web-native MCP server for low-impact, token-efficient web collection: outline→section progressive disclosure and diff-only refetches keep context small.
amenbo(アメンボ / water strider)は、Claude Code や Codex のようなコーディングエージェント向けの MCP サーバーです。水面に波を立てずに滑る虫のように、**収集先に負荷をかけず、少ないトークンで** Web から情報を集めます。とりわけ**日本語サイト**に最適化しています。MCP クライアントを持たないシェル環境からは、同じコアを共有する CLI としても使えます(CLIとして使う参照)。
なぜ amenbo か
汎用のスクレイピングツールの多くは英語圏の Web を前提に作られており、日本語サイトでは次のような取りこぼしが起きがちです。amenbo はこれらの課題に対応します。
- **構造化が甘いサイト**：div の入れ子やテーブルレイアウトが多い日本語サイトでも、レンダリング結果のジオメトリ(見た目の配置)から本文領域を推定します
- **文字化け**：Shift_JIS / EUC-JP / ISO-2022-JP を自動判別
- **ふりがな**： の振り仮名を除去し、本文の二重化を防止
- **画像で出す情報**：画像化された料金表やバナー中心のページは、テキスト抽出が貧弱なとき自動でスクリーンショットに切り替え
- **表の欠落・崩れ**：リンク密度の高いデータ表(比較表など)は本文抽出時に丸ごと落ちることがあり、そうした表を検出して元の位置へ復元します。本文に残った表も colspan/rowspan・多段ヘッダを正規化し、列ズレを防ぎます
- **見出しの消失**：見出しが編集リンク付きラッパーに包まれたページ(Wiki系など)では本文抽出時に見出し構造が丸ごと失われることがあり、本文が残っている節の見出しを検出して元の位置へ復元します(outline / section の段階開示が安定)
- **国内主要サイト**：Qiita / Zenn / note / はてなブログ / Yahoo!ニュース / PR TIMES に専用アダプタ
類似ツール(公式 fetch MCP / Jina Reader / Playwright MCP / PixelRAG pixelshot)との実測比較は、記事「エージェントのWeb取得、ツール次第でトークンが5000倍違った話」を参照してください。ハーネスと生ログは bench/ にあります。
トークンを節約する仕組み
- **段階開示**：mode: outline で見出しツリーと各節のトークン量だけ先に返し、必要な節だけ section 指定で取得。長大なページを丸ごと流し込みません
- **CJK 対応の本文プルーニング**：句読点密度、文字種比率、リンク密度でナビ/広告/フッターを除去
- **差分応答**：一度取得した URL の再取得時、変更が無ければ unchanged、あれば変更された節だけを返します
- **自動 Markdown/画像切替**：品質スコアが低いページだけスクリーンショットにし、壊れた Markdown を読ませて取り直す往復を避けます
- **文字種別のトークン見積り**：日本語・韓国語・キリル文字・絵文字などは英語よりトークン単価が重いため、文字クラス別の係数(実測で校正)でページ分割の予算を計算します
収集先への低負荷
- **二段フェッチ**：まず素の HTTP GET。JS 描画が必要なページだけ headless Chromium に昇格するので、大半の取得でブラウザを起動しません
- **礼儀正しいクローラ**：robots.txt と Crawl-Delay を尊重、同一ドメインへは直列 + 既定 1 req/秒（robots.txt の取得もこの1リクエストとして数えます）。リンク列挙は sitemap / RSS を優先しページを舐めません
- **正直な User-Agent**：ボットであることを明示します。**anti-bot 回避は実装しません**
- **キャッシュ**：ETag / If-Modified-Since で再検証し、無駄な再取得を避けます。有効期限は既定 15 分（AMENBO_CACHE_TTL_MS）で、Cache-Control は**延長方向のみ**採用します（max-age が 15 分より長ければそちらを使い、上限 24 時間。no-store は保存しません）。max-age=0 や no-cache で期限を縮めることはしません — 主要サイトの実測ではその宣言が大半で、従うとツール呼び出しの度に取得しに行くことになり、低負荷という前提が崩れるためです
インストール
Markdown 取得(通常の fetch / links)はこれだけで動きます。JS 描画が必要な SPA への昇格やスクリーンショットなど、ブラウザ(Chromium)経由の取得を使う場合のみ、初回に一度だけ実行してください(約 170MB のダウンロード):
または開発用途:
MCP クライアントへの登録
Claude Code(--scope user は全プロジェクト共通。プロジェクト単位なら外す):
Codex CLI:
VS Code:
その他のクライアント(Cursor / Cline など)は、各クライアントの MCP 設定(Cursor: ~/.cursor/mcp.json、Cline: MCP Servers 画面の settings JSON)に次のエントリを追加します:
グローバルインストールを避ける場合は "command": "npx", "args": ["-y", "amenbo"]、ローカルビルドを使う場合は "command": "node", "args": ["/path/to/amenbo/dist/server.js"] を指定してください。
stdio 経由で MCP の 2026-07-28(ステートレスコア)と 2025 系の両方に応答します。クライアントがどちらの版を話すかに関わらず、上記の設定のまま繋がります。
エージェントに使い方を教える(推奨プロンプト)
ツール定義だけでは「段階開示で取る」といった使い方の作法までは伝わりません。以下を CLAUDE.md や AGENTS.md にコピペすると、エージェントが amenbo を効率よく使うようになります。
CLAUDE.md に書かず、その場のセッションだけに読み込むこともできます。MCP プロンプト対応クライアントでは、サーバーが同じ作法を usage プロンプトとして配布しています(Claude Code では /mcp__amenbo__usage)。
CLIとして使う
amenbo は MCP サーバーと同一のコア(取得、キャッシュ、politeness、抽出ロジック)を共有する CLI としても動作します。引数なし、または amenbo serve は従来通り MCP サーバーとして起動する(.mcp.json の "command": "amenbo" はそのまま動きます)ので、既存の MCP 登録には影響しません。