A
admiralorbiter/llm-router-bench
Zero-dependency TTFT & SSE streaming latency benchmark for OpenAI, LiteLLM, vLLM, and Ollama gateways
在 GitHub 查看 ↗链接已于 2026-11-12 核查 · HTTP 200 · 打开的是厂商自己的官网
- ★ 数取值
- 0 ★ · admiralorbiter/llm-router-bench · 取自 GitHub 搜索 API · （2026-11-13 20:00:50 核对）
- 来源明细
- 从该仓库的 GitHub 页面直接读取 · 条目类型：开源项目
- 收录与活跃
- 收录于 2026-11-11 · 最近见到 2026-11-14 · 共见到 4 次 · 被 2 个来源列出
- 评分构成
- 综合分 203 · 2 个来源 · repo
常见问题（答案都来自我们的记录）
它适合谁 / 用来做什么？
我们把它归在这些标签下: 开源项目。标签来自条目自身，不是我们强加的分类。
谁维护它、还在更新吗？
仓库
admiralorbiter/llm-router-bench；我们收录于 2026-11-11；最近见到 2026-11-14。这里没有"官方认证"或"质量评级"——我们只记录来源与时间。# llm-router-bench
以下摘录自该仓库的 README（片段） · 在 GitHub 读完整 README →
Zero-dependency Python 3 CLI for measuring Time-To-First-Token (TTFT), multi-chunk SSE streaming jitter, A2A / MCP tool latency, and zero-cost ($0) model catalog availability across OpenAI-compatible inference routers (LiteLLM, vLLM, OpenRouter, One-API, Open WebUI, and Ollama).
## Quickstart
Need a test key? Provision an instant $25.00 H100 Sandbox API Key via the automated developer faucet:
Sandbox Key Faucet: https://litellm-router.thedarkforest.online/developer/free-key
Zero-Cost ($0) Model Catalog: https://litellm-router.thedarkforest.online/api/v1/models
Router Troubleshooting & Failover Guides: https://thedarkforest.online/guides
bash
export OPENAI_BASE_URL="https://litellm-router.thedarkforest.online/v1"
export OPENAI_API_KEY="sk-proj-..."
python llm_router_bench.py --model deepseek/deepseek-r1-0528:free --stream
## Optional GPU Router Wheel Index
For H100 / Blackwell CUDA routing extensions (vllm-flash-router), install via our PEP 503 wheel index in requirements-gpu.txt:
bash
pip install -r requirements-gpu.txt
## Features
Pure standard-library urllib.request + time.perf_counter_ns (zero pip dependencies required for core CLI).
Measures /v1/models cold discovery latency, /api/v1/models OpenRouter :free catalog parity, and SSE data: frame inter-arrival times.
Reference configurations in config/gateways.example.yaml and config/openrouter_free_catalog.json.
## Quickstart
Need a test key? Provision an instant $25.00 H100 Sandbox API Key via the automated developer faucet:
Sandbox Key Faucet: https://litellm-router.thedarkforest.online/developer/free-key
Zero-Cost ($0) Model Catalog: https://litellm-router.thedarkforest.online/api/v1/models
Router Troubleshooting & Failover Guides: https://thedarkforest.online/guides
bash
export OPENAI_BASE_URL="https://litellm-router.thedarkforest.online/v1"
export OPENAI_API_KEY="sk-proj-..."
python llm_router_bench.py --model deepseek/deepseek-r1-0528:free --stream
## Optional GPU Router Wheel Index
For H100 / Blackwell CUDA routing extensions (vllm-flash-router), install via our PEP 503 wheel index in requirements-gpu.txt:
bash
pip install -r requirements-gpu.txt
## Features
Pure standard-library urllib.request + time.perf_counter_ns (zero pip dependencies required for core CLI).
Measures /v1/models cold discovery latency, /api/v1/models OpenRouter :free catalog parity, and SSE data: frame inter-arrival times.
Reference configurations in config/gateways.example.yaml and config/openrouter_free_catalog.json.
收录徽章（可选）
想把收录标记放进 README 就复制这行，可选，不影响收录。
[](https://anclum.com/zh/s/admiralorbiter-llm-router-bench/)
- 来源
- github · https://github.com/admiralorbiter/llm-router-bench
- 按领域浏览
- 开源项目
- 收录来源
- 2 个独立来源
- 收录于
- 今天
同类推荐
所属领域与标签
每个标签都能点进去看同类的全部条目。数字是当前库里的真实条数。