基准测试

结果相同,token 最多少 24.1×。

用上 Delta MCP,多步任务的 token 消耗大幅减少,成本更低,速度一样快甚至更快,最终结果相同,并在服务本身里核实。共 8 个场景,每个场景都分别在使用和不使用 Delta MCP 的情况下运行,使用 Claude Code 搭配 Sonnet 5.5。

最近运行:2026年10月5日GitHub 上的 Delta MCP

3.3–24.1×

多步任务上,计费 token 更少

1.4–8.1×

多步任务上成本更低,即使在最严格的缓存情形下也是如此

最高 4.4×

多步任务上更快,没有任何一个场景更慢

152 / 152

个工具仍然被声明,并可通过 Delta MCP 调用

同一任务的计费 token 直接调用 MCP通过 Delta MCP
  • 修复一个 release,以文本方式Cerberus,152 个工具
    少 24.1×
  • 添加测试,以文本方式Cerberus,152 个工具
    少 15.8×
  • 修复一个 release,以代码方式Cerberus,152 个工具
    少 13.4×
  • 清理 20 张逾期工单一个工单管理系统
    少 4.8×
  • 登录,添加 3 位联系人,再列出来Microsoft Playwright MCP
    少 3.9×
  • 对一份任务列表做 6 处改动taskqueue-mcp
    少 3.3×
  • 一个文档问题Context7
    少 1.2×
  • 一个单步问题Playwright,books.toscrape.com
    多 1.25×

每个场景,每个数字

从不用 Delta MCP 时要 26 次模型调用的 release 修复,到只有一个问题的情形。每种方案取 2 到 3 次运行的平均值,每个场景的最终结果都相同。“加权成本”是 Claude Code 按模型报告的成本,折算成输入 token 的等价量,取最严格的缓存情形。“以代码方式”是每个服务器的默认方式;“以文本方式”使用 Cerberus 的适配器。

任务 服务器 Token 加权成本 模型调用 耗时 测量日期
修复一个 release,以文本方式 Cerberus,152 个工具 少 24.1× 少 8.1× 26 → 4.5 快 1.2× 10月2日
添加测试,以文本方式 Cerberus,152 个工具 少 15.8× 少 5.8× 16.6 → 4 快 2.0× 10月2日
修复一个 release,以代码方式 Cerberus,152 个工具 少 13.4× 少 6.1× 26 → 6.5 一样快 10月5日*
清理 20 张逾期工单 一个工单管理系统 少 4.8× 少 4.0× 5 → 2 快 4.4× 10月2日
登录,添加 3 位联系人,再列出来 Microsoft Playwright MCP 少 3.9× 少 1.8× 12.6 → 4 快 2.1× 10月2日
对一份任务列表做 6 处改动 taskqueue-mcp 少 3.3× 少 1.5× 5.6 → 2 快 2.1× 10月2日
一个文档问题 Context7 少 1.2× 多 1.11× 4 → 3 一样快 10月5日
一个单步问题 Playwright,books.toscrape.com 多 1.25× 多 2.5× 4 → 3 快 1.1× 10月5日

* Delta MCP 测量于 10月5日,直接调用测量于 10月2日。

经得起检验

3.7–4.1×

在它没见过的任务上同样成立

调优之后才编写、从未用来调优的任务,token 消耗少了 3.7 到 4.1 倍。

26 / 27

质量相同,逐次运行核对

最后一轮的 27 次运行中,26 次完美无缺,第 27 次也没有任何错误。全部 103 次运行都逐次读过:文本是否准确、有没有误动哪个字段、给用户的回答是否正确。这次审查还发现了自动检查漏掉的两个缺陷,现已修复。

我们如何测量

本页的每个数字都用同一套方法得出,并且都能追溯到各自的原始运行结果。

  • 计费 token,包含思考部分,按服务商的计数方式。
  • 只有当请求的那个模型确实完成了这次运行,这次运行才算数。
  • 模型调用指模型发出的不同消息,不是工具调用。
  • 成功指的是在服务里核实过的最终状态,以及给用户的回答。
  • 成本取最严格的缓存情形;每项改善都向下取整。
  • 每个公布的数字,在声明登记表里都有一条记录,并从原始运行结果重新计算。
发布时上线

下一步:最大的 MCP 服务器

Delta MCP 将在最大的那些 MCP 服务器上接受测试,结果会在它发布时公布。你可以第一个看到。

上线时通知我

继续阅读

在你自己的任务上测一测

免费,在你的电脑上运行。Delta MCP 会记录它为你节省的 token 数。

免费 · 无需账号 · Apple 芯片或 Intel

免费 · 无需账号

免费 · 无需账号

关注发布动态

支持 Mac、Windows 和 Linux,无需账号。

即将发布

Delta MCP 即将发布

适用于 Mac、Windows 和 Linux 的免费应用即将发布。留下你的邮箱,上线的那一刻你就会知道。无需账号。

你的邮箱只用于在 Delta MCP 发布时通知你一次,不发订阅邮件。隐私政策