বেঞ্চমার্ক

একই ফলাফল, 24.1× পর্যন্ত কম টোকেন।

Delta MCP দিয়ে কয়েক ধাপের কাজে টোকেন অনেক কম লাগে, খরচ কমে, আর কাজ শেষ হয় সমান দ্রুত বা আরও দ্রুত; চূড়ান্ত ফলাফল একই, সার্ভিসে নিজে যাচাই করা। 8টি সিনারিও, প্রতিটি Delta MCP‑সহ আর Delta MCP ছাড়া চালানো, Claude Code ও Sonnet 5.5 দিয়ে।

শেষ রান: 5 অক্টোবর, 2026GitHub‑এ Delta MCP

3.3–24.1×

কম বিল হওয়া টোকেন, কয়েক ধাপের কাজে

1.4–8.1×

কম খরচ, কয়েক ধাপের কাজে, ক্যাশের সবচেয়ে কড়া অবস্থাতেও

4.4× পর্যন্ত

বেশি দ্রুত, কয়েক ধাপের কাজে; কোনো সিনারিওই ধীর নয়

152 / 152

টুল এখনো ঘোষিত, Delta MCP দিয়ে কল করা যায়

একই কাজে বিল হওয়া টোকেন সরাসরি MCP কলDelta MCP দিয়ে

একটি রিলিজ ঠিক করা, টেক্সট রূপেCerberus, 152টি টুল

24.1× কম
টেস্ট যোগ করা, টেক্সট রূপেCerberus, 152টি টুল

15.8× কম
একটি রিলিজ ঠিক করা, কোড রূপেCerberus, 152টি টুল

13.4× কম
দেরি হয়ে যাওয়া 20টি টিকিট গোছানোএকটি টিকিট ম্যানেজার

4.8× কম
লগ ইন, 3টি কন্টাক্ট যোগ, তারপর তালিকাMicrosoft Playwright MCP

3.9× কম
একটি কাজের তালিকায় 6টি পরিবর্তনtaskqueue-mcp

3.3× কম
ডকুমেন্টেশন নিয়ে একটি প্রশ্নContext7

1.2× কম
এক ধাপের একটি প্রশ্নPlaywright, books.toscrape.com

1.25× বেশি

সব সিনারিও, প্রতিটি সংখ্যা

Delta MCP ছাড়া 26টি মডেল কল লাগে এমন একটি রিলিজ ঠিক করা থেকে একটি মাত্র প্রশ্ন পর্যন্ত। প্রতিটি ভ্যারিয়েন্টে 2 থেকে 3টি রানের গড়, প্রতিটি সিনারিওতে চূড়ান্ত ফলাফল একই। “ভারযুক্ত খরচ” হলো Claude Code প্রতিটি মডেলের জন্য যে খরচ দেখায়, ইনপুট-টোকেনের সমতুল্যে, ক্যাশের সবচেয়ে কড়া অবস্থায়। “কোড রূপে” প্রতিটি সার্ভারের ডিফল্ট; “টেক্সট রূপে” ব্যবহার করে Cerberus‑এর একটি অ্যাডাপ্টার।

কাজ	সার্ভার	টোকেন	ভারযুক্ত খরচ	মডেল কল	সময়	মাপার তারিখ
একটি রিলিজ ঠিক করা, টেক্সট রূপে	Cerberus, 152টি টুল	24.1× কম	8.1× কম	26 → 4.5	1.2× দ্রুত	2 অক্টোবর
টেস্ট যোগ করা, টেক্সট রূপে	Cerberus, 152টি টুল	15.8× কম	5.8× কম	16.6 → 4	2.0× দ্রুত	2 অক্টোবর
একটি রিলিজ ঠিক করা, কোড রূপে	Cerberus, 152টি টুল	13.4× কম	6.1× কম	26 → 6.5	সমান দ্রুত	5 অক্টোবর*
দেরি হয়ে যাওয়া 20টি টিকিট গোছানো	একটি টিকিট ম্যানেজার	4.8× কম	4.0× কম	5 → 2	4.4× দ্রুত	2 অক্টোবর
লগ ইন, 3টি কন্টাক্ট যোগ, তারপর তালিকা	Microsoft Playwright MCP	3.9× কম	1.8× কম	12.6 → 4	2.1× দ্রুত	2 অক্টোবর
একটি কাজের তালিকায় 6টি পরিবর্তন	taskqueue-mcp	3.3× কম	1.5× কম	5.6 → 2	2.1× দ্রুত	2 অক্টোবর
ডকুমেন্টেশন নিয়ে একটি প্রশ্ন	Context7	1.2× কম	1.11× বেশি	4 → 3	সমান দ্রুত	5 অক্টোবর
এক ধাপের একটি প্রশ্ন	Playwright, books.toscrape.com	1.25× বেশি	2.5× বেশি	4 → 3	1.1× দ্রুত	5 অক্টোবর

* Delta MCP‑এর মাপ 5 অক্টোবর তারিখে, সরাসরি কলের মাপ 2 অক্টোবর তারিখে।

যাচাইয়ে টেকে

3.7–4.1×

অদেখা কাজেও একই

টিউনিংয়ের পরে লেখা, আর টিউনিংয়ে কখনো ব্যবহার না করা মিশনে 3.7 থেকে 4.1 গুণ কম টোকেন লেগেছে।

26 / 27

একই মান, রানে রানে যাচাই করা

শেষ পর্বে 27টি রানের 26টি ছিল নিখুঁত, আর 27তম রানে ভুল কিছু ছিল না। 103টি রানের সবগুলো একটি একটি করে পড়া হয়েছে: লেখা হুবহু ঠিক, ভুল করে কোনো ফিল্ড ছোঁয়া হয়নি, ব্যবহারকারীকে সঠিক উত্তর। এই পর্যালোচনায় স্বয়ংক্রিয় যাচাইয়ে ধরা না পড়া দুটি ত্রুটিও পাওয়া গেছে, যা এখন ঠিক করা হয়েছে।

আমরা যেভাবে মাপি

এই পৃষ্ঠার প্রতিটি সংখ্যার জন্য একই পদ্ধতি, আর প্রতিটির সূত্র কাঁচা রান পর্যন্ত খুঁজে পাওয়া যায়।

বিল হওয়া টোকেন, থিংকিংসহ, প্রোভাইডার যেভাবে গোনে।
একটি রান গোনা হয় তখনই, যদি সত্যিই অনুরোধ করা মডেল সেটি চালিয়ে থাকে।
মডেল কল মানে মডেলের আলাদা আলাদা বার্তা, টুল কল নয়।
সাফল্য মানে সার্ভিসে যাচাই করা শেষ অবস্থা, আর ব্যবহারকারীকে দেওয়া উত্তর।
খরচ ধরা হয় ক্যাশের সবচেয়ে কড়া অবস্থায়; প্রতিটি সাশ্রয় নিচের দিকে রাউন্ড করা।
প্রকাশিত প্রতিটি সংখ্যার একটি এন্ট্রি আছে একটি দাবির রেজিস্টারে, কাঁচা রান থেকে আবার হিসাব করা।