Microsoft ThinkingBoxとは？エージェント評価サンドボックスの使い方とベンチマーク結果を一次情報で解説（2026年10月3日発表）

AI開発ツールアップデート料金改定MicrosoftMCP

Microsoft と Hugging Face が 2026年10月3日に公開した ThinkingBox は、エージェントの成否をデータベースの最終状態で判定する MCP サンドボックス（MIT）です。507 タスクのベンチマーク ThinkingBox-Bench の結果、使い方、ライセンスを一次情報で解説します。

結論から言うと、2026年10月3日に Microsoft と Hugging Face が公開した ThinkingBox は、エージェントの成否をデータベースの最終状態で判定するオープンソースの MCP サンドボックスです。コードは MIT ライセンスで公開され、507 のステートフル業務ワークフローで各タスク 20 回を実行するベンチマーク ThinkingBox-Bench（データは CDLA-Permissive-2.0）が同時に公開されました。「生成した文章やツール呼び出しの見た目」ではなく「副作用の結果」で判定する点が従来の評価手法と違います。以下、できること・ベンチマーク結果・使い方を一次情報だけで解説します。

ThinkingBox でできること（DB 状態での成否判定）

• 各試行は隔離された MCP セッションで実行され、初期化された状態から開始します。同一タスクの 2 試行間で DB 行やキャッシュしたツール状態は共有されません。
• 各タスクは「開始バックエンド状態・ユーザー目標・利用可能な MCP ツール・ドメインポリシー・終端状態の実行可能チェック」を定義します。
• 採点の核は「ツール呼び出しは結果ではない」という思想で、終端のバックエンド状態と副作用で判定します。507 タスク中 477 は状態のみで採点し、30 は応答ルーブリックを追加。
• 例として挙げられているのは「荷物の配送例外が未解決なのにチケットを resolved でクローズしたエージェント」。必要な終端状態は「例外を未解決のまま保持する」ため、9 個の正常なツール呼び出しに見えても DB の判定は失敗になります。
• 信頼境界は明確で、モデルに見せるのはタスク・対話・ツールスキーマのみ。ゴールデン状態・アサーション・採点内部・認証情報は評価者側に保持されます。

ベンチマーク ThinkingBox-Bench の主な結果

• 507 のステートフル業務ワークフローを各タスク 20 回実行するベンチマークです。共通セット ablation は 12 LLM・121,680 有効試行。
• pass@1（タスク加重）は Claude Opus 5.5 が 67.16% で首位。以下、Claude Opus 5 が 66.50%、GPT-5.4 が 65.36%、Kimi-K3 が 57.37%（オープンウェイト首位）、Qwen3.8-27B が 51.70%。
• 一貫性が大きく割れます。Claude Opus 5 と Opus 5.5 は 241/507（47.53%）を全 20 回でパスする一方、Kimi-K3 は pass@20 が 93.89%（476/507）で最も広いのに、全 20 回パスは 68 タスク（13.41%）だけでした。
• 79,853 試行が実行可能チェックに失敗しましたが、その 67.24% は正常終了・状態変更ツール呼び出し・最終ツールエラーなしで終わっていました。つまり見た目上は成功に見える失敗が多数あります。
• 失敗シグネチャの内訳は 79.9% がツール処理（リトライ・エラー回復）、誤った状態更新 10.3%、未完了のユーザー解決 7.0%、状態変更なし 2.9%。
• コスト効率（OpenRouter 定価・2026年9月20日時点）では、単発成功あたり最安が GPT-5.6 Sol の $0.127、依存可能タスクあたり最安が GPT-5.4 の $6.80。パレートフロンティアは GPT-5.6 Sol・GPT-5.4・Claude Opus 5.5 の 3 モデル。
• ドメイン差も大きく、retail の平均 59.52% に対し auto insurance は 33.83%。モデルごとの得意分野の偏り（Claude Opus 4.6 は retail 68.62% だが auto insurance 8.30%）が示されています。

使い方（3 ステップ・必要な環境）

• 必要環境は Linux / WSL、Python 3.11 以上、uv、Docker。エージェント・シミュレートユーザー・ジャッジの 3 ロール用のモデルエンドポイントが必要です（1 エンドポイントで 3 ロール兼用可）。
• ステップ 1: Hugging Face の OpenEnv リポジトリを clone し、envs/thinkingbox_env に対して uv sync --frozen で環境を構築します。
• ステップ 2: ベンチマークデータは microsoft/thinkingbox-data を clone し、thinkingbox-bench-v1.0 のタグをチェックアウトします。
• ステップ 3: ThinkingBox CLI（tb コマンド）を uv tool install "thinkingbox @ git+https://github.com/microsoft/thinkingbox" で入れ、Typesense 30.1 を Docker で起動したうえで tb mcp-start --host 127.0.0.1 --port 7111 --servers ... と MCP サーバを起動し、thinkingbox-eval でエピソードを採点します。
• エピソード完了時にはバイナリの pass/fail 報酬を返します（OpenEnv インターフェース対応）。評価用の設計で、ベンチマーク外のシナリオも同じインターフェースで学習ワークフローに使えます。
• RL 学習用リポジトリ（microsoft/thinkingbox-training）は「coming soon」と案内されています。

ライセンス・提供形態（無料で使えるか）

• ThinkingBox コードは MIT、ベンチマークデータは CDLA-Permissive-2.0、OpenEnv 環境は BSD-3-Clause。すべてオープンソースとして無料で利用できます。
• 提供形態は Hugging Face 経由のハーネス（huggingface.co/docs/openenv/environments/thinkingbox）とデータセットビューア（huggingface.co/datasets/microsoft/ThinkingBox-Bench）。有料プランやクラウド提供の案内は一次ソースにありません。
• 対象者は、実レコードに触れるエージェントを評価・デプロイする開発者・MLOps 担当者。記事は pass@1 だけでなく反復一貫性指標（20/20 など）を設計入力に使うことを推奨しています。

よくある質問

Q. ThinkingBox とは何ですか？

Microsoft と Hugging Face が 2026年10月3日に公開した、エージェントの成否をデータベースの最終状態（副作用の結果）で判定する MCP サンドボックスです。507 タスクのベンチマーク ThinkingBox-Bench と同時に公開されました。

Q. ThinkingBox-Bench の結果で何が分かりますか？

モデルが「正常終了したように見えて実は失敗」している割合が分かります。実行可能チェックに失敗した 79,853 試行の 67.24% はエラーなく終了しており、失敗シグネチャの 79.9% はツール処理（リトライ・エラー回復）に起因していました。

Q. 利用は無料ですか？ライセンスは？

無料です。コードは MIT、ベンチマークデータは CDLA-Permissive-2.0、OpenEnv 環境は BSD-3-Clause で公開されています。

Q. 動作に必要な環境は？

Linux / WSL、Python 3.11 以上、uv、Docker と、3 ロール（エージェント・シミュレートユーザー・ジャッジ）用のモデルエンドポイントが必要です。RL 学習用リポジトリは今後公開予定です。

出典: Microsoft × Hugging Face「ThinkingBox: Stateful sandboxes for verifying agents」（2026-10-06 取得）

この記事で解説した内容について、導入や評価の設計で相談したいことがあればお問い合わせ（/contact）からどうぞ。

この記事は AI が一次ソースを読んで執筆しました。数値と日付は出典に記した公式情報の執筆時点の値です。誤りを見つけたら訂正の窓口へお知らせください。確認のうえ本文を直し、訂正履歴に残します。編集方針