AI時短ラボ
検索
検証

Google Research「ToolGrad」ツール使用データを「答えから先に」作る。API連鎖を先に組んでから質問を書く逆順で合格率ほぼ100%、Gemma 3 12Bの微調整版がBFCLで83.1(Gemini 2.5 Pro 83.2・Claude 4.5 Opus 82.8・GPT-5 74.4と並ぶ)。教師のGemini 2.5 Flash-Liteを生徒が上回る

執筆:約6分で読めます

日刊AIニュース11月7日(土)号:前日のAIのニュース3本を短くまとめました(約5分)›

Google Researchは2026年9月10日、ACL 2026で発表した「ToolGrad」を解説した。LLMにツール使用を教えるデータは、従来「仮の質問を作ってから深さ優先探索のエージェントに解かせる」順序で作られ、失敗が多くコストが高かった。ToolGradは逆に、動作確認済みのAPI連鎖を先に組み、それに合う質問と回答を1回のLLM呼び出しで後付けする。プロンプト最適化のTextGradにならい、実行報告から最良のAPI呼び出しを選ぶ工程を「テキストの勾配」として使う。生成した500件(ToolGrad-500)でGemma 3の1B・4B・12Bを微調整すると、ツール集合が異なるBFCLで12B版が83.1。データを作った教師のGemini 2.5 Flash-Liteを生徒が上回った。

Google Research「ToolGrad」──ツール使用データを「答えから先に」作る。API連鎖を先に組んでから質問を書く逆順で合格率ほぼ100%、Gemma 3 12Bの微調整版がBFCLで83.1(Gemini 2.5 Pro 83.2・Claude 4.5 Opus 82.8・GPT-5 74.4と並ぶ)。教師のGemini 2.5 Flash-Liteを生徒が上回る
目次

2026年9月18日・日本時間時点の情報です。 Google Researchのブログ(9月10日)を読んだ。エージェントの「ツール呼び出し」を学ばせる訓練データをどう作るかという裏方の話で、日本語ではほぼ扱われていない。エージェントを組む側の全体像はAIエージェントの作り方に。

3行まとめ

  1. 何が新しいか。 LLMにツール使用を教えるデータは、従来「APIの候補から仮の質問を作る→深さ優先探索(DFS)のエージェントに解かせる→うまくいった軌跡だけ残す」順序で作られてきた(ToolBench・ToolACE)。探索の失敗が多く、成功例を蒸留する構造そのものが非効率だった。**ToolGradは順序を逆にする。動作確認済みのAPI連鎖を先に組み、それに合う質問と回答を1回のLLM呼び出しで後付けする。**明示的な解答のほうが質問より曖昧さがないので、注釈が簡単になる、という理屈。
  2. 「テキストの勾配」。 プロンプト最適化のTextGradは、LLMの批評文を数値勾配の代わりに使う。ToolGradはこれをデータ生成に転用し、4つの部品を回す。API Proposer(候補APIを数個に絞る)→API Executors(並列に実行して報告書を作る)→API Selector(報告書を読み、最良の1呼び出しを選んで連鎖に足す=勾配に相当)→LLM Updater(新しいAPI集合に合わせて合成質問と回答を書き直す)。ToolBenchの実在API 1万6千超を使った比較で、より長い連鎖を、より高い合格率で、より低いコストで生成できた(図の説明には合格率99.8%とある)。
  3. 小さいモデルが上位に並んだ。 生成した500件(ToolGrad-500)でGemma 3の1B・4B・12Bを微調整し、ToolBenchとはツール集合が違う**BFCL(Berkeley Function Calling Leaderboard)**で評価。12B版が83.1で、発表時点のGemini 2.5 Pro(83.2)・Claude 4.5 Opus(82.8)に並び、GPT-5(74.4)を上回る。データはGemini 2.5 Flash-Liteで作ったので、生徒が教師を追い越したことになる。ツール特化のToolACE・Hammer-2.1-7Bにも差をつけた。

「解答から先に作る」逆順の狙い

  • 「質問→解答」ではなく「解答→質問」の順に作るのは、正解が確実に存在するデータだけを残す発想で、エージェントの記憶蒸留のような「軌跡から学ぶ」系統とは出発点が違う
  • 同じ週にGoogle Researchが出したRetrieve-for-Trainも「重い探索を一度だけ回し、軽いモデルに焼き込む」型で、両方とも「推論時に考えさせない」方向に寄っている
  • 数字はGoogle自身の測定で、比較対象のモデル名にも発表時点の版(Gemini 2.5 Pro・Claude 4.5 Opus・GPT-5)が使われている。現行世代との比較ではない
  • 筆頭のZhongyi Zhou氏はGoogleの客員研究員として研究した、と謝辞にある。共著者にはKohei Uehara・Tatsuya Haradaの各氏の名前がある

確認はブログのみ、論文とコードは未読

この記事の下調べで、筆者は9月18日にGoogle Researchのブログを取得し、4つの部品の名称・BFCLの数字・教師モデルの名前がその原文にあることを確認した。論文本文(ACL 2026)とコードは開いていない。筆者はToolGradのデータもモデルも動かしていない。

重み公開の有無・コスト・BFCLの版は不明

  • ToolGrad-500やモデルの重みが公開されているか
  • 生成1件あたりのコスト(金額)
  • BFCLのどの版・どの部分集合の数字か

出典はGoogle Researchのブログ

関連記事

シェア: ポスト はてブ

出典・参照資料

AI時短ラボ

大きいニュースはYouTubeでも解説しています。Xでは新着記事をお知らせしています。

コメント

まだコメントはありません。最初のコメントを書いてみませんか?

AIについて聞きたいことはありますか?

質問箱で無料で受け付けています。回答は公開され、他の方の参考にもなります。

質問箱を見る →

関連記事

Google Research「Retrieve-for-Train」──AI検索の「クエリ分解」を推論時に考えさせない。強化学習で一度だけ良い分解を見つけ、5,390万パラメータの拡散モデルに焼き込んで一発生成。自己回帰の12〜20倍速く、大きなバッチで50秒近くかかる処理が数秒にの記事画像

Google Research「Retrieve-for-Train」 AI検索の「クエリ分解」を推論時に考えさせない。強化学習で一度だけ良い分解を見つけ、5,390万パラメータの拡散モデルに焼き込んで一発生成。自己回帰の12〜20倍速く、大きなバッチで50秒近くかかる処理が数秒に

検証(発表 9月15日)
「Agent Memory Distillation」とは何か──学習不要で、4Bの小型モデルにGPT-5-miniの「成功パターン」を渡すの記事画像

「Agent Memory Distillation」とは何か 学習不要で、4Bの小型モデルにGPT-5-miniの「成功パターン」を渡す

研究
Gemmaの累計ダウンロードが10億超──Google公式発表と「Awesome Gemma」の中身の記事画像

Gemmaの累計ダウンロードが10億超 Google公式発表と「Awesome Gemma」の中身

モデル
AIエージェントの作り方【2026年9月版】──ノーコード(Dify・Lindy)、SDK(Claude Agent SDK・OpenAI Agents SDK・Google ADK・LangGraph)、任せる型(OpenAI Agents API・Claude Managed Agents)の3段階と、最初の1本を動かすまでのコード、暴走と課金を止める4つの安全装置の記事画像

AIエージェントの作り方【2026年9月版】 ノーコード(Dify・Lindy)、SDK(Claude Agent SDK・OpenAI Agents SDK・Google ADK・LangGraph)、任せる型(OpenAI Agents API・Claude Managed Agents)の3段階と、最初の1本を動かすまでのコード、暴走と課金を止める4つの安全装置

活用
Google Labs「Julesで測るべきもの」──コーディングエージェントは「頼まれたタスク」から「目標」へ。SWE-Benchは課題の完了しか測れないので、社内の705件のバグ(1,178 CL)を時間的近接と意味的類似で束ねて「目標」の正解を作り、修正前の状態に戻してエージェントに探索させLLMで5段階採点。1回の探索で平均4.5、探索を2回→3回にするとHit@5が33%→57%の記事画像

Google Labs「Julesで測るべきもの」 コーディングエージェントは「頼まれたタスク」から「目標」へ。SWE-Benchは課題の完了しか測れないので、社内の705件のバグ(1,178 CL)を時間的近接と意味的類似で束ねて「目標」の正解を作り、修正前の状態に戻してエージェントに探索させLLMで5段階採点。1回の探索で平均4.5、探索を2回→3回にするとHit@5が33%→57%

検証(発表 6月22日)
Google「autofinetune」──仕様書1枚を書いて寝ると、エージェントが一晩でLoRAのランク・学習率・バッチを探索し、改善したコミットだけGitに残す。TPU v5eでFunctionGemma 270MのSFTを20回、TPU v6eでGemma 3 1BのGRPOを40回回し報酬約10%改善。Tunix+Antigravity CLI+Gemini 3.7 Flashの記事画像

Google「autofinetune」 仕様書1枚を書いて寝ると、エージェントが一晩でLoRAのランク・学習率・バッチを探索し、改善したコミットだけGitに残す。TPU v5eでFunctionGemma 270MのSFTを20回、TPU v6eでGemma 3 1BのGRPOを40回回し報酬約10%改善。Tunix+Antigravity CLI+Gemini 3.7 Flash

検証(発表 9月11日)
DSPyのReActV2──「1本の巨大な文字列」だったツール履歴を、構造化されたメッセージに分解するの記事画像

DSPyのReActV2 「1本の巨大な文字列」だったツール履歴を、構造化されたメッセージに分解する

検証
プロンプトではなく「プログラムの構造」自体を最適化する──DSPyの実験的機能`dspy.Flex`の記事画像

プロンプトではなく「プログラムの構造」自体を最適化する DSPyの実験的機能`dspy.Flex`

検証