MCPツールの応答の説明文を事実として読んだAIエージェント

本記事の概要

個人会社で開発しているサービスのMCPサーバは、長い専門文書を見出しで区切ったセクションに分けて返す。MCPツールが応答に添える、データの読み方の説明文を、応答の注記と呼ぶ。開発のAIエージェントは、見出しの語だけで付けた分類を、セクションの中身として言い切る文を、応答の注記に書いた。

私が品質評価を依頼した2つの外部のAI製品は、応答の注記の断定と、接続のときに渡した使い方の文のとおりに読んだ。1つの製品はセクションの中身を取り違え、もう1つの製品は途中で読むのをやめた。どちらの製品も文面のとおりに動いたので、この2件の誤読の原因は、読み手の能力でなく文面の書き方にあった。

開発のAIエージェントは、標本の50文書で、著者の判断と分類したセクションの行を1行ずつ分けて数えた。見出しの語から分類した25文書のセクションでも、字数の7.5%は著者以外の主張の引用だった。開発のAIエージェントは、断定を書いた27か所を、データの性質と理由と読み方を渡す文に書き換えた。その後、本文の中身を読んで読み手の代わりに決める動作は、MCPサーバのどこにも入れないと決めた。

記事から得られること

MCPサーバが返す応答の注記と、MCPツールに付けるdescriptionと、接続のときに渡すinstructionsを書く開発者に向けた記事である。

• 応答の注記を書く3つの規則と、断定を書き換えた3つの例を示す。
• 50文書の判断のセクションで、著者の記述の割合を測った表を載せる。
• 応答の注記を書き換えた翌日に、種別のラベルと案内の値と別の応答の注記で見つかった断定を、修正した経過を書く。
• 開発のAIエージェントがMCPサーバの動作を3種類に分け、そのうち1種類を入れないと決めた規則を示す。

この記事は、個人会社で開発しているサービスのMCPサーバについて書いた設計の考察である。根拠は5つある。コミットの本文、PRの本文、設計の文書、テストのファイルと、変更の履歴を含む開発のメモリである。