人間とAIとウェブの未来ENJA
メニュー

取り組み2026-07-26公開2026-08-04無料

前の世代のAIモデル向けに書いた細かい指示は、今のモデルでは害になる

English

この記事の目次

課題と成果の概要

AIエージェントの記憶と指示の設計について、研究の論文と最前線のモデルの公式ドキュメントを二巡にわたって比較しました。一巡目の結論をそのまま採らず、根拠の論文がどの世代のモデルで測られたのかを監査したところ、主要な五本のどれも最前線のモデルでは測っていないことが分かり、あわせて三社の公式ドキュメントが同じ方向へ変わっていることを確かめました。素材には、論文の本文を自分で読んで確かめた記録と、各社の公式ドキュメントの原文を使いました。そして、会員制の技術ブログのプラットフォームで、この結論を運用ルールへ反映した経過も素材にしています。

公式ドキュメントの現行の記載

モデルの提供元自身が、前の世代向けの細かい指示は今のモデルでは出力の質を下げうると、公式ドキュメントに書いています。AnthropicのClaude Fable 5向けの公式ドキュメントには、前の世代のモデル向けに作ったスキルは細かく指示しすぎで出力の質を下げることがあるので、既定の挙動の方が良ければ古い指示を消すことを検討せよ、とあります。挙動を一つずつ名指しで列挙しなくても、短い指示で導けるようになった、とも書いてあります。同じ提供元の技術スタッフは、コーディング用のツールのシステムプロンプトの80%超を削っても評価に測定できる低下は無かったと報告し、削った制約を、古いモデルの最悪の場合を避けるために必要だったもの、と位置づけました。

OpenAIも同じ向きです。GPT-5.6向けの公式ドキュメントには、無駄をそぎ落とした指示を選べという趣旨の節があり、繰り返しの指示と例を削ってツールの説明を簡潔にすると、内部評価の点がおよそ10から15%上がり、総トークンが41から66%減った、と数字つきで書いています。Googleの開発者ガイドも、古いモデル向けの冗長または過度に複雑なプロンプトの技法は過剰に解析されうるので簡潔に書け、としています。数字を出しているのは二社で、どちらも提供元の自己申告なので独立の測定ではありませんが、三社の指示の向きがそろって同じである事実は残ります。自分たちが積み上げてきた指示書は、放っておくと、新しい世代のモデルでは出力の質を下げる方に働きかねません。

根拠の論文が測ったモデルの世代

ここで一度立ち止まります。少し前に、エージェントの記憶の研究を広く調べたとき、一巡目の結論は逆側に寄っていました。蒸留した教訓だけを積んで更新し続けると記憶は劣化しうる、会話の原文の断片をそのまま記憶にした方が加工した記憶より良い、という論文の結果を根拠に、生のログが蒸留に勝つ、と読んだのです。この結論をそのまま設計に固定する手前で、その研究はいまのモデルでも通じるのか、という前提の疑いを立てて、二巡目の監査を回しました。

結果ははっきりしていました。根拠にした主要な論文五本のうち、最前線のモデルで測っているものは一本もありません。統合すると劣化するという論文は、実験に一番強いモデルを使っていますが、それも前の世代のものでした。原文の断片が勝つという論文は2024年世代のモデルだけで測っていて、著者自身が、個人化や作風の用途は未検証だと限界の節に書いています。文体の再現には限界があると示した研究は、32Bの公開モデル二本でしか測っていません。さらに、統合の劣化の論文は要旨と本文で数字が食い違っていて、要旨は54%で失敗すると読める書き方なのに、本文と図では54%は残った成功率です。一巡目の調査は要旨の側を引いていました。論文の結論は要旨で流通しますが、実験の設定と限界は本文を読まないと分かりません。

念のため書いておくと、最前線で再測定されていないことは、論文が誤りだという意味ではありません。通じるかどうかを自分たちがまだ知らない、という状態の表明です。この区別を守らないと、今度はこちらが根拠なく研究を捨てることになります。

混ざっていた二本の軸

監査でもう一つ見えたのは、一巡目の「生のログ対蒸留」という軸そのものが、二本の別の問いを混ぜていたことです。論文が測っているのは、何を記憶として保存し後から取り出すかという問いで、指示書の話が扱うのは、いま何を指示として渡すかという問いです。別の問いなので、矛盾もしません。そして両方の一次情報が一致して否定しているのは、真ん中の層だけでした。文脈から切り離して箇条書きにした、規範的な手順の列挙です。論文の側は、この手順の列挙を機械で作り直し続けると、その工程が長い目で破綻すると言い、提供元の側は、その層を大きく削れると言っています。実際に起きたやりとりの記録と、何のためにやるのかという目的は、どちらも否定されずに残ります。これは外部の文書の明文ではなく、自分たちが論文と公式ドキュメントを比較して導きました。

削る指示と残す指示

実務に落とすと、正しい答えは、「指示を抽象化すればよい」ではありません。指示の細かさを、使うモデルの世代に合わせることです。

削ってよいのは次のような指示です。手順を一つずつ指定する指示、挙動を一つずつ列挙する指示、場合分けを網羅する指示、同じことを言い換えて重ねる指示、そして推論の課題で例を示す指示です。強いモデルでは従来型の例示を追加しても推論の性能が上がらないという世代交代の証拠が出ています。細かい指定が害になる機構も特定されています。分野の専門用語や、制約を書いた行や、識別子の名前が指示に入っていると、モデルは記憶にある誤った答えを呼び出してしまいます。それらを外すと、モデルは問題の構造そのものから推論するしかなくなる、と説明されています。同じ測定は、単純な問題では曖昧にすると正答率が11.8ポイント下がることも示していて、どんな場面でも削ればよいわけではありません。

残すのは、目的と分野の背景、譲れない制約、承認の境界、成功の判定条件、出力の形式です。OpenAIの公式ドキュメントは、すべての手順を規定する必要はしばしばないと書いた直後に、分野の背景と譲れない制約と承認の境界と成功の判定条件は引き続き与えよ、と続けていますし、Anthropicの一般則も、望む出力の形式と制約については具体的であれ、を今も保っています。同じ公式ドキュメントには逆向きの具体の指示も並んでいて、難しい課題では完全な仕様を最初に与えよ、狭い課題では範囲を明示的に制約せよ、ともあります。判定の条件まで曖昧にすると再現性が崩れることも測られていて、書かなかった要件をモデルが正しく埋めるのは四割程度にとどまり、ばらつきは倍になります。あわせて、規則そのものより規則の理由を書きます。理由を書くと、モデルは説明から一般化してくれるためです。それから、前提を疑ってほしいという願いは、抽象の指示からは自動には出てきません。推論するモデルでも、偽の前提の四分の一から四割ほどを指摘できないという測定があります。前提のチェックが欲しいなら、手順ではなく成果物の合否の条件として明文で書くことです。

留保も二つ残します。強いモデルほど具体の害が大きい、という言い方は支持されていません。細かさの影響はモデルの強さと相関しないという測定があります。指示を同時に守れる容量もこの一年で大きく伸びていて、指示を削るのは量の限界のためではなく、モデルの注意をどこへ向けるかを絞るためです。

規則でなく手続きとしての棚卸し

自分たちのプラットフォームでは、この結論を運用ルールへ反映しました。ただし、「指示を抽象化すべきだ」という規則としては書いていません。今回の証拠はモデルのバージョンに固有で、同じ提供元でもバージョンごとに推奨が違い、次のバージョンでまた変わるからです。書いたのは手続きです。古いモデルの弱点を埋めるために追加した手順の指示は、モデルが変わったら棚卸しして消す、と書きました。指示の細かさは世代が変わるたびに測り直す、とも書きました。

指示書は資産ですが、その一部はモデルの弱点への補正で、弱点は世代とともに消えていきます。モデルが変わった週に、一度だけ自分の指示書を読み直してみてください。消せる行が多いほど、その指示書は前の世代のモデルに合わせて書かれていたということです。

参考にした研究

本文が土台にした研究を、題名とリンクで挙げておきます。いずれも2026-07-26時点で本文まで確認したものです(題名の無いものは内容で示します)。

公式ドキュメントは研究ではないので分けて挙げます。本文の引用は2026-07-26時点の記載で、本記事は公開文書の記述を整理したものであり、各提供元の見解を代表するものではありません。