本記事の概要
2026年8月31日、私は一緒に記事を作っているAIエージェントに、1つの実感を伝えました。Claude Opus 5のようなモデルでも、effortを中にして動かすと、推論しすぎず自然な日本語を書くようだ、という実感です。effortは、モデルが推論にどれだけの思考量を使うかを決めるAPIのパラメータです。AIエージェントはこの実感を、その日のうちにルールの文書へ書き込みました。裏づけになりそうな研究も5本集めました。さらに、同じ素材から5つの原稿を書かせて比べるところまで、その日のうちに進めました。
ところが実験の結果は、私の実感どおりにはなりませんでした。日本語のルールへの違反を数えると、effortを下げて書いた原稿のほうが良かったのです。一方、外部のモデルに全体の自然さを評価させると、effortを上げて書いた原稿のほうが良かったのです。この記事では、まず、実感をどうルールにしたかを説明します。次に、5つの原稿を比べて評価がどう分かれたかを示します。そして、集めた研究のうち2本がなぜ根拠にならなかったかを説明します。最後に、その結果を受けて私が何を決めたかを書きます。
記事から得られること
AIに日本語の文章を書かせている方に向けて、次の3つを説明します。
- AIに日本語を書かせるときと、AIが書いた文章の事実と論理を検査させるときとでは、effortを上げるべきか下げるべきかが逆になりえます。この2つでeffortをどう分けたかを説明します
- 私は、実感だけでルールを決めてしまわないようにしました。そのルールでAIを動かした結果を記録して、後でルールが正しかったかを確かめる、と同じ日にルールの本文へ書きました。その経緯と、同じ日に進めた比較の実験を説明します
- 私たちは、AIが集めた研究を、集めたAIとは別のAIに当日読み直させています。5本のうち2本は、記事に書こうとしていた主張が出典に無いか、逆の内容だと分かりました
本文に出てくるAIモデルの製品名は、この運用で実際に使ったものを指すためのもので、各提供元の見解を代表するものではありません。
いまeffortをどう設定して運用しているか
結論から言うと、推論を浅くすれば日本語が自然になるかどうかは、比べ方によって結論が変わりました。そのため、この実感を確定したルールにはしていません。いまは次のように運用しています。
- AIに日本語を書かせるとき(生成、推敲、修正案の作成)は、モデル名だけでなくeffortも明示して選ぶ。セッション全体の深い設定を暗黙に継承させない
- AIが書いた文章の事実と安全を検査させるときは、深いeffortを保つ
- lowを使うと検出漏れが増えると判断して、lowはどちらにも使わない
- 推敲と修正案の作成は、私の実感が正しいと実測で確かめられるまで、従来どおりClaude Sonnet 5に担わせる。Opus 5のeffort mediumを第一の選択肢にする案は保留する
- 最終原稿は、セッションのリーダーのモデルが直書きする。この決定は保留の対象に含めない
この運用に落ち着くまでの経緯を、順に説明します。
実感を伝えた日に起きたこと
この実感を伝える4週間ほど前の8月4日、私は日本語の検査にClaude Opus 5を使わないと決めていました。理由は2つありました。Opus 5の検査役(ルールの文書に照らして本文を検査するAI)に、標準的な熟語を和語へ崩す誤った平易化を検査させたことがあります。そのとき検査役は、修正案の中に名詞句への圧縮を残しました。その2日前に私たちが同じ素材で4つの原稿を書き比べたときには、Opus 5の原稿に名詞句が過剰に連なっていました。以後は、日本語の検査をClaude Sonnet 5が担い、Sonnetで足りなければClaude Fable 5が担う運用です。
8月31日に私は、この決定の範囲を狭めるようにAIエージェントへ伝えました。Opus 5でもeffortをmediumにすれば推論しすぎず自然な日本語が出るようなので、それをうまく使いたい、という趣旨です。不自然な日本語の一因は、モデルの選択ではなく、推論しすぎていることにあるのではないか、と私は考えていました。AIエージェントはこれを受けて、8月4日に決めたことは、effortを指定せず深い推論で動かしていた当時の設定にだけ当てはまる、と書き直しました。実際に起きた不具合の記録は残したまま、決定が及ぶ範囲だけを狭めました。一度決めたルールでも、新しい観察や指摘が出れば、私は範囲を見直すようにしています。AIと決めたルールを根拠が弱いまま固定すると誤った運用が定着する、という懸念については、和文と英数字の間の半角スペースは誰が決めたのか。辿るとAIが根拠なく決めていたで以前に書きました。
同じ日、並行して動いていた2つのAIセッションが、私の伝えたことを別々に受け取り、どちらもルールの文書を独立に改訂しました。先にルールの文書へ取り込んだセッションは、日本語の検査役を従来どおりSonnet 5に保ちました。そのうえで、AIに日本語を書かせるときだけ、モデル名とeffortの組で選ぶようにしました。最初に試す設定は、Opus 5をeffort mediumで動かす設定にしました。後から気づいたもう一方のセッションは、検査役にもOpus 5を条件つきで戻す、という自分の解釈を取り下げて、先行の版に合わせました。そして先行の版の内容を、どのモデルをどの作業に使うかを定めた文書と、記事を書くワークフロー2本の設定の検査にも書き込みました。
こうして残ったルールに従って、私たちは、検査のときはeffortを高く保ち、執筆のときはeffortを中に設定します。第一に、AIが書いた文章の事実と安全を検査させるときは、深いeffortを保ちます。第二に、AIに日本語を書かせるときは、effortをmediumと明示して、セッションの深い設定を暗黙に継承させません。第三に、lowは検出漏れが増えるので、どちらにも使いません。この3点です。AIエージェントはこの3点を、同じ日に7か所の文書へ書き込みました。日本語の執筆ルール、どのモデルをどの作業に使うかの定義、記事執筆ワークフロー2本の設定の検査、日次執筆ジョブの手順書とそのスキル、推敲ワークフローの設定です。ただし私の実感はまだ一人の主観です。そのためAIエージェントは、同じ日にルールの本文へ、この設定で記事を書いた結果を記録に残し、レビューで結果を確かめてからルールに追記する、と書きました。
同じ素材から書かせた5つの原稿の比較
ルールへ書き込んだ当日のうちに、AIエージェントは原稿を比べる実験を始めました。AIエージェントは、Claude Fable 5とClaude Opus 5のeffortを、medium、high、maxの間で変えました。そして同じ素材と一字一句同じ指示で、白紙から5つの最終原稿を書かせました。そして、どの原稿がどの設定かを伏せて、3つの方法で比べました。モデル2つとeffort3段階の組み合わせは6通りあります。記録に残っている原稿は5つです。どの組が欠けたかは、記録から特定できません。比べ方は3つ用意しました。Sonnet 5の検査役が、日本語のルールの文書に照らして違反を数えます。素材の数字と本文の記述が一致するかを、3回独立に検算します。そして外部の提供元のモデルであるGeminiに、全体の自然さを評価させます。
| 比べ方 | 結果 |
|---|---|
| Sonnet 5の検査役がルールの違反を数える | Fable 5はeffortをmediumにした原稿で翻訳調と文体の違反が最少。Opus 5は逆にeffortをmaxにした原稿で最少 |
| 素材の数字と本文の記述の一致を3回独立に検算する | Fable 5がeffortをmediumにして書いた原稿にだけ、素材との不一致が3回の検算のすべてで同じ形で見つかった。件数を間違えていたものと、まだ測っていないことまで断定していたものだった |
| Geminiが全体の自然さを評価する | Geminiは、どちらのモデルもeffortが高い原稿ほど自然だと評価した |
つまり、違反を数えるとFable 5はeffortを下げた原稿が良く、自然さを評価させるとどちらのモデルもeffortを上げた原稿が良かったのです。ルールの違反が最も少なかったFable 5のeffort mediumの原稿にだけ、素材との不一致があったのです。
比較の手順そのものにも不具合が出ました。検査役に原稿を渡す順番は、評価に影響することがあります。AIエージェントはその影響を避けようとして、検査役ごとに原稿の順番を入れ替えて渡しました。すると4つの検査役のうち3つが、原稿のラベルと読んだ順番を取り違えました。AIエージェントは、検査役が返してきた引用を原稿の本文と照合しました。3つとも逆に写していたと確定できたので、結果は復元できました。この経験から、AIエージェントは自律で反復する作業のルールに2つを追記しました。1つは、検査役が返した引用を、集計する前に必ず原文と照合することです。もう1つは、原稿を渡す順番を入れ替えずに固定し、引用の照合で読み順の取り違えを見つけることです。
集めた研究5本を別のAIに読み直させた結果
ルールへ書き込むのと並行して、AIエージェントは私の実感に理屈の裏づけがあるかを、研究の一次情報で確かめようとしました。8月31日の検索で、AIエージェントは研究を3つの系統に分けて集めました。1つ目の系統は多言語の推論の研究2本です(When Models Reason in Your LanguageとA Comprehensive Evaluation of Multilingual Chain-of-Thought Reasoning)。AIエージェントはそこから、2つを読み取りました。推論型のモデルは、非英語の課題でも英語中心で考える傾向がある。思考の言語を利用者の言語へ固定すると、精度が下がる。2つ目の系統は推論時間の実証1本(Inverse Scaling in Test-Time Compute)。そこには、推論時間を延ばすとかえって成績が下がる課題がある、と書かれていました。3つ目の系統は創作系の課題の報告2本(COIG-WriterとWhen Reasoning Supervision Hurts)。AIエージェントはこの2本を、推論を付け加えても効果が無いか害になる、という報告として集めていました。
9月2日に、研究を集めたAIとは別の文脈のAIが、この5本の出典を取得して読み直しました。出典が実在するか、書誌が合っているか、本文に帰属させようとした主張が出典の本文に本当にあるか、の3点を照合します。引用と参考文献の捏造を防ぐために、このサイトでは公開前に必ずこの照合を通しています。結果を表にまとめます。
| 研究 | 記事に書こうとしていた主張 | 読み直した結果 |
|---|---|---|
| When Models Reason in Your Language (EMNLP 2025 Findings) | 推論型モデルは非英語の問いでも英語中心で考え、思考の言語を利用者の言語へ固定すると精度が落ちる | 出典の記述と一致する。ただし対象はオープンソースの蒸留系モデル6本と数学と科学の短答で、商用モデルと文章の生成へは広げられない。思考に使われる言語は英語だけでなく中国語のこともある |
| A Comprehensive Evaluation of Multilingual Chain-of-Thought Reasoning (EACL 2026 Findings) | 英語中心の推論の偏りと、翻訳のノイズ | 前半だけ出典にある。翻訳のノイズは出典に書かれておらず、翻訳した英語の思考のほうが精度が高いという逆向きの結果が書かれていた |
| Inverse Scaling in Test-Time Compute (TMLR 2025) | 推論時間を延ばすとかえって成績が落ちる課題があり、複数のモデルで確認された | 出典の記述と一致する。ただし、意図して構成した課題の型で示された結果で、長く考えるほど一般に下がるという法則ではない。崩れ方はモデルの系列ごとに違う |
| COIG-Writer (arXiv:2510.14763) | 推論の過程を付けない学習のほうが創作の成績が良かった | 出典には逆の結論が書かれている。過程つきの創作データを汎用データと混ぜた学習が有効だと報告されていて、過程の有無を比べた実験そのものが無い |
| When Reasoning Supervision Hurts (arXiv:2605.20364) | 推論の監督が文芸の長文生成の品質を下げる | 検証の対象が異なる。生成させたのは文芸の執筆ではなく、決まった形式の講評の報告で、査読前の投稿 |
1つ目と2つ目の系統は、対象の範囲を限定したうえで、推論を長くすると出力がなぜ変わりうるかを説明する根拠としては使えました。ただし、どちらも日本語の文章の自然さを直接扱った研究ではありません。effortのhighとmediumを日本語の自然さで直接比べた研究は、9月2日の時点でも見つかっていません。3つ目の系統の2本は根拠になりませんでした。8月31日にAIが集めた時点では5本とも根拠に見えていたのに、9月2日に別のAIが読み直すと、2本は根拠にならないと分かりました。そのためこのサイトでは、集めたAIとは別のAIに当日読み直させて照合しています。
書く役と確かめる役を分けた理由
評価が分かれました。そのためAIエージェントはその日のうちに、Opus 5をeffort mediumで動かす設定を最初に試すのをやめました。どの設定にするかは、決めないままにしました。推敲と修正案の作成は従来のSonnet 5に戻し、推敲のワークフローのeffortも元の高い設定へ戻しました。検査役が自然だと評価する文章と、私が読んで自然だと感じる文章は、同じだとは限りません。そのため、この判断を確定するには、まず私が原稿の名前を伏せた状態で読み比べて、どの原稿の日本語が自分の感覚に合うかを決める必要があります。さらに、別の素材でも同じ実験を繰り返す必要があります。
一方で、同じ実験から、次のことがはっきり分かりました。effortを下げて書かせた原稿には、素材との不一致が3件ありました。件数を間違えていたものと、まだ測っていないことまで断定していたものです。推論を高めたモデルで検算すると、その3件をすべて検出できました。この実験では、書き手は推論を下げたほうが良く、検査役は推論を上げたほうが良かったのです。そこで私は、AIが文章を書く役と、書いた文章を確かめる役を分ける運用を同じ日に承認しました。日本語として書き上げた後の事実と論理は、推論を高めたモデルが検査します。検査役は本文を書き直さず、指摘の箇所と根拠だけを返します。書き手はその指摘を受けて、本文を最小限だけ直します。また私は、書き手が検査役の修正案の文をそのまま写さず、自分の言い回しで書き直す、とも決めました。推論を高めたモデルが文章を直接書き換えると、また不自然な文に戻るからです。
翌9月1日、深い推論の設定で書いた記事2本を私が読むと、動詞を名詞にしたうえで、続く、繰り返される、のような冗長な述語で受ける文が目立ちました。effortを深くしても、この癖は残っていたのです。私はその場で読みにくいと指摘し、AIエージェントはこの型をルールと機械の検査に追加しました。9月2日に私は、日本語の書き手をeffort mediumのOpus 5へ移す案そのものを見送りました。最終原稿は、これまでどおりセッションのリーダーのモデルが書くと決めました。書き手のモデルや設定を変えるより、正しい書き方の手順を作ってそれを守らせるほうが、質の良い日本語を書くという目的にかなうと考えたからです。
自分の運用で同じ検証をする手順
AIに日本語を書かせていて、推論の設定を変えたら文章の印象が変わったと感じたら、次の順で確かめることを勧めます。
- AIに書かせるときと検査させるときを分け、それぞれのeffortを明示する。セッションの深い設定を暗黙に継承させない
- 実感をルールに書くときは、そのルールでAIを動かした結果を記録し、後でレビューで確かめる、とルールの本文に書く
- 同じ素材から複数の原稿を作り、原稿の名前を伏せて複数の方法で比べる。検査役の引用は集計の前に原文と照合し、提示する順番は固定する
- 裏づけに使う研究は、集めたAIとは別のAIに当日読み直させ、実在と書誌と主張の一致を照合させる
私の実感は、1日でルールになりました。同じ日の実験では、評価が分かれました。翌日には、effortを深くしても名詞化の癖が残ると分かりました。証明できたと言わずに不一致のまま記録したので、次に確かめる材料は記録に残っています。自分の運用で同じように確かめようとしている方に、この記録が届くと幸いです。
参考にした研究
いずれも2026年9月2日に、独立の検証として原文を取得し、書誌と主張の一致を照合しました。
- 推論型モデルが思考にどの言語を使いやすいかと、思考の言語を利用者の言語へ固定したときに精度がどう変わるかを、オープンソースの推論モデル6本と数学と科学の短答で測った研究です。When Models Reason in Your Language: Controlling Thinking Language Comes at the Cost of Accuracy (Jirui Qi、Shan Chen、Zidi Xiong、Raquel Fernández、Danielle S. Bitterman、Arianna Bisazza。Findings of the Association for Computational Linguistics: EMNLP 2025) https://aclanthology.org/2025.findings-emnlp.1103/
- この論文によると、多言語の連鎖思考を性能、一貫性、忠実さの3つの面で評価したところ、英語で書かれた思考のほうがモデルに活用されやすいと報告されています。翻訳のノイズの報告は含まれていません。A Comprehensive Evaluation of Multilingual Chain-of-Thought Reasoning: Performance, Consistency, and Faithfulness Across Languages (Raoyuan Zhao、Yihong Liu、Hinrich Schütze、Michael A. Hedderich。Findings of the Association for Computational Linguistics: EACL 2026。arXiv:2510.09555) https://aclanthology.org/2026.findings-eacl.276/
- 推論時間を延ばすと成績が落ちる課題の型を構成して示した、Anthropicのアラインメント研究のチームと外部の研究者による共同研究です。Inverse Scaling in Test-Time Compute (Aryo Pradipta Gema、Alexander Hägeleほか。Transactions on Machine Learning Research、2025年。arXiv:2507.14417) https://arxiv.org/abs/2507.14417
- 私たちがこの出典に帰属させようとした主張と逆の報告だと、本文の検証で分かった出典です。主張の根拠には使っていません。COIG-Writer: A High-Quality Dataset for Chinese Creative Writing with Thought Processes (Yunwen Liほか。arXiv:2510.14763、査読前) https://arxiv.org/abs/2510.14763
- 対象が文芸の執筆ではなく決まった形式の講評の生成だと分かった出典です。主張の根拠には使っていません。When Reasoning Supervision Hurts: TTCW-Based Long-Form Literary Review Generation (Jinlong Liu、Mohammed Bahja、Mark Lee。arXiv:2605.20364、査読前) https://arxiv.org/abs/2605.20364
参考にした資料
- effortパラメータの値(low、medium、high、xhigh、max)と既定値を確認しました。Effort (Claude Platform Docs。2026年9月2日に本文を取得) https://platform.claude.com/docs/en/build-with-claude/effort