新しいAIモデルの世代は、旧世代向けの評価のまま測ると負けて見える

あらまし

生成AIのモデルを新しい世代へ切り替えるとき、手元にある評価の仕組みは、たいてい旧世代向けに調整されています。その評価のまま新世代を測ると、実際より低く出ることがあります。個人会社で開発しているサービスでこの切り替えを実測したところ、引用に添える理由のタグの充足率が素の新世代で26%と旧世代より劣って見え、条件を公平にして測り直すと42%へ回復し、絶対数では新世代が上回りました。旧世代ではできないことを機械判定する専用テストでは、旧世代11/16に対して新世代16/16でした。そして評価を通して本番へ入れた後に、オフラインでは出なかった応答のタイムアウトが出て、思考の深さを一段下げる巻き戻しまで経験しました。

本文では、まず費用の増加を回答生成だけに閉じた切り替えの設計から書きます。次に、旧世代向けの指標が新世代を低く測る仕組みと、分母が動くと率の見かけが変わることを説明し、集計値ではなく出力そのものを読む判定へ切り替えた経緯へ進みます。そのうえで、能力差を機械判定する8課題の専用テストの作りと結果、そして本番でしか出ないタイムアウトと思考の引き下げのトレードオフの実測までを順に書きます。

対象読者と持ち帰れるもの

生成AIをプロダクトに組み込んでいて、モデルの世代交代のたびに切り替えの判断を迫られる人に向けた記事です。旧世代向けの評価条件が新世代を低く測ってしまう具体的な仕組みと、指標の前提を確かめて条件を公平にする手順を持ち帰れます。次の世代を採用してよいかを判定する検査として再利用できる、能力差テストの作り方と、オフラインの評価に含まれない本番の軸(応答時間と基盤の制約)をどう扱うかも書きます。この記事は、個人会社で開発しているサービスの切り替えの一次記録に基づく実践の記録です。