同じAIモデルで3つのAIエージェントを比べて出た、所要時間とやり直しの回数だけの差

本記事の概要

集計スクリプトを走らせると、失敗が0件、テストの書き換えが0件、人の介入も0件と並びました。私はAIコーディングエージェントを3つ、同じモデルを載せたまま144回走らせて比べました。つまり、成果の質を見る指標では、3つに差が出ませんでした。

差が出たのは所要時間とやり直しの回数だけでした。たとえば、一度書いただけの実装では通らない規模の課題では、エージェントごとに12回ずつ走らせた所要時間の平均が、100.8秒から151.2秒まで3つに分かれました。エージェントへ渡す設定のファイル一式を、配る条件と配らない条件でも比べました。配ったかどうかの違いは、測れた指標、つまり成功率、やり直しの回数、所要時間のどれにも現れませんでした。記録の欄は定めてあったのに、それを書く実装が無かったので、トークンの消費量は測れていません。また、3つのエージェントは別々の時間帯に流したので、所要時間の差をエージェントだけの差と言い切ることはできません。

本文では、まず144回の結論を示し、比較の条件と測り方を説明します。次に、成果の質と設定の一式で差が出なかったことを書き、差が出た所要時間とやり直しの回数を、エージェントと課題の集合ごとの表で示します。そのあと、測れなかったトークンの消費量と、成功率で測ろうとして捨てた最初の設計を説明します。最後に、集計を信じるために単体テストを作り直した手順と、この比較で言えない範囲を示します。参照した研究の書誌は末尾にまとめます。

記事から得られること

AIコーディングエージェントを選ぶ立場の方に向けて、次の3つを説明します。

• 同じ比較を自分の課題で組めるようになります。モデルの固定のしかた、性質の違う課題の集合の分け方、合否とやり直しの回数の数え方、実行を直列に流した理由まで説明します
• 成功率が上限に届いてしまう難度で、代わりに何を測ればよいかを判断できるようになります。測る対象を成果の質から所要時間とやり直しの回数へ移した経緯を説明します
• どの指標も0のデータでも集計の誤動作に気づける、単体テストの作り方が分かります。失敗の行を混ぜた合成の入力で、正しい件数を固定した手順を説明します

どれも、自分で組んだ144回の比較と、その途中で測り方を変えた経緯から書いています。

この記事は、私が個人の研究として進めている取り組みの一次データに基づく比較と考察です。本文では、比べた3つのAIコーディングエージェントの名前を出します。内容は各提供元の見解を代表するものではありません。