自分の修正を自分で採点させない、一晩で品質を収束させたループの設計

本記事の概要

AIエージェントに品質の磨き込みを任せるとき、一番効いた設計は、修正を担当する生成役と、修正の結果を判定する評価役を、別のエージェントに分けたことでした。同じエージェントに修正と判定を兼任させると、自分の修正への評価が甘くなり、品質が収束したという判定の信頼が失われます。収束とは、新しい指摘が続けて出なくなった状態のことです。そこで、評価役には生成役の説明の文章を一切見せず、ビルドした実物から機械で測った数値と画面の構造の事実だけで合否を判定する仕組みにしました。

このループを一晩で十巡回した実測はこうでした。評価役が検出した新規の指摘の件数は、4, 2, 3, 2, 2, 1, 0, 2, 2, 0と推移し、単調には減りませんでした。一度0件になった後で、また増えています。そして最後は、機械的な収束の条件を満たす前に、私がループを止めました。

この記事は、修正する役割と判定する役割をどう分けると自己判定が信用できるかを説明します。あわせて、機械的な収束の条件だけではループが止まらなかった経緯も紹介します。この記事は、実際に一晩回した品質ループの運用記録に基づく考察です。

記事から得られること

AIエージェントに反復して品質を上げさせる仕組みを設計する人に向けた記事です。修正する役割と判定する役割をなぜ分けるのか、評価役に何を見せて何を見せないのかが分かります。あわせて、機械的な収束の条件と人の判断をどう組み合わせるかも持ち帰れます。