自律ループが収束しないとき、直すべきは出力ではなく最初に渡した型だった

English

この記事の目次

あらまし

AI のエージェントに同じ仕事を何度も繰り返しやらせて、返ってくるものがいつまでも良くならないとき、直すべきだったのは一つ一つの出力ではなく、最初にエージェントへ渡した型のほうでした。ここでいう型とは、エージェントへ出す依頼の言葉と、そのとき参照させる資料と、どこまで来たら止めるかの条件のことです。出力を一つずつ直しても、同じ間違いが巡をまたいで戻ってくるなら、根はそちらの側にあります。

このループの実際の数字はこうでした。サイトのデザインの品質を上げるループで、判定役の指摘の件数を止める条件にして回したところ、件数は 4、2、3、2、2、1、0、2、2、0 と動きました。一度 0 まで落ちたあと、次の巡でまた 2 に戻っています。判定役が直すところを一つも見つけなかった巡のあとで、また二つ見つかったわけです。この戻りが、出力ではなく型のほうを疑うべき合図でした。

この記事は、出力を直す反射をやめて型を疑うまでの、判断の切り替え方を書いたものです。無料で読めるここまでで、結論は述べました。購読で読める本文では、型が壊れる三つの典型と、いつ判断を切り替えるかの合図、そしていつ止めるかの決め方を、実際に起きた失敗の順にたどります。ここに書くのは、実際に回した自律ループの運用記録に基づく、僕自身の考えです。

対象読者と持ち帰れるもの

AI のエージェントに同じ仕事を繰り返しやらせる仕組みを回している人に向けた記事です。直しても直らないループに当たったとき、出力の修正を続けるのをやめて、最初に渡した型のほうを疑うべきなのはどんなときか、その型はどこから壊れやすいのか、そして回数を先に決めるのではなく指摘が出尽くしたかどうかで止めるにはどうするのかを持ち帰れます。