人間とAIとウェブの未来ENJA
メニュー

取り組み2026-08-06公開2026-08-12無料

AIが集めた研究テーマ候補を除外する基準の決め方

English

この記事の目次

課題と成果の概要

日々の開発と運用で見つかる課題を、その場の対処で終わらせず、研究テーマの候補として集めています。AIエージェントが素材を自動で読み取って候補を下書きし(この役割を以下、抽出エージェントと呼びます)、人が採否を決めます。この工程で、候補を除外してよい理由を2つへ絞りました。

この記事では、その経緯と、基準を書き換えた当日に自動抽出を実行した結果を説明します。除外の判定基準は、抽出エージェントが素材を見るだけで当てはまるかどうかを判断できるものに限る、というのが要点です。後から候補として使える記録の書き方と、採否と確定を人が担う役割分担にも触れます。自分の開発の記録から研究や発信のテーマを拾いたい人に向けた内容です。

除外の判定基準の決め方

私は、日々の開発と運用で見つけた課題を、研究テーマの候補として記録しています。候補は、個人で運営している、研究の予稿と運営の記録を置くリポジトリの手順に従って、AIエージェントが開発の記録から抽出します。どの候補を記録の前に除外してよいかも、この手順で決めています。2026-07-15に、この除外の基準を書き換えました。書き換える前は、1つの問いだけで除外を判定していました。その問いとは、開発している組織の事情から切り離しても、研究テーマとして成立して価値がありそうか、というものです。この問いを満たさない候補を、抽出エージェントが除外していました。書き換えた後は、除外してよい理由を2つに絞りました。1つ目は、一般化が成り立たない候補です。開発の内部の事情を知らない読者に文脈が通じないものが、これに当たります。2つ目は、機密の情報を分離できない候補です。たとえば未公開のプロダクト名のように、書き方を変えても伏せるべき部分を取り除けないものが、これに当たります。この2つを通った候補は全部を記録に残し、価値の評価は除外の理由に使わず、候補に添える所見として書きます。

採否を決める人が、候補に価値があるかどうかを判定します。抽出エージェントは、この判定を先に行いません。もしAIエージェントが、価値が無さそうだという理由で候補を先に除外すると、その候補に本当に価値が無かったのかを、後からだれも検証できなくなります。さらに、AIエージェントが採否を決める人の意向に合いそうな候補だけを残すようになり、収集の範囲そのものが人の関心の周りへ狭まっていきます。

ここまでは研究テーマの候補の話でしたが、同じ時期に私は、この記事を載せているブログでも、記事の提案の候補に、逆の方向の改定を1つ行いました。記事にしてから内容が薄いと分かって捨てる例が増えていたので、記事の提案の候補のうち優先度の高いものに、AIと人のやりとり、つまり何を試して何が起きて何をどう直したかを、素材から具体的に書き写せることを条件として追加したのです。つまり、研究テーマの候補では抽出エージェントに確かめようがない条件を外し、記事の提案の候補では抽出エージェントがその場で確かめられる条件を追加しました。2つの改定はどちらも、除外の判定基準は抽出エージェントが素材を見るだけで当てはまるかどうかを判断できるものに限る、という同じ原則に基づいています。

この原則と合わせて、収集から集約までの工程で守っているのは次の5つです。

  1. 除外してよい候補は2種類だけとする。一般化が成り立たないものと、機密の情報を分離できないものである。価値の評価は候補に添える所見として書き、除外の理由に使わない。
  2. 除外した候補も、除外の理由を添えて記録に残す。記録が無いと、収集の範囲が狭かったのか素材が無かったのかを後から切り分けられなくなる。
  3. 記録する工程では、対処の内容だけでなく、何をしたら何が起きたかという再現の条件と、その事象を確かめられる場所を、同じ場所に書く。
  4. 失敗が1件だけの素材は、内容が薄いので単独で候補にせず、似た失敗が集まってから1件の候補にまとめる。
  5. 集約の工程では、人が採否を決めて確定する。抽出エージェントは候補の全部に判定の案を添えて渡し、採否を決める人の意向を先読みして候補を勝手に減らさない。

基準を書き換えた当日の自動抽出の結果

基準を書き換えた当日に、AIエージェントが新しい基準で自動抽出を一度実行しました。その記録の数は次のとおりです。

区分 件数
受け取った候補 60
新規に立てた候補 24
既存の候補へ吸収 15
重複として除外 21
2つの基準に該当して除外 0

2つの基準に該当した候補は1件も無く、実際には、21件を重複としてまとめ、15件を既存の候補へ吸収して絞りました。

ただし、この0件を、基準を書き換えたことだけの効果と結論づけることはできません。同じ変更で、抽出の観点も増やしたからです。それまでの観点は、設計の考え方やプライバシーのような分野の名前の7つだけでした。ここへ、見積もりと実測のずれを数字で比較する、合格という表示そのものを疑う、といった素材の比べ方の観点を7つ追加しました。新規の候補24件のうち11件は、この追加した観点から出たものが主だと、抽出の記録に残っています。基準を書き換えるのと観点を追加するのとを一度の変更にまとめたぶん、0件がどちらの効果なのかは切り分けられません。基準が緩すぎて何も除外していない、という読み方もできます。もっとも固有性が高く見えた候補も、ほかの環境でも同じように起きるという理由でAIエージェントは除外せずに残していて、その判断は記録に残っています。ただ、この読み方を打ち消すには、実測の回数がまだ足りません。

候補として後から使える記録の粒度

収集の範囲を広く保っても、記録が対処の内容しか残していなければ、後から候補としては使えません。個人会社で開発しているアプリの規約には、外部サービスへ副作用のある操作を送ったときの事故が、日付つきで残っています。その記録によると、ユーザー登録をテストするつもりで送った宛先が実は実在のアドレスで、確認のメールが見知らぬ第三者へ届いてしまいました。同じ節には、その送信が外部サービス側の認証のログに残っていることも書かれています。再発を防ぐ確認の一覧もあり、実在のドメインが含まれていたら操作を停止する、という項目が入っています。何をしたら何が起きたかという再現の条件と、どこで確認できるかが、対処と同じ場所にそろっていて、後からでも候補として使えます。先に挙げた5つの条件の3番目は、この形の記録を指しています。

集約の工程の5つの条件と採否の分担

集めた候補を、実際に着手する研究テーマとして採用する判定には、次の5つの条件を置いています。

1つでも欠ければ採用せず、優先度を下げるか保留へ移します。抽出エージェントは候補の全部に判定の案を添えて渡すところまでを担い、まだ判断していない候補には未判定と書いて欄を空のまま残しません。判断したのかスキップしたのかが、後から分からなくなるためです。

採否を決める人が何件を取り下げるかも、実測しました。このプラットフォームでは2026-07-27に、私が記事の提案60件すべてを確認して要否を決め、45件を残して15件を取り下げました。取り下げの理由は3つの型に集まりました。いちばん多いのは、AIが呼び出し先や対象として登場するだけで、AIと人のやりとりが中心に無い候補で、取り下げた15件の6割を占めました。残りは、その分野を知っていれば誰でも書ける解説にとどまる候補と、失敗が1件だけの内容の薄い素材から立てた候補です。私はこの60件を記事の提案の側で実測しましたが、価値の判定を抽出エージェントが先に行わなければ、研究テーマの側でも同じ判定を採否を決める人が下すことになります。収集の範囲を広げたまま保ったとき、人の側がどれだけ取り下げるかは、この4分の1が一つの目安になると考えています。

収集の工程と、採否を決める工程を分ける設計そのものは新しいものではなく、体系的な文献レビューの手引きに既に書かれています。個別の対処で終わらせず、障害の事後の記録を横断して共通の主題を見つける型も、運用の分野の定番の解説にあるとおり確立しています。この障害の記録の型に対して、自分の運用では2つの点を変えました。対象を障害だけでなく日々の課題と指摘まで広げ、集約した先を研究テーマの候補にしました。

AIエージェントに任せる範囲と人に残す範囲

この運用では、研究テーマの候補について、素材を読み取って候補を下書きし、案を添えるところまでをAIエージェントが自動で行い、人が採用するかどうかを確定します。外部の実測からも、この分担が理にかなっていると分かります。100人を超える研究者を動員した人間による評価の研究では、LLMの着想は、専門家の着想より新規性が高い一方で実現の可能性はやや低いと判定されました。20万件を超える着想を生成した調査によると、AIの着想には、出発点にした文献の近くに集まる傾向があります。後者は、収集の工程をAIに任せるほど候補が狭い範囲へ集まる傾向を示す結果です。どちらの結果も、採否の判定を人の側に残す判断を支えるものだと考えています。

AIエージェントの動きの記録にも共通の規約(OpenTelemetryのGenAI向けのsemantic conventions)があり、記録する項目の名前と意味を定める整備が進んでいます。ただし文書の状態表示は開発中(Development)で、記録の名前はまだ変わりえます。今日の時点でAIが代行できるのは、いつ何を呼んで何が返ったかという一次の記録までで、それを課題として立てる判断はまだ人の側にあります。

この工程が研究の成果まで届いたかは、まだ語れません。手元の記録は、いちばん長い素材でも2か月足らず、基準を書き換えてからは3週間分しかありません。集めた候補が採択まで進んだかは、これから測ります。それでも、収集の範囲を広げるか絞るかで迷ったときは、いまの除外の基準に当てはまるかどうかを、素材だけで判断できるか、から確かめてみてください。

参考にした研究

本文で参照した外部の一次情報は次の五つです。いずれも2026-08-06に出典のページを確認しました。arXivの2本は抄録のページでの確認です。