埋め込みの入力上限はチャンクの単位の根拠にならなかった

本記事の概要

個人会社で開発しているサービスの検索で、埋め込みの入力上限は、チャンクの単位を選ぶ根拠にならなかった。検索の対象は、階層に分かれた長い専門文書である。検索の結果として返す階層の1件を上位の単位と呼び、上位の単位を分けた本文のひとまとまりを最小の構成要素と呼ぶ。AIエージェントは最初、入力上限の余裕と、別のコーパスに設けたチャンクの上限で、単位を説明した。私が指摘した後に、AIエージェントは本文の長さの分布と公開研究を調べ直し、最小の構成要素を埋め込む案を選んだ。

最小の構成要素の本文は、長さの90パーセンタイルが360字で、約243トークンにあたり、入力上限の8,192トークンの3%程度だった。上位の単位の64.5%は最小の構成要素を1つしか持たないので、これらの上位の単位では、上位の単位を埋め込んでも最小の構成要素ごとに埋め込んでも、埋め込みモデルに渡す文が同じになる。

2つの案を自分たちの正解集合で採点して比べなかったので、決め直した単位が優れているかは確認していない。この結論は構造が明確な文書にだけ及び、構造の無いテキストと、検索文と文書が同じ程度の長さのデータは扱っていない。

記事から得られること

チャンクの単位を決める開発者は、この記事から次の4つを得られる。

• 上位の単位ごとに最小の構成要素を数え、2つの案で渡す文が違う範囲と入力の量を見積もれる。
• 分割の方式と前置きについて、公開研究の報告値がどの尺度で測った値かを確かめられる。
• HNSWインデックスのメモリを数え直し、インスタンスタイプを上げる前に設定の変更を検討できる。
• 人が正解を付けずに正解集合を作る手順と、単位を決める4つの手順を使える。

この記事の根拠は、個人会社で開発しているサービスの設計の文書とコードと、AIエージェントの作業の記録と、公開研究である。自分たちのデータで2つの案を比べた測定は含まない。