仕組みの解説 02
ベクトル検索とハイブリッド検索
― 言い回しの違いを吸収する
ベクトル検索:意味の近さで探す
ベクトル検索は、文章の意味を数値の並び(ベクトル)に変換して照合する検索方式です。意味が近い文章ほど、数値の並びも近くなります。登録した情報はあらかじめ数値に変換しておき、質問が来たら質問も数値に変換して、近いものを探します。
「営業時間は?」と「何時まで開いてますか」は、使っている言葉はまったく違いますが、意味は同じです。ベクトル検索なら、どちらで聞かれても「営業時間は10時〜19時です」という文章を見つけ出せます。言葉が一致する箇所だけを探す昔ながらの検索では、これができません。
ベクトル検索の弱点:短い質問
ベクトル検索にも弱点があります。「料金はいくら?」のような短い質問は、意味の情報が少なく、料金表のページと結びつきにくいのです。
ハイブリッド検索:言葉の一致も合わせて探す
そこでサンノートAIは、意味の近さに加えて、質問の言葉が本文にあるかも見て探します。2つの手がかりを合わせて並べ直すので、ハイブリッド検索と呼ばれます。
- 言葉が一致した文章に加点:「料金」を含む文章は、意味の近さだけで見たときより上位に来ます。
- よくある言葉は軽く扱う:「設定」「サイト」のように多くの文章に出てくる言葉は、手がかりとして弱いので加点を小さくします。
- 言葉で見つけた文章も候補に入れる:意味の近さだけでは候補に入らなかった文章も、質問の言葉を含んでいれば候補に加えます。
加点は、質問の言葉が本文にあるときだけです。サイトに無い話題の質問は言葉も一致しないので、「答えない」という判断は今までどおり働きます(ハルシネーション対策)。
自社で測った効果
自社サイトの内容について作った54問の質問セットで、正しい根拠が検索の上位に入った率を測りました。AIモデルは同じまま、検索の作り方だけを変えています。
| 段階 | 上位1件 | 上位4件 |
|---|---|---|
| ベクトル検索のみ | 64% | 89% |
| +ハイブリッド検索 | 82% | 98% |
| +見出し単位の切り方 | 89% | 98% |
※ 自社サイト(1ページ・54問)での測定。ナレッジの内容や規模によって数値は変わります。測り方は「AIチャットボットの精度は、AIモデルではなく「材料の作り方」で決まる」で解説しています。
外国語の質問は、いったん日本語に訳してから探します。言語をまたいで探すと精度が一律に下がるためです。詳しくは「外国語の問い合わせが多いサイトにAIチャットを置くとき、確認すべき3つのこと」をご覧ください。
次の解説:LLM(大規模言語モデル)と二段構え ― 普段は応答の速いモデル。組み立てられないときだけ高性能なモデルで組み立て直し、速さと精度を両立する。