仕組みの解説 06
会話の流れを読む検索
― 追質問でも、話題を取り違えない
チャットでは、1回で聞き終わることはあまりありません。「駐車場はありますか?」と聞いた人は、続けて「料金は?」と聞きます。人なら駐車場の料金のことだと分かりますが、AIチャットボットには、ここで間違えるものがあります。
質問の文だけで探すと、話題がずれる
AIチャットボットは、質問ごとに根拠を探します(RAG)。このとき検索に渡すのが「料金は?」という文だけだと、駐車場とは関係のない料金の情報を見つけてしまいます。
回答を書くAIには、それまでの会話が見えています。それでも、渡された根拠が別の話題なら、正しくは答えられません。
実際に起きたこと:自社の検証環境で「駐車場はありますか?」→「料金はかかりますか?」と続けて聞いたところ、駐車場ではなく別のサービスの料金(5,000円)を答えました。「お答えできません」よりも悪い、間違った案内です。
会話を踏まえて補ってから、探す
サンノートAIは、続けての質問を、それまでの会話を踏まえて補ってから探します。「料金は?」なら「駐車場の料金は?」として探すので、話題がずれません。
- 補うのは、会話に出てきた話題だけ:話していない条件(日付や人数など)を勝手に付け足すことはありません。
- 元の質問でも探す:補った文で見つけた根拠を優先しつつ、元の質問で見つけた根拠も残します。補い方が外れても、今までより悪くならないようにするためです。
- 1問目では使わない:補う処理は、続けての質問のときだけ行います。最初の質問の返事が遅くなることはありません。
- 補った意味は、答えを組み立てるAIにも伝える:駐車場の情報が見つかっていても、AIが「料金は?」という文だけを見て、一緒に見つかった別のサービスの料金で答えることがあります。そこで、補った文を「この質問の意味の候補」としてAIにも添えています。
- 話題が変わったら、前の話題を混ぜない:「駐車場はありますか?」のあとに「営業時間を教えてください」と聞かれたら、駐車場の話はもう終わっています。「駐車場の営業時間」とは補いません。元の質問だけで意味が通じるときは、元の質問のとおりに答えます。
実際に起きたこと:AIモデルを新しくしたとき、評価用の質問セットで「駐車場はありますか?」→「営業時間を教えてください」を確かめたところ、補い方が前の話題を混ぜて「駐車場の営業時間を教えてください」にしてしまい、答えを控えることがありました。補う例と補わない例をAIに示すよう直し、そのあとで切り替えています。
1問だけのデモでは見えない差
この違いは、1問ずつ試すデモでは見えません。製品を比べるときは、デモで「駐車場はありますか?」→「料金は?」のように、続けて質問してみてください。別の料金を答える製品は、質問の文だけで探しています。
サンノートAIでは、続けての質問も評価用の質問セットに入れて、設定やAIモデルを変えるたびに確かめています。
全体の流れは「仕組みの解説 一覧」の図でご覧いただけます。