仕組みの解説 05
信頼度スコアリング
― 弱い根拠は、未回答として残す
検索で見つかった文章が、本当に質問の答えになっているとは限りません。サンノートAIは、根拠の確かさを数値(スコア)にして、答えるかどうかの判断と、その後の改善に使っています。
根拠の確かさを、数値で測る
検索では、質問と登録した文章がどれくらい近いかが数値で出ます(ハイブリッド検索)。サンノートAIは、この数値を根拠の確かさとして扱い、回答ごとに記録しています。
- スコアが弱い:質問に合う情報が登録されていない可能性が高いので、答えずに未回答として残します。このときAIは呼びません(ハルシネーション対策)。
- スコアが十分:AIが根拠をもとに回答します。どの文章を根拠にしたかも、スコアと一緒に記録します。
スコアは、高性能なモデルで組み立て直すかどうかの判断にも使っています(LLMと二段構え)。
未回答を、改善リストに集める
答えなかった質問は、捨てずに管理画面の改善リストに集めます。あわせて、訪問者が「役に立たなかった」と評価した回答も集まります。お客様が本当に知りたかったのに、サイトに書いていなかったことの一覧です。
ここに回答を書いてFAQとして登録すれば、その質問には次から答えられるようになります。チャットボットを置くほど、サイトに足りない情報が見えてくる仕組みです。
回答案は、根拠がある質問にだけ作る
改善リストの質問には、AIが回答案を自動で作ります。ただし、ナレッジに根拠が無い質問には、回答案を作りません。推測で埋めた回答案をそのまま登録すると、誤った回答がFAQとして固定されてしまうためです。根拠が無い質問は、担当者が正しい答えを書いて登録します。
答えられるはずの質問を、取りこぼしていないか
答えない判断は、厳しすぎれば答えられるはずの質問まで取りこぼし、甘すぎれば作り話の入り口になります。サンノートAIでは、答えるべき質問と答えてはいけない質問(サイトに無い話題)を混ぜた評価用の質問セットで、この判断が正しく働いているかを継続的に確かめています。
次の解説:会話の流れを読む検索 ― 「駐車場はありますか?」のあとの「料金は?」を、駐車場の料金と分かって探す。