仕組みの解説 05

信頼度スコアリング
― 弱い根拠は、未回答として残す

株式会社サンノート / 2026年10月24日

検索で見つかった文章が、本当に質問の答えになっているとは限りません。サンノートAIは、根拠の確かさを数値(スコア)にして、答えるかどうかの判断と、その後の改善に使っています。

根拠の確かさを、数値で測る

検索では、質問と登録した文章がどれくらい近いかが数値で出ます(ハイブリッド検索)。サンノートAIは、この数値を根拠の確かさとして扱い、回答ごとに記録しています。

根拠の確かさ(スコア) 弱い 強い 答えない未回答として記録 回答するスコアも一緒に記録 未回答を、次の回答に変える 未回答の質問「役に立たなかった」の回答も 管理画面の改善リストに集まる AIが回答案を作るナレッジに根拠がある質問だけ 確認して、FAQに登録 次から答えられる くり返す
弱い根拠では答えずに記録し、記録を次の回答に変えていく

スコアは、高性能なモデルで組み立て直すかどうかの判断にも使っています(LLMと二段構え)。

未回答を、改善リストに集める

答えなかった質問は、捨てずに管理画面の改善リストに集めます。あわせて、訪問者が「役に立たなかった」と評価した回答も集まります。お客様が本当に知りたかったのに、サイトに書いていなかったことの一覧です。

ここに回答を書いてFAQとして登録すれば、その質問には次から答えられるようになります。チャットボットを置くほど、サイトに足りない情報が見えてくる仕組みです。

回答案は、根拠がある質問にだけ作る

改善リストの質問には、AIが回答案を自動で作ります。ただし、ナレッジに根拠が無い質問には、回答案を作りません。推測で埋めた回答案をそのまま登録すると、誤った回答がFAQとして固定されてしまうためです。根拠が無い質問は、担当者が正しい答えを書いて登録します。

答えられるはずの質問を、取りこぼしていないか

答えない判断は、厳しすぎれば答えられるはずの質問まで取りこぼし、甘すぎれば作り話の入り口になります。サンノートAIでは、答えるべき質問と答えてはいけない質問(サイトに無い話題)を混ぜた評価用の質問セットで、この判断が正しく働いているかを継続的に確かめています。

次の解説:会話の流れを読む検索 ― 「駐車場はありますか?」のあとの「料金は?」を、駐車場の料金と分かって探す。

あなたのサイトで試してみませんか

サイトのURLを登録するだけ。どのようなご案内ができるかをご説明します。

導入について相談する

← 仕組みの解説 一覧へ