導入後の運用
ホームページとFAQで料金が違うとき、AIチャットはどちらで答えるのか
古い情報は、思ったより残っている
AIチャットボットは、登録した情報を根拠に答えます(RAG)。登録した情報どうしが食い違っていると、どれを根拠にするかで答えが変わります。食い違いが生まれやすいのは、たとえばこんなところです。
- 料金表のページは直したが、サービス紹介のページに「〜円から」が古いまま残っている
- お知らせの古い記事(「◯月から料金を改定します」の改定前の金額)
- 以前に登録した料金表のPDF
- 終わったキャンペーンの価格や、変わる前の営業時間
サイトのどこに何が書いてあるかを全部覚えている人はいません。改定のたびに全ページを見直すのも現実的ではありません。
食い違ったときは、決めた順番で選ぶ
サンノートAIは、AIに根拠を渡すとき、それぞれがどこから来た情報か(よくある質問・登録した文章・資料ファイル・ホームページ)と、いつその内容になったかを一緒に渡しています。そのうえで、内容が食い違ったときは次の順番で選ぶように決めています。
- 情報の種類で選ぶ:よくある質問・管理画面で登録した文章・商品とサービス > 資料ファイル > ホームページ
- 同じ種類なら、新しいほうを選ぶ:内容が変わった日(サンノートAIが取り込んだ内容の変化を確認した日)が新しいほう
- それでも決められなければ、答えない:どちらかに決めつけず、「お答えできる情報がありません」とお伝えして、問い合わせ窓口を案内します
| 根拠に並んだ情報 | 答える内容 |
|---|---|
| よくある質問「1日1,000円」/ホームページ「1日800円」 | 1,000円(よくある質問を優先) |
| 登録した文章「送料550円」(1年前)/登録した文章「送料770円」(先月) | 770円(新しいほう) |
| 登録した文章「定休日は月曜日」/登録した文章「定休日は火曜日」(同じ日) | 答えずに窓口を案内 |
どの種類から来たか、いつの情報かは、お客様への回答には書きません。お客様に見えるのは、選ばれた側の答えだけです。
なぜ、よくある質問がホームページより先なのか
よくある質問や管理画面で登録した文章は、AIチャットのために人が直接書いたものです。料金を改定したとき、ホームページの制作会社に頼むより先に、管理画面で直すことのほうが多いはずです。一方、ホームページは自動で取り込んでいるので、古いページがそのまま残りやすい場所です。
また、ホームページは「いつの情報か」が当てになりません。ページのどこか一部(お知らせ欄など)が変わるだけで、そのページ全体が新しくなったように見えるからです。新しく見えるページの料金の記述が、新しいとは限りません。そこで、日付より先に種類で選ぶようにしています。
なぜ、決められないときは答えないのか
同じ種類・同じ時期の情報が逆のことを言っているなら、どちらが正しいかはお店の人にしか分かりません。そこでAIに選ばせても、当たるかどうかは運任せです。答えずに窓口を案内すれば、お客様は正しい情報にたどり着けますし、その質問は「答えられなかった質問」として記録されるので、食い違いがあることにも気づけます(ハルシネーション対策)。
サンノートAIでは、新しい料金と古い料金を並べて登録し、決めた順番どおりに答えるかを、設定やAIモデルを変えるたびに確かめています。
古い情報がどこに残っているかを探して直す
順番で選ぶのは、あくまで食い違ったときの安全策です。いちばん確実なのは、古い情報そのものを無くすことです。管理画面の「AIに教える」には、登録した内容を書いてある言葉で探す検索欄があります。
- ホームページの各ページの中まで探せる:取り込んだページが数百あっても、古い金額が書いてあるページを一覧にできます。
- 全角・半角を区別しない:「800円」で探せば「800円」も見つかります。
- 言葉を空白で区切ると、すべてを含むものに絞れる:「駐車場 800円」なら、駐車場の古い料金が書いてある箇所だけが出ます。
- 回答に使っていない情報も出る:「使用しない」にした情報は、使われていないと分かるように表示します。
手順はこうです。
- 「AIに教える」の検索欄に、古いほうの金額や言葉を入れて探す(「800円」「旧料金」など)
- よくある質問・文章・資料が見つかったら、その場の「編集」から直す
- ホームページのページが見つかったら、ホームページを直してから「取り込み直す」を押す。すぐに直せない場合は、そのページを一時的に「使用しない」にしておく
料金を改定するときのチェックリスト
- よくある質問と、登録した文章を直すここが最優先で使われます。改定日が決まっているなら、「◯月◯日から1,000円(それまでは800円)」のように書くと、改定前後どちらの質問にも正しく答えられます。
- 古い金額で検索する「AIに教える」の検索欄で、古い金額が残っている場所を洗い出します。
- ホームページを直して、取り込み直す自動の読み直しを待たずに反映できます。
- チャットで聞いてみる管理画面のテスト用チャットで「料金はいくらですか?」と聞いて、新しい料金で答えるかを確かめます。
まとめ
サイトのどこかに古い情報が残ることは、防ぎきれません。サンノートAIは、食い違ったときには「よくある質問・登録した文章 → 資料 → ホームページ」の順で選び、同じ種類なら新しいほうを使い、それでも決められなければ答えずに窓口を案内します。そして、古い情報がどこに残っているかは、管理画面の検索で探して直せます。
「放っておいても古い情報で答えないか」は、AIチャットボットを選ぶときに確かめておきたい点の1つです。比べるときは、新しい料金と古い料金の両方を登録して、どちらで答えるかを試してみてください。