仕組みの解説 03
LLM(大規模言語モデル)と
二段構えの使い方
LLMの役割:根拠を、自然な回答にまとめる
昔ながらのチャットボットは、あらかじめ用意した定型文を返すだけでした。質問の言い方が少し違うだけで答えられず、答えられても硬い文章になりがちです。
LLM は、その場の質問に合わせて文章を組み立てます。たとえば根拠に「営業時間は10時〜19時、定休日は水曜日」とあれば、「日曜日は何時までですか?」と聞かれたときに「日曜日は19時まで営業しております」と答えられます。根拠の中から質問に必要な部分を選び、自然な日本語で伝えるのが LLM の仕事です。
ただし、サンノートAIの LLM は知識を出す役ではありません。答えの中身は、あくまでRAGで探した根拠です。根拠に書かれていないことは答えないように指示しています。
二段構え:速いモデルと、高性能なモデル
LLM には、応答が速く費用の小さいモデルと、時間はかかるが読み取りの力が高いモデルがあります。チャットでは返事の速さが大切なので、すべてを高性能なモデルで答えると、お客様を待たせてしまいます。
そこでサンノートAIは、2つのモデルを使い分けています。
- 普段は、応答の速いモデル:ほとんどの質問は、ここで答えが組み立てられます。
- 組み立てられなかったときだけ、高性能なモデル:根拠は十分にあるのに、速いモデルが答えをまとめきれなかった場合に限って、高性能なモデルで組み立て直します。
- 根拠が弱ければ、組み立て直さない:根拠の確かさが低いときは、情報そのものが無い可能性が高く、高性能なモデルでも正しい答えは出ません。呼ばずに未回答として記録します(信頼度スコアリング)。
この使い分けで、普段の返事の速さと、読み取りが難しい質問への精度を両立しています。高性能なモデルを呼ぶのは必要なときだけなので、費用も抑えられます。
モデルが変わっても、答え方は変わらないか
AIモデルは次々に新しいものが出ます。サンノートAIでは、モデルや設定を変えるたびに、評価用の質問セットで答え方を確かめています。特に、一般的な常識と逆のルール(「見積もりは有料」「定休日は水曜日で、日曜日は営業」など)を登録して、常識の側ではなく、登録したルールどおりに答えるかを確認しています。AIは常識を強く覚えているので、根拠を渡しても常識で答えてしまうことがあるからです。
・タイ語の質問に、決まりどおりの英語(5言語モードで対応していない言語は英語で答える)ではなく、タイ語で答える
・話題が変わった続けての質問(「駐車場はありますか?」→「営業時間を教えてください」)に、答えを控える
どちらもモデルの賢さではなく、AIへの指示の書き方の問題でした。古いモデルは指示の曖昧なところを都合よく読んでくれていただけで、新しいモデルはそこを別の意味に読みました。指示を直し、同じ評価をすべて通してから切り替えています。
新しいモデルが出るたびに「より賢くなった」と言われますが、会社の窓口として大事なのは、賢さよりも決めたとおりに答え続けることです。モデルを替えるときに測っていない製品は、ある日から答え方が変わっていても気づけません。
次の解説:ハルシネーション対策 ― 根拠が見つからない質問では、AIを一度も呼ばない。作り話をせず、問い合わせ窓口へ案内する。