仕組みの解説 03

LLM(大規模言語モデル)と
二段構えの使い方

株式会社サンノート / 2026年10月24日(2026年11月1日更新)

LLM(Large Language Model、大規模言語モデル)は、膨大な文章から言葉の関係を学習したAIです。サンノートAIでは、検索で見つけた根拠を、質問に合った自然な言葉の回答にまとめる役割を担っています。

LLMの役割:根拠を、自然な回答にまとめる

昔ながらのチャットボットは、あらかじめ用意した定型文を返すだけでした。質問の言い方が少し違うだけで答えられず、答えられても硬い文章になりがちです。

LLM は、その場の質問に合わせて文章を組み立てます。たとえば根拠に「営業時間は10時〜19時、定休日は水曜日」とあれば、「日曜日は何時までですか?」と聞かれたときに「日曜日は19時まで営業しております」と答えられます。根拠の中から質問に必要な部分を選び、自然な日本語で伝えるのが LLM の仕事です。

ただし、サンノートAIの LLM は知識を出す役ではありません。答えの中身は、あくまでRAGで探した根拠です。根拠に書かれていないことは答えないように指示しています。

二段構え:速いモデルと、高性能なモデル

LLM には、応答が速く費用の小さいモデルと、時間はかかるが読み取りの力が高いモデルがあります。チャットでは返事の速さが大切なので、すべてを高性能なモデルで答えると、お客様を待たせてしまいます。

そこでサンノートAIは、2つのモデルを使い分けています。

根拠が見つかった質問 応答の速いモデルで組み立てるほとんどの質問はここで完了 組み立てられた 組み立てられなかった 根拠は十分にある?根拠の確かさで判断 十分 高性能なモデルで組み立て直す 自然な言葉で回答を表示
普段は速いモデルで答え、組み立てられなかったときだけ高性能なモデルで組み立て直す

この使い分けで、普段の返事の速さと、読み取りが難しい質問への精度を両立しています。高性能なモデルを呼ぶのは必要なときだけなので、費用も抑えられます。

モデルが変わっても、答え方は変わらないか

AIモデルは次々に新しいものが出ます。サンノートAIでは、モデルや設定を変えるたびに、評価用の質問セットで答え方を確かめています。特に、一般的な常識と逆のルール(「見積もりは有料」「定休日は水曜日で、日曜日は営業」など)を登録して、常識の側ではなく、登録したルールどおりに答えるかを確認しています。AIは常識を強く覚えているので、根拠を渡しても常識で答えてしまうことがあるからです。

実際にあったこと:2026年11月に、回答を組み立てるAIモデルを新しい世代に切り替えました。切り替える前の評価で、それまでのモデルでは起きなかった問題が2つ見つかりました。
・タイ語の質問に、決まりどおりの英語(5言語モードで対応していない言語は英語で答える)ではなく、タイ語で答える
・話題が変わった続けての質問(「駐車場はありますか?」→「営業時間を教えてください」)に、答えを控える
どちらもモデルの賢さではなく、AIへの指示の書き方の問題でした。古いモデルは指示の曖昧なところを都合よく読んでくれていただけで、新しいモデルはそこを別の意味に読みました。指示を直し、同じ評価をすべて通してから切り替えています。

新しいモデルが出るたびに「より賢くなった」と言われますが、会社の窓口として大事なのは、賢さよりも決めたとおりに答え続けることです。モデルを替えるときに測っていない製品は、ある日から答え方が変わっていても気づけません。

次の解説:ハルシネーション対策 ― 根拠が見つからない質問では、AIを一度も呼ばない。作り話をせず、問い合わせ窓口へ案内する。

あなたのサイトで試してみませんか

サイトのURLを登録するだけ。どのようなご案内ができるかをご説明します。

導入について相談する

← 仕組みの解説 一覧へ