相談する

社内の資料を読ませてもAIが的外れな答えを返す理由

社内の手順書や過去の資料をAIに読み込ませたのに、返ってくる答えが一般論で自社の判断と合わない。そうしたご相談をいただきます。原因の多くはAIの性能ではありません。資料に書かれていない言葉の意味や判断の基準をAIが知らないことにあります。この記事ではAIに渡す前に整えておくものを順に説明します。

「AIに資料を渡したのに答えがずれる?」という見出しと、書類・表・チャットのパネルが線でロボットのパネルへつながり、その間に点線の枠とものさしが置かれ、ロボットから出た矢印が的へ向かう図

探せることと答えられることは違う

AIが社内の資料を検索できるようになると必要な情報はそろったように見えます。ですが資料が見つかることと自社に合う答えを出せることは別です。

例えば「この見積もりは値引きしてよいか」と聞かれたとき、AIは過去の見積書や料金表を探せます。しかしどの取引先なら値引きを認めるか、担当者がどこまで決めてよいかは多くの会社で資料に書かれていません。ベテランの頭の中にある基準です。基準を知らないAIは一般的な考え方で答えるので、答えが自社の判断とずれます。

AIに足りないのは事実より判断の基準

社内の資料の多くは見積書・議事録・手順書のような「何が起きたか」の記録です。AIが自社に合った答えを出すには次のような情報も要ります。

  • 社内の言葉の意味(「大口」「急ぎ」が何を指すか)
  • 何を優先するか(価格・納期・品質のどれを先に守るか)
  • 誰が決めてよいか(担当者・上長・社長の範囲)
  • 例外とその理由(なぜそのときは特別に認めたか)

これらは書かれていないことが多く、資料を増やしても埋まりません。NSYではAIに渡す情報を「事実」と「判断の基準」に分けて整えることをおすすめしています。

1つの業務から書き出す

全社の資料を一度に整えようとすると終わりません。まず1つの業務を選びます。見積もりの作成や問い合わせへの返答のように繰り返し発生し、人によって答えが分かれやすい業務が向いています。

その業務で担当者が何を見てどの基準で判断し、誰の確認を経て決めているかを聞き取って文章にします。過去に例外を認めた件があればその理由も残します。聞き取った内容の整理はAIに手伝わせることもできます。あいまいな点を決めて基準として認めるのは人の仕事です。書き出してみると人によって基準が違っていたとわかることもあります。そのずれを社内で決め直すこともAIの答えを良くする作業の一部です。

仕事の記録がたまる場所に置く

書き出した基準は社員がふだん使っている場所に置きます。文書を共有しているサービスや社内のチャットなど、仕事の記録が自然にたまる場所です。AIの道具を選ぶときも性能の比較よりその場所とつながるかどうかを重視します。

基準は一度書いて終わりではありません。前提が変わったときや新しい例外を認めたときは書き直します。AIの答えがずれていたら、どの基準が足りなかったかを確かめて書き足します。この流れを決めておくと答えは使うほど自社に合っていきます。

基準がない問いには答えさせない

基準がない問いにはもっともらしく答えず「判断の材料がありません」と返すようにしておくことも大切です。もっともらしい答えは誤りに気づきにくく、そのまま社外に出てしまうおそれがあります。答えないことを不具合ではなく決めておいた動きとして扱います。答えられる範囲が決まれば人が引き取る場面もはっきりします。

NSYにご相談いただく場合もまず対象の業務を1つ選び、判断の基準を一緒に書き出すところから始めます。

関連コラム

CONTACT / ご相談

見直したい業務について
ご相談ください

「特定の担当者に確認が集中する」「毎月の集計や転記に時間がかかる」など、現在の課題をお聞かせください。改善方法やシステムの仕様が決まっていなくても、ご相談いただけます。

AIの導入・運用について相談する