ハルシネーション対策は業務ごとに｜AIの嘘を防ぐ確認フローの作り方

「AIが出してきた数字を、そのまま資料に貼ってしまった」。生成AIを使い始めた会社で、実際に起きているヒヤリです。結論から申し上げます。ハルシネーション（AIが事実に基づかない誤った情報を、もっともらしく作り出すこと）は、技術ではゼロにできません。だから対策のゴールは「誤りをゼロにする」ことではなく、「誤っても被害が出ない仕組みを作る」ことです。そのために必要なのは、むずかしい技術ではありません。「どの業務でAIを使うか」を仕分け、「誰が・いつ・何を確認するか」を決めるだけです。この記事では、IT担当者がいない従業員5〜50名の会社でも今週から始められる、現実的なハルシネーション対策の手順を示します。読み終えるころには、自社で最初に手を打つべき業務が1つ決まっているはずです。

ハルシネーションとは｜AIがつく「もっともらしい嘘」

ハルシネーションとは、生成AIが、事実に基づかない誤った情報を、あたかも正しいかのように自信たっぷりに答えてしまう現象です。「幻覚」という意味の英語がもとになっています。総務省と経済産業省がまとめた「AI事業者ガイドライン」でも、ハルシネーションは「事実に基づかない誤った情報をもっともらしく生成すること」と説明され、技術的な対策だけでは完全には抑えられないとされています（総務省 令和6年版 情報通信白書）。

やっかいなのは、AIが「分かりません」と言わずに、堂々と間違える点です。存在しない法律の条文、実在しない統計、まちがった計算結果を、正しい答えと同じ口調で返してきます。そのため、知識のない分野ほど、人は誤りに気づけません。

なぜ起きるのでしょうか。生成AIは、事実を調べて答えているのではなく、「次に来そうな、もっともらしい言葉」をつなげて文章を作っているからです。仕組み上、それらしく聞こえる答えを優先します。だから「正しさ」よりも「もっともらしさ」が勝ってしまう瞬間が、必ず出てきます。この性質は、便利さと裏表の関係にあります。だからこそ、なくそうとするのではなく、付き合い方を設計することが対策の出発点になります。

大前提｜ゴールは「ゼロ」ではなく「被害をゼロ」にすること

多くの経営者が最初に聞くのは「どうすれば誤りをなくせますか」です。しかし、この問いの立て方自体を変える必要があります。技術的にゼロにできない以上、目指すべきは「AIが間違えても、会社が損をしない状態」です。

実際に、確認を怠って大きな痛手を負った例があります。アメリカでは2023年、弁護士がChatGPTに判例を調べさせ、AIが作り出した存在しない判例をそのまま裁判所に提出してしまいました。裁判所は事実と異なる引用に満ちた書面だとして、弁護士に5,000ドル（約72万円）の支払いを命じています（ITmedia NEWS）。ここでの失敗は、AIを使ったこと自体ではありません。AIの答えを、人が確認せずに世の中へ出したことです。

この視点に立つと、対策は2つの方向に整理できます。

• 入口の対策：誤りが起きにくい使い方をする（何にAIを使うかを選ぶ）
• 出口の対策：誤りがあっても外に出さない（人が確認してから使う）

大切なのは、この2つを分けて考えることです。AIの精度を上げることばかりに気を取られると、肝心の「確認する仕組み」が抜け落ちます。次の章から、まずは入口、つまり「どの業務で使うか」の仕分けから始めます。

業務を3つに仕分ける｜任せてよい・確認が要る・使わない

ハルシネーション対策で、いちばん効くのに見落とされがちなのが**「使う業務を選ぶ」**ことです。すべての業務で同じように警戒する必要はありません。間違えたときの影響の大きさで、業務を3つに仕分けます。

分類	業務の例	使い方
任せてよい	文章の下書き・要約・言い換え	気軽に使う
確認が要る	数字・固有名詞・社外に出す文章	人が必ず裏取り
使わない	法的判断・与信・医療的判断	AIに委ねない

「任せてよい」業務は、間違えても大きな害がなく、人が最後に手を入れる前提のものです。メールの下書き、長い資料の要約、言い回しの言い換えなどが当てはまります。多少ずれていても、書き直せば済みます。ここは、ためらわず使ってください。

「確認が要る」業務は、誤りがそのまま損害につながるものです。見積金額や統計などの数字、会社名・人名・製品名などの固有名詞、そして顧客や取引先に出す文章。これらは、AIの答えを鵜呑みにせず、必ず一次情報で裏を取ります。

「使わない」業務は、間違えたときの責任が重すぎるものです。契約の可否や法的な判断、取引先の与信、健康・医療にかかわる判断などは、AIに最終判断を委ねてはいけません。どの業務を「使わない」に置くかは、会社ごとに線引きが変わります。判断の目安は、生成AIを使ってはいけない業務の記事もあわせてご覧ください。

事実確認を「仕組み」にする4つの方法

「確認が要る」業務では、確認を個人の心がけに頼らず、仕組みにすることが肝心です。忙しい日ほど確認は飛ばされます。次の4つを、できるものから取り入れてください。

1. プロンプトで「分からないなら分からないと言って」と指示する プロンプト（AIへの指示文）に、ひと言足すだけで誤りは減ります。「確実でない情報は『不明』と答えてください」「推測は書かず、根拠のある事実だけ答えてください」。こう指定すると、AIが無理に答えを作りにくくなります。指示の型を1つ覚えたい方は、ビジネスでのプロンプトの書き方が参考になります。

2. 「出典（情報の出どころ）を示して」と求める 数字や事実を答えさせるときは、「その根拠となる出典も教えてください」と付け加えます。出典が示せない答えは、疑ってかかる。示された出典は、リンク先を実際に開いて確かめる。これだけで、作り話をそのまま信じる事故を防げます。

3. 人の確認を「工程」に組み込む 「気づいた人が直す」では、確認は続きません。**「AIの下書き→担当者が数字と固有名詞を確認→上長が最終チェック→社外に出す」**というように、確認を業務の順番として決めます。AIに任せきりにせず、要所で人が判断する考え方は、Human in the loopの記事で詳しく解説しています。

4. 社内資料をもとに答えさせる AIに一般知識で答えさせるより、自社の正しい資料を読ませて、そこから答えさせるほうが、誤りは大きく減ります。この仕組みはRAG（自社の情報をもとにAIが答える技術）と呼ばれます。むずかしそうに聞こえますが、資料を読み込ませて質問できるツールも増えています。

社員に配る「確認ルール」の作り方

仕組みを決めたら、最後は社員が迷わず動けるように短いルールにします。分厚い規程は読まれません。A4半分に収まる分量で十分です。次の3行から始めてください。

• AIの答えのうち、数字・固有名詞・社外に出す文章は、必ず自分で裏を取る
• 裏が取れない情報は、資料や社外に使わない（「たぶん合っている」で出さない）
• 迷ったら、出す前に◯◯さん（相談窓口）に確認する

配るときのコツは、「AIを疑え」ではなく「AIは下書き係、決めるのは人」と伝えることです。AIを敵視させると、便利な使い方まで止まってしまいます。「気軽に下書きさせてよい。ただし、外に出す前の確認は人の仕事」。この線引きを共有できれば、社員は安心してAIを使えます。ルールを正式な文書に育てたい方は、社内の生成AIガイドラインの作り方をご覧ください。

まとめ

ハルシネーション（AIがもっともらしい嘘をつく現象）は、技術ではゼロにできません。だからこそ、対策のゴールは「誤りをゼロにする」ことではなく、「誤っても被害が出ない仕組みを作る」ことです。手順は3つ。まず業務を「任せてよい・確認が要る・使わない」に仕分ける。次に事実確認を、個人の心がけではなく工程として仕組みにする。最後に短い確認ルールを社員に配る。この順番で進めれば、AIの便利さを手放さずに、誤情報の事故を防げます。

明日やること：いま社内でAIを使っている業務を1つ思い浮かべ、「任せてよい・確認が要る・使わない」のどれに当たるか判定してください。もし「確認が要る」なら、その業務で誰が何を裏取りするかを、今日中に1行で決める。これがハルシネーション対策の第一歩です。

次に読む

• Human in the loopとは｜AIに任せきりにしない承認フローの入れ方：人の確認を工程に組み込む考え方を深めたい方へ
• ビジネスでのプロンプトの書き方｜型を1つ覚えれば十分：誤りを減らす指示の出し方を知りたい方へ
• 生成AIを使ってはいけない業務｜線引きの決め方と社内への伝え方：「使わない業務」の線引きに迷う方へ

AI Navigator では、どの業務でAIを使い、どこで人が確認するかという線引きの設計から、社員が守れる短い確認ルールづくりまでを、IT担当者がいない中小企業の実情に合わせて一緒に組み立てています。まずはサービス紹介をご覧いただくか、無料相談で自社の業務をお聞かせください。