LLMのハルシネーション（誤答）が止まらない

ハルシネーション（幻覚）はLLMの本質的な性質で、ゼロにすることは困難です。しかし発生を大幅に抑えることは可能です。アプローチは多層的になります。

第一に「事実根拠の強制」。RAG を導入し、回答の根拠となる文書を引用させます。引用文書がない場合は「分からない」と返すよう、プロンプトで明示します。これだけで誤答は劇的に減ります。

第二に「自己検証」。回答を生成した後、別の LLM 呼び出しで「この回答は提供された文書に基づいていますか?」と検証させます。Faithfulness を計測する手法です。誤答を発見したら再生成、もしくはユーザーに「不確実です」と伝える。

第三に「Temperature の調整」。創造性は不要な業務領域では、temperature=0 もしくは 0.1 程度に下げます。これでLLMはより決定論的に、訓練データに忠実な回答を返すようになります。

第四に「ガードレールの設置」。Microsoft Guidance、NVIDIA NeMo Guardrails、Anthropic の Constitutional AI などのフレームワークで、回答が逸脱しないよう制御します。

第五に「ユーザー教育」。LLMチャットボットは「アシスタント」であって「信頼できる情報源」ではないと、UI上で明示します。「重要な決定の前には必ず人間に確認してください」などの注意書きを表示。

第六に「モニタリング」。本番運用では、ユーザーからのフィードバック（👍/👎）を収集し、誤答パターンを継続的に分析・改善します。

業界によっては規制対応も必要です。医療・金融・法務分野でAIを使う場合、誤答による損害賠償リスクが高いため、人間の最終確認を必ず挟む設計が推奨されます。