Hallucination.

文章生成モデルは、必ずしも事実を検索してから文章を組み立てるわけではない。そのため、存在しない参考文献や架空の数値を、自然な文体で提示してしまうことがある。文法が正しいこと、説明が詳しいこと、出典らしいURLが添えられていることは正確性の証明にならない。防ぐためには信頼できる情報へのアクセス、検索結果との照合、回答を控える仕組み、人間による確認などを組み合わせる。特に法務、医療、財務、企業情報のような重要領域では、検証可能性と不確実性の明示が欠かせない。利用者が気づきにくいのは、完全な作り話より、実在する情報に少しだけ誤りが混ざる場合だ。文章の自然さで判断せず、結論を左右する事実から確認する。

Blueberry’s Perspective

AIらしい文章の問題は、言葉が整いすぎて間違いが見えにくくなることだ。