Explainable AI.

モデルの内部構造が直接理解しにくい場合、入力のどの要素が結果に影響したかを示す方法などが用いられる。例えば融資審査の補助にAIを使うなら、結果だけでなく判断に関係した条件を確認できることが重要になる。ただし説明はモデルの内部で実際に起きた処理を完全に再現しているとは限らず、分かりやすい説明が正しい説明と一致するわけでもない。説明の対象者、用途、検証方法を明確にし、説明可能性と性能の両方を評価する必要がある。利用者への説明と、開発者が不具合を調べるための説明では必要な粒度が違う。誰に何を説明し、どこまで分かれば判断できるのかを最初に決める必要がある。