AI Evaluation.

正答率のような数値だけでなく、実務上の有用性、誤りの重大さ、再現性、処理時間、安全性などを確認する。例えば文章生成AIなら、自然な文章を出すかだけでなく、与えた資料に忠実か、知らないことを知らないと言えるかが重要になる。評価用の例題が実際の利用場面とかけ離れていると、高得点でも現場で失敗する。人の評価と自動評価を組み合わせ、利用条件の変化に応じてテストケースを更新する必要がある。平均点が高くても、まれに重大な誤りを起こすなら導入できない場面がある。失敗の頻度と、その失敗が引き起こす影響の大きさを分けて測ることが重要になる。

Blueberry’s Perspective

きれいなデモより、失敗したときの振る舞いにシステムの品質が出る。