評価指標
何をもって「良い」とするかの定義。 指標の選択が結論を左右する。
分類での指標#
混同行列から定義される。
| 指標 | 定義 | 意味 |
|---|---|---|
| 正解率 | 不均衡データで無意味になる | |
| 適合率 | 陽性と言ったうち本当に陽性 | |
| 再現率 | 本当の陽性のうち見つけた割合 | |
| F1 | 適合率と再現率の調和平均 | 両者の折衷 |
| AUC-ROC | — | 閾値に依存しない |
| AUC-PR | — | 不均衡データではこちら |
適合率と再現率のトレードオフ#
どちらを重視するかは用途で決まる。
| 用途 | 重視 | 理由 |
|---|---|---|
| がん検診 | 再現率 | 見逃しが致命的 |
| 迷惑メール判定 | 適合率 | 正常なメールを消すと困る |
| 検索 | 場面による | 上位の適合率が重要 |
片方だけ上げるのは簡単（全部陽性と答えれば再現率 100%）。 必ず両方を見る。
回帰での指標#
| 指標 | 性質 |
|---|---|
| MSE / RMSE | 外れ値に敏感 |
| MAE | 外れ値に頑健 |
| MAPE | 相対誤差。0 付近で不安定 |
| 分散の説明率 |
指標と目的のずれ#
測りやすい指標が、本当の目的と一致するとは限らない。
本当の目的: 利用者が満足する
測る指標 : 滞在時間
→ 滞在時間を最大化した結果、
やめられない設計になり満足度が下がるGoodhart の法則 — 指標が目標になると、 その指標は良い指標でなくなる。
報酬ハッキングも同じ構造で、 最適化の対象と本当の目的のずれから生じる。
報告するときは#
- 複数の指標を示す（1 つだけでは操作できる）
- ばらつき（信頼区間、標準偏差）を示す
- 指標を選んだ理由を書く
- 都合の悪い指標を隠さない
参考文献#
- Takaya Saito, Marc Rehmsmeier. The Precision-Recall Plot Is More Informative than the ROC Plot. PLOS ONE 10(3), 2015. https://doi.org/10.1371/journal.pone.0118432
- David M. W. Powers. Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation. 2011. https://arxiv.org/abs/2010.16061
- Marilyn Strathern. 'Improving ratings': audit in the British University system. European Review 5(3), 1997. https://doi.org/10.1002/(SICI)1234-981X(199707)5:3%3C305::AID-EURO184%3E3.0.CO;2-4