CTR 予測モデルの評価に AUC や log-loss は適切か?  [in Japanese] Do the AUC and log-loss evaluate CTR prediction models properly?  [in Japanese]

Access this Article

Author(s)

Abstract

<p>クリック率 (CTR) 予測はweb広告プラットフォームを持つ企業にとって最も重要なタスクの一つである. しかしながら, CTR予測は非標準的な機械学習のタスクであるため, 例えば ROC 曲線の area under the curve (AUC), 対数損失 (別名: 交差エントロピー) などの従来の評価指標は不適切になりうる. 我々の目的は, CTR予測のための新たな指標を開発することにある. 本稿では, これら従来の評価指標の欠点と, カリブレーションプロット的なアプローチに基づく指標の展望について述べる.</p>

<p>Click-through rate (CTR) prediction is one of the most important task for web advertising platform companies. However, CTR prediction is a non-standard machine learning task, so conventional metrics, for example, area under the Receiver Operating Characteristic curve (AUC), and log-loss, a.k.a. cross-entropy, and so on, can be improper. Our target is develop a new metrices for CTR prediction. In this article, we state the drawbacks of such conventional metrics and perspective of a metric based on the calibration plot approach.</p>

Journal

  • Proceedings of the Annual Conference of JSAI

    Proceedings of the Annual Conference of JSAI JSAI2019(0), 3K3J203-3K3J203, 2019

    The Japanese Society for Artificial Intelligence

Codes

Page Top