log lossとは — 確率予想の「正直さ」を採点する方法

公開: 2026-07-07 / koei-ai 編集部

「このAIは当たるのか?」— この問いに的中率で答えるのは、実は雑です。確率を出すモデルの品質は log loss(対数損失) で測ります。koei-ai がモデルを毎日検証している指標そのものです。

的中率が壊れている理由

6艇立ての競艇で、毎回「1号艇が勝つ」とだけ言うプログラムを考えます。1コースの1着率は全国平均でおよそ55%前後あるので、このプログラムの的中率は約55%になります。何の分析もしていないのにです。

的中率は「どれに丸をつけたか」しか見ません。確率モデルの出力は「1号艇62%、2号艇14%、…」という分布であり、丸付けの正誤より遥かに多くの情報を持っています。その質を測るのが log loss です。

log lossの定義

各レースで「実際に勝った出走者に、モデルが事前に何%を割り当てていたか」の対数を取り、全レースで平均して符号を反転したものです。小さいほど良い。

具体例

ポイントは自信過剰への非対称なペナルティです。「1%しかない」と断言した出走者が勝つと、lossは跳ね上がります。log loss が小さいモデルとは、当てるモデルではなく、自分の不確実さを正直に申告するモデルです。

「良いlog loss」はいくつか?

絶対値に普遍的な基準はありません。6艇立てで全艇に1/6(約16.7%)を割り当てる「無知モデル」のloss は ln 6 ≒ 1.79。これを下回るほど、モデルは何かを学べています。ただし本当の基準は無知モデルではなく市場(オッズの暗黙確率)です。市場のlog lossとの差を取った指標が edge で、koei-ai はこれを唯一の採用判定に使っています。