予測確率のキャリブレーション(校正)とは — 「20%」が本当に20%かを確かめる方法

公開: 2026-07-22 / koei-ai 編集部

AIが「この馬の1着確率は20%」と出したとき、その20%という数字はどこまで信用できるのでしょうか。これを確かめる方法がキャリブレーション(校正)です。確率予測の「正直さ」を検証するための基本概念であり、天気予報の降水確率からAIモデルの評価まで、幅広く使われています。この記事では、公営競技のデータ分析を例に、校正の考え方と確かめ方を解説します。

校正とは「確率と現実の一致度」

校正の定義はシンプルです。「確率p%と予測したケースを大量に集めたとき、実際にp%くらいの頻度で起きているか」。たとえば降水確率30%の予報が100日分あったとして、実際に雨が降った日が30日前後なら、その予報は校正されています。90日降っていたら、30%という数字は現実を表していません。気象庁も降水確率予報の検証で、発表した確率と実際に降水が観測された割合を階級ごとに突き合わせる、同様の考え方を採用しています。

競走の予測でも同じです。「1着確率20%」と評価された出走者を1,000件集めて、実際の1着が200件前後に収まっているか。この一致度が、確率という数字を判断材料として使えるかどうかを決めます。

的中率では校正を測れない

「よく当たるモデル=良いモデル」と考えたくなりますが、的中率と校正は別物です。本命側ばかり選べば的中率は上がりますが、そのモデルが出す「45%」が実際には35%の頻度でしか当たっていないなら、数字は過信(overconfidence)しています。逆に、実際より低めの確率ばかり出すのは過小評価です。どちらのズレも、確率を意思決定の材料にする上では欠陥になります。確率予測の総合的な採点方法としてはlog lossがあり、校正はその内訳を「確率帯ごとの正直さ」という切り口で見る検査だと考えると分かりやすいでしょう。

信頼性図(校正曲線)の読み方

校正を確かめる代表的な道具が信頼性図(reliability diagram、校正曲線)です。作り方は次の通りです。

• 予測確率を「0〜10%」「10〜20%」…のような区間(ビン)に分ける
• 各ビンに入った予測の件数と、実際に起きた頻度を集計する
• 横軸に予測確率、縦軸に実際の頻度を取って点を打つ

すべての点が対角線(予測=現実)に近いほど校正は良好です。対角線より下に点が並ぶなら過信、上なら過小評価の傾向を意味します。※表の数値は説明用の架空データです。

公営競技で校正を見るときの注意

校正の確認には落とし穴もあります。第一にサンプル数。確率帯ごとに十分な件数がないと、ズレが実力なのか偶然なのか区別できません。第二に検証期間の分離。学習に使ったデータで校正を確認すると、実際より良く見えてしまいます(未来リークの一種)。第三に、校正が良い=市場に勝てる、ではないこと。オッズが示す市場の確率評価はそれ自体かなり校正されており、モデルの価値は市場との比較(edge)で別途測る必要があります。また公営競技には控除率(公営ギャンブルの控除率・還元率 比較一覧【競馬・競輪・宝くじ】参照)があるため、校正されたモデルでも参加者全体の期待値がプラスになるとは限りません。

AI予想サービスを評価する立場なら、確率を出すだけでなく、校正曲線や確率帯ごとの実績を開示しているかは透明性の目安になります。モデルが確率をどう計算しているかの基礎は「AI競馬予想の仕組み」で解説しています。

よくある質問