未来リークとは — 予想AIの成績が「作られる」最もよくある仕組み

公開: 2026-07-07 / koei-ai 編集部

「バックテストで回収率120%」— この種の数字の大半は、嘘をつくつもりがなくても未来リーク(data leakage)で汚染されています。予測モデル開発で最もよくある、そして最も気づきにくい失敗です。

未来リークとは

予測時点ではまだ知り得なかった情報が、学習データや特徴量に混入することです。混入したモデルは過去の再現テストでは超人的な成績を出し、本番では平凡以下に戻ります。

リークのパターン	何が起きるか
「その月の勝率」を月初のレースの特徴量に使う	月末の結果が月初の予測に混入。選手の好調・不調を「予知」してしまう
学習データと検証データをランダムに分割する	同じ日・同じ節のレースが両側に散り、検証が学習の複製になる
確定オッズを「レース前に分かる特徴量」として使う	締切後にしか確定しない情報で予測する — 本番では入手不能
欠場・中止レースを後から除外して集計	「開催されたことを知っている」前提の母集団で成績を計算

各レースの特徴量は「そのレースの開催日より前のデータだけ」で計算する。選手の勝率も、機材の成績も、必ず時点を固定して集計します。koei-ai の学習パイプラインは、日付ごとにグループ化して過去データのみで特徴量を組み立てる設計です。

検証は必ず「学習期間より後の期間」で行う。ランダム分割は時系列データでは無効です。さらに、モデルが学習済みの日付への予測はシステムが拒否する(in-sampleの数字を成績として混ぜない)ところまで自動化しています。

リークの怖さは「気づかないこと」です。リークしたモデルは検証成績が良いので、開発者自身が一番騙されます。対策はテクニックではなく、パイプラインの構造(as-of設計・時系列分割・in-sample拒否)に規律を焼き込むこと — 人間の注意力に頼った時点で負けです。

koei-ai は、確率とその根拠、市場との差(edge)まで公開する分析ツールです。