バックテストは良いのにフォワードテストで崩れるのはなぜか?

89通りの最良はフォワードで8割消えた 投資・トレード

はじめに

FX自動売買のEA(Expert Advisor。MT4/MT5などで使われる自動売買プログラム)を検討していると、こんな販売ページに出会うことがあります。

バックテストは4年間で右肩上がり。ところがフォワードテスト(リアルタイムでの検証)の成績を探すと、見当たらないか、あってもバックテストより明らかに見劣りする。

なぜバックテストとフォワードは、こうも乖離するのでしょうか。

先に結論を言うと、これは「フォワードが異常」なのではありません。多くの場合、バックテストの数字のほうが構造的に高く出ているのです。この記事では、その仕組みを一つの実験例で確認し、EA購入前にどこを見ればよいかを整理します。

「過去に合っていた」と「今後も機能する」は別物

バックテストは、過去のデータに対してルールを当てはめた結果です。ここに一つ、見落とされやすい操作が入ります。パラメータの最適化です。

移動平均の期間、損切り幅、フィルタ条件——組み合わせを変えながら何十、何百通りもバックテストを回し、最も成績が良かった設定を採用する。EA開発では普通の手順です。

しかし「最も良かった設定を選ぶ」という操作は、それ自体が成績を押し上げます。たくさん試せば、過去のデータの偶然の癖にぴったり合う設定が必ず見つかるからです。これが過剰最適化(カーブフィッティング)です。

過去の癖に合わせた設定は、未来には合いません。だからフォワードでは崩れる——乖離の最大の原因はここにあります。

実験: 89通り試した「最良」はフォワードでどうなったか

具体的な数字で見ます。筆者が移動平均クロス戦略で行った検証例です(USDJPY・日次・2020〜2023年)。

手順はシンプルです。

  1. 短期・長期の移動平均の組み合わせを89通り用意する
  2. データの前半(IS: In-Sample、学習期間)で全部をバックテストし、最も成績が良い設定を選ぶ
  3. その設定を、データの後半(OOS: Out-of-Sample、検証期間)でそのまま走らせる

OOSは「選んだ後のデータ」なので、疑似的なフォワードテストに相当します。結果は次のとおりでした。

区分 シャープレシオ
IS期間(最良の設定を選んだ期間) 1.295
OOS期間(同じ設定をそのまま適用) 0.242

性能の8割以上が消えました。

ロジックを変えたわけでも、相場が暴落したわけでもありません。「89通りの中から過去に最も合うものを選んだ」という操作だけで、これだけの乖離が生まれます。実際のEA開発では試行数が数千、数万に及ぶこともあり、乖離はさらに大きくなりえます。

乖離のその他の原因

過剰最適化のほかにも、バックテストとフォワードの差を生む要因があります。

  • コスト設定の差: バックテストのスプレッド・スリッページ設定が実環境より甘いと、その分だけバックテストが有利になります
  • 相場環境の変化: 検証期間がトレンド相場中心なら、レンジ相場に入った途端に前提が崩れます
  • ルックアヘッド: その時点では知り得ない情報(未来の価格など)をバックテストが誤って使ってしまうコード上の問題。バックテストだけが異常に良くなります

いずれも共通するのは、「バックテスト側が高く出る」方向に働くことです。

EA購入前にフォワードについて確認したいこと

以上を踏まえると、販売ページでは次の点を確認する価値があります。

  1. フォワード成績が公開されているか — バックテストしかない場合、上で見た乖離の分だけ割り引いて読む必要があります
  2. フォワードの期間と取引回数 — 1〜2ヶ月・数十回のフォワードは、まだ偶然の範囲を出ません
  3. バックテストとフォワードの成績差 — 差が小さいほど、過剰最適化の疑いは弱まります
  4. パラメータを何通り試したか — 試行数が多いほど、バックテストの「最良」は偶然で説明できる範囲が広がります

逆に言うと、フォワード成績が十分な期間・回数で公開されていて、バックテストとの差が小さいEAは、それだけで判断材料の質が一段上がります。

まとめ

  • バックテストとフォワードの乖離は異常ではなく、「最良を選ぶ」操作の構造的な帰結
  • 89通りの最適化だけで、検証期間の性能は8割消えた(筆者の検証例)
  • コスト差・相場環境・ルックアヘッドも、いずれもバックテストを高く見せる方向に働く
  • 購入前は「フォワードの有無・期間・バックテストとの差・試行数」を確認する

関連記事

購入前チェックを手元に置きたい方へ

この記事の確認ポイントは、筆者作成の無料PDF「EA販売ページ 5分チェックリスト」(GogoJungle・0円)にまとめています。

また、「何通り試した中の成績か」を統計的に検証する方法(本記事の89通りの実験を含む、DSRという補正手法の解説)は、筆者作成のPDF教材「「シャープレシオ 4.51」は高いのか?」で体系的に扱っています。

※本記事は特定のEA・商品・販売者の購入可否を示すものではありません。検証例は筆者が教材用に設計した架空戦略によるものです。最終的な投資判断はご自身の責任で行ってください。

コメント

タイトルとURLをコピーしました