はじめに
EA（Expert Advisor。MT4/MT5などで使われる自動売買プログラム）の販売ページに、バックテストとフォワードの両方が載っていることがあります。
そして多くの場合、フォワードのほうが少し悪い。バックテスト勝率60%、フォワード勝率52%、といった形です。
このとき、判断は2つに分かれます。
- 劣化している：過剰最適化などで、実際の性能が落ちている
- 誤差の範囲：性能は変わっておらず、回数が少ないためにブレただけ
見た目の数字だけでは、この2つを区別できません。ただ、区別するための計算はあります。
この記事では次の3点を見ていきます。
- 同じ8ポイントの差でも、フォワードの回数で意味が変わること
- 差を「劣化」と言うために何回必要か
- フォワードが短いときに本当に困ること
差は、劣化がなくても出る
フォワードテストは、バックテストより取引回数がずっと少ないのが普通です。10年分のバックテストに対して、フォワードは数ヶ月・数十回ということも珍しくありません。
取引回数が少ないと勝率の推定幅は広くなります。したがって、性能がまったく落ちていなくても、フォワードの勝率はバックテストから上下にずれます。
つまり、差が出ること自体は異常ではありません。問題は、その差が推定のブレで説明できる大きさかどうかです。
数字で見る：同じ8ptでも回数で意味が変わる
バックテストが勝率60%（500回）、フォワードが勝率52%だったとします。差は8ポイントです。
この差の95%信頼区間を、フォワードの取引回数ごとに計算すると次のようになります。
| フォワード回数 | 差の95%信頼区間 | 読み方 |
|---|---|---|
| 30回 | −10.4 〜 +26.4pt | 差があるとは言えない |
| 50回 | −6.5 〜 +22.5pt | 差があるとは言えない |
| 100回 | −2.7 〜 +18.7pt | 差があるとは言えない |
| 200回 | −0.1 〜 +16.1pt | ぎりぎり言えない |
| 300回 | +0.9 〜 +15.1pt | 劣化と言える |
| 1,000回 | +2.7 〜 +13.3pt | 劣化と言える |
区間が0をまたいでいるうちは、「差がない」という可能性を排除できません。同じ8ポイントの差が、50回なら判断材料にならず、300回なら劣化の証拠になります。
差の大きさだけを見て「8ptも落ちている」と評価することも、「たった8ptだから許容範囲」と評価することも、回数を見ないままでは根拠を持ちません。
どのくらいの差なら、何回で見分けられるか
逆に、フォワードが何回あれば差を検出できるかを計算すると、次のようになります（バックテストは勝率60%・500回とした場合）。
| フォワード勝率 | 差 | 必要なフォワード回数 |
|---|---|---|
| 45% | 15pt | 約50回 |
| 50% | 10pt | 約120回 |
| 52% | 8pt | 約220回 |
| 55% | 5pt | 約1,450回 |
小さな差ほど、見分けるのに多くの回数が必要です。5ポイント程度の差を確認するには1,000回を超えるフォワードが要る計算になり、現実の販売資料でそこまで揃うことはあまりありません。
裏を返すと、5ポイント前後の差は、たいていの場合「判定できない」に落ち着きます。そこで無理に結論を出そうとしないほうが、判断としては正確です。
見落とされやすいこと：短いフォワードは「良くても」情報が乏しい
ここがこの話のいちばん実務的な部分です。
フォワードの回数が少ないと、「悪化している」と言えないのと同時に、「悪化していない」とも言えません。
フォワード50回で勝率が58%だったとします。バックテストの60%とほぼ同じで、一見すると安心材料に見えます。しかし50回では推定幅が広いため、真の勝率が45%まで落ちていてもこの結果は出ます。
つまり、
- フォワードが悪い → 劣化かどうか分からない
- フォワードが良い → 劣化していないかどうかも分からない
短いフォワードは、どちらに転んでも情報量が乏しいのです。「フォワード公開中」という表示そのものより、その期間と回数のほうが重要になります。
確認の手順
販売資料でバックテストとフォワードの両方が出ているとき、次の順で見ると整理しやすくなります。
- フォワードの取引回数 — まずここ。数十回なら、以降の比較は参考程度にとどめる
- バックテストの取引回数 — 両方の回数が分かって初めて差を評価できる
- 差の大きさ — 10pt以上あるなら、100回程度でも検出できる領域
- 同じ条件で比較しているか — 通貨ペア・ロット・時間帯が揃っているか
- フォワードの期間 — 回数が十分でも、1つの相場環境しか通っていない可能性は残る
なお、この計算は勝率で説明しましたが、プロフィットファクターや平均損益でも考え方は同じです。回数が少ない側の推定幅が、比較全体の精度を決めます。
まとめ
- フォワードがバックテストより悪いこと自体は、劣化がなくても起こる
- 差が劣化かどうかは、差の大きさではなく両方の取引回数で決まる
- バックテスト60%（500回）に対しフォワード52%なら、劣化と言うには約220回必要
- 5pt程度の小さな差は、1,000回を超えないと判定できない
- 短いフォワードは、良く見えても悪く見えても情報量が乏しい
差の数字そのものより、その差が判定できる回数なのかを先に確認する。それだけで、過剰に不安になることも、安心しすぎることも減らせます。
関連記事
- バックテストの取引回数は何回あれば信用できるか
- バックテストは良いのにフォワードテストで崩れるのはなぜか？
- 同じ勝率90%でも、9勝1敗と90勝10敗は同じではない
- 勝率90%のEAは優秀か？勝率と平均損益をセットで見る理由
- FX自動売買のバックテスト成績の見方｜EA購入前に確認したい注意点
確認手順を手元に置きたい方へ
フォワード成績を含む5つの確認項目は、筆者が作成した無料PDF「EA販売ページ 5分チェックリスト」（GogoJungle・0円）に、記入式のチェック表と販売者への質問テンプレート6問としてまとめています。
取引回数・損失感度とあわせてPFを読む手順は「「プロフィットファクター 7.8」をどう見るか？」で、試行回数による成績の膨らみを統計的に補正する方法は「「シャープレシオ 4.51」は高いのか？」で扱っています（いずれも筆者作成のPDF教材です）。
※本記事は特定のEA・商品の購入可否を示すものではありません。数値例はすべて説明のための架空の例です。最終的な投資判断はご自身の責任で行ってください。
コメント