はじめに
FX自動売買の販売ページでは、右肩上がりのエクイティカーブ、勝率の高さ、プロフィットファクター、最大ドローダウンの小ささなどが強調されることがあります。
一見すると良さそうに見えますが、ここで確認したいのは「その成績がどう選ばれたのか」です。
最初から決まっていたルールをそのまま検証した結果なのか。それとも、多くの条件を試した中で、一番きれいに見える結果だけを載せているのか。
バックテストの数字が良いことと、その自動売買を評価しやすい状態で情報開示されていることは別の話です。この記事で一番伝えたいのは、「良い成績に見えるか」よりも前に、その成績がどう選ばれたのかを見る必要がある、という点です。
この記事では、FX自動売買のバックテストを見るときに注意したい「過剰最適化」について説明します。
なお、この記事でいうEAとは、Expert Advisor（エキスパートアドバイザー）の略です。MT4/MT5などで使われる自動売買プログラムのことで、FX自動売買やシステムトレードの一種として考えると分かりやすいと思います。
この記事では、次の3点を見ていきます。
- バックテスト成績が良く見えても、そのまま信じにくい理由
- 勝率・PF・シャープレシオを見るときの注意点
- EA購入前に販売ページや販売者へ確認したいこと
バックテストの数字は選ばれている場合がある
自動売買のバックテストでは、パラメータを変えながら何度も検証できます。ここは、成績表を見るだけでは分かりにくい部分です。販売ページに載っている成績は、検証したすべての結果ではなく、その中から選ばれた一部かもしれません。
移動平均の期間、利確幅、損切り幅、時間帯フィルター、ボラティリティ条件などを少しずつ変えると、検証パターンはすぐに増えます。
例えば、単純な移動平均クロスのようなルールでも、以下のように候補を作れます。
短期移動平均: 5, 10, 15, 20, 25
長期移動平均: 50, 75, 100, 125, 150
利確幅: 20pips, 30pips, 40pips
損切り幅: 20pips, 30pips, 40pipsこの場合、組み合わせの数は以下のようになります。
5 × 5 × 3 × 3 = 225通りここに時間帯フィルターやボラティリティ条件を加えると、検証パターンはさらに増えます。
100通り、1000通り、場合によってはそれ以上のパラメータを試して、その中で一番成績が良いものだけを販売ページに載せた場合、表示される数値はかなり良く見えることがあります。
これは学校のテストで例えると、1回だけ受けた点数を見るのではなく、100回受けた中の最高点だけを見るようなものです。最高点だけを見れば優秀に見えますが、それが普段の実力を表しているとは限りません。
このとき、勝率、PF、シャープレシオ、最大ドローダウンなどは、過去データに対してもっとも都合の良い結果になっているかもしれません。
このように、過去データに合わせすぎてしまうことを過剰最適化と呼びます。
簡単な例
例えば、ある自動売買ルールについて、いくつかのパラメータを試した結果が以下のようになったとします。
| 試行 | 勝率 | PF | 最大DD | シャープレシオ |
|---|---|---|---|---|
| A | 53% | 1.12 | 18% | 0.6 |
| B | 57% | 1.25 | 15% | 0.9 |
| C | 61% | 1.38 | 13% | 1.1 |
| D | 73% | 2.10 | 6% | 2.4 |
| E | 55% | 1.18 | 17% | 0.7 |
この表だけを見ると、Dがかなり良さそうに見えます。販売ページにDだけが載っていたら、魅力的な自動売買に見えるかもしれません。
しかし、もし実際には5通りではなく、500通りや5000通りの条件を試して、その中の一番良い結果だけがDとして表示されているとしたらどうでしょうか。
もちろん、Dが本当に良いルールである可能性もあります。
ただ、試行数が多いほど、偶然に過去データへうまく合った結果が出る可能性も高くなります。
そのため、販売ページに載っている「一番きれいな成績」だけを見るのではなく、その成績が何通りの検証の中から選ばれたものなのかを確認する必要があります。
つまり、問題は「Dが良いか悪いか」だけではありません。「D以外の結果がどうだったのか」「Dは何通りの中から選ばれたのか」が分からないと、Dの数字を評価しにくいということです。
高い数字だけでは判断しにくい
シャープレシオが高い、PFが高い、勝率が高い、という情報は参考になります。
しかし、それだけでバックテストの信頼性を判断するのは難しいです。
重要なのは、その数字がどのような検証過程から出てきたのかです。
例えば、次のような情報があると評価しやすくなります。
- 何通りのパラメータを試したのか
- 観測期間はどれくらいか
- 試行間の成績のばらつきはどれくらいか
- リターン分布に偏りや極端な外れ値はないか
- IS/OOSを分けた検証をしているか
- 最良成績だけでなく、候補全体の分布が見えるか
これらが分からない場合、販売ページの数字が良さそうに見えても、判断材料としては不足しやすい状態です。
よく見る数字と注意点
FX自動売買の販売ページでは、以下のような指標がよく出てきます。
| 指標 | 見ているもの | 注意点 |
|---|---|---|
| 勝率 | 勝ちトレードの割合 | 勝率が高くても、1回の負けが大きいと意味が変わる |
| PF | 総利益 / 総損失 | 高すぎるPFは、期間や取引回数を確認したい |
| 最大DD | 最大の落ち込み | バックテスト期間外で同じ水準に収まるとは限らない |
| シャープレシオ | リスクあたりのリターン | 試行回数や年率換算方法が分からないと評価しにくい |
| 取引回数 | サンプル数 | 少なすぎると偶然の影響が大きい |
どの指標も、それ自体は有用です。ただし、単独で見ると誤解しやすいです。
関連記事
- 投資のプロフィットファクター（PF）とは？計算式と注意点: PFの計算式や基本的な読み方を説明しています。
- シャープレシオとは？計算式・見方・高すぎる数値の注意点: シャープレシオの基本と年率換算の注意点を説明しています。
例えば、勝率90%でも、10回に1回の損失が非常に大きければ、全体としては危険な戦略かもしれません。
また、PFが高くても、取引回数が少なかったり、特定の相場期間にだけ合っていたりすると、実運用で同じように機能するとは限りません。
まず確認したいこと
まず確認したいのは、バックテストで何通りのパラメータを試したのかです。
この質問は専門的に見えますが、考え方はシンプルです。表示されている成績が、何回くじを引いた中の当たりなのかを確認する質問です。
販売者に質問する場合は、まず以下のように聞くのがよいと思います。
> バックテストでは、何通りのパラメータを試しましたか？
この質問に具体的な回答があるかどうかで、そのバックテストをどの程度評価できるかが変わります。
例えば、100通り試した中の1位なのか、1万通り試した中の1位なのかで、同じシャープレシオでも意味が変わります。
試行数が分からないと、表示されている最高成績がどれくらい選び抜かれた結果なのかが分かりません。
そのため、シャープレシオやPFなどの数字だけでなく、その数字が出るまでにどれくらい試行したのかも確認したいところです。
あわせて、次のような質問も有用です。
バックテスト期間はいつからいつまでですか？
取引回数は何回ですか？
最適化に使った期間と、検証用に残した期間は分けていますか？
最良パラメータ以外の成績分布は確認できますか？
実運用またはフォワードテストの成績はありますか？すべてに完璧な回答が返ってくるとは限りません。
ただ、こうした質問に対して具体的な説明があるかどうかで、その販売ページの情報量はかなり変わります。
まとめ
FX自動売買の販売ページを見るときは、まず「このEAが良いか悪いか」よりも、「この資料だけで評価できる状態か」を確認するのが重要です。
評価に必要な材料が揃っていれば、そこから中身を検討できます。
一方で、試行数や検証過程が分からない場合は、少なくともこの記事の観点では評価しにくい状態です。
「良さそうに見える」ことと「統計的に評価できる」ことは、分けて考える必要があります。
FX自動売買やEAを検討するときは、成績の数字だけでなく、その数字がどのように選ばれたのかも確認した方がよいと思います。
—
この記事では、FX自動売買のバックテストを見るときの基本的な注意点を説明しました。
実際の販売ページを見る場合は、「何通りの条件を試したのか」「バックテスト成績が過去データに合わせすぎていないか」「販売者に何を確認すればよいか」まで見ると、判断材料が増えます。
詳しく確認したい方へ
この記事の内容をもとに、筆者が作成したPDF教材をGogoJungleで販売しています。
- 「シャープレシオ 4.51」は高いのか？ EA購入前の自己防衛ガイド: シャープレシオ・PF・勝率などの見方に加えて、試行回数、バックテスト期間、リターン分布、過剰最適化の可能性を確認するためのチェックリストと、販売者に送る質問テンプレートをまとめています。
コメント