Cara kami menghindari overfitting
Backtest dengan imbal hasil spektakuler tanpa pengujian out-of-sample hanya memberi sedikit informasi. Berikut pemeriksaan yang harus dilalui sebuah strategi sebelum kami memercayainya.
QuantFX2 menit baca
Masalahnya
Mencocokkan kurva dengan data masa lalu itu mudah. RSI melintasi 30 tepat saat harga memantul, dan golden cross menangkap setiap reli. Model seperti itu telah menghafal noise, dan pasar tidak akan mengulanginya.
Cara kami memvalidasi
Pengujian walk-forward
Kami melatih model dengan data dua tahun dan mengujinya pada enam bulan berikutnya, yang belum pernah dilihat model. Lalu kami menggeser jendela waktu ke depan dan mengulanginya, pada sebanyak mungkin rezim pasar yang tercakup dalam data historis.
Lintas instrumen
Logika yang sama dijalankan pada instrumen yang berkaitan. Jika strategi berhasil pada EURUSD tetapi gagal pada GBPUSD dan USDJPY, kemungkinan besar strategi itu hasil curve-fitting.
Resampling Monte Carlo
Kami mengacak urutan transaksi 10.000 kali dan melihat sebaran drawdown maksimum. Jika variasinya lebih dari 50%, strategi tersebut rapuh.
Tanda peringatan
Salah satu tanda berikut sudah cukup untuk mengembalikan strategi agar ditinjau lebih teliti:
- Sharpe ratio backtest di atas 3.
- Tidak ada bulan rugi selama lima tahun atau lebih.
- Parameter disetel hingga tiga desimal atau lebih.
- Hasil pada satu pasangan mata uang yang tidak berlaku pada pasangan serupa.
- Kinerja yang menurun begitu diperdagangkan secara live.
Seperti apa hasil yang solid
- Kinerja serupa di dalam sampel dan di luar sampel.
- Hasil yang konsisten lintas instrumen.
- Sharpe ratio yang masuk akal, sekitar 1,0 hingga 2,0.
- Logika sederhana yang dapat kami jelaskan.
- Hasil yang tetap bertahan saat parameter sedikit diubah.
Validasi live
Setiap strategi baru kemudian diperdagangkan selama tiga bulan di akun demo dengan harga live sebelum ditawarkan kepada klien. Jika tidak mampu bertahan di sana, strategi tersebut dikembalikan ke tahap riset.