Come evitiamo l'overfitting
Un backtest con rendimenti spettacolari e nessun test out-of-sample dice molto poco. Queste sono le verifiche che una strategia deve superare prima che ci fidiamo di essa.
QuantFX2 min di lettura
Il problema
Adattare una curva ai dati passati è facile. L'RSI ha incrociato quota 30 esattamente quando il prezzo è rimbalzato, e il golden cross ha colto ogni rialzo. Un modello del genere ha memorizzato rumore, e il mercato non lo ripeterà.
Come validiamo
Test walk-forward
Addestriamo il modello su due anni di dati e lo testiamo sui sei mesi successivi, che non ha mai visto. Poi facciamo avanzare la finestra e ripetiamo, su tutti i regimi di mercato che lo storico consente.
Su più strumenti
La stessa logica viene eseguita su strumenti correlati. Se una strategia funziona su EURUSD ma fallisce su GBPUSD e USDJPY, probabilmente è frutto di curve fitting.
Ricampionamento Monte Carlo
Rimescoliamo l'ordine delle operazioni 10.000 volte e osserviamo la dispersione del drawdown massimo. Se varia di oltre il 50%, la strategia è fragile.
Segnali d'allarme
Ognuno di questi segnali rimanda una strategia a un esame più approfondito:
- Un indice di Sharpe in backtest superiore a 3.
- Nessun mese in perdita su cinque o più anni.
- Parametri ottimizzati fino alla terza cifra decimale o oltre.
- Risultati su una coppia che non si riproducono su coppie simili.
- Prestazioni che peggiorano non appena la strategia opera in reale.
Come si presenta un risultato solido
- Prestazioni simili in sample e out of sample.
- Risultati coerenti tra strumenti diversi.
- Un indice di Sharpe credibile, indicativamente tra 1,0 e 2,0.
- Una logica semplice che sappiamo spiegare.
- Risultati che reggono quando i parametri variano leggermente.
Validazione in condizioni reali
Ogni nuova strategia opera poi per tre mesi su un conto demo con prezzi in tempo reale prima di essere offerta ai clienti. Se non regge in quelle condizioni, torna alla fase di ricerca.