O que o backtesting paralelo nos proporciona
Validar uma estratégia demora muito mais do que programá-la, e a validação é a parte que mais hardware acelera.
QuantFX3 min de leitura
Da ideia à produção
As ideias são prototipadas em Python na AWS e testadas com dados históricos de ticks. Os resultados decidem se uma ideia avança ou regressa à investigação. As que merecem ser mantidas são reescritas em C++20 para produção, e só uma estratégia validada chega ao motor em operação real.
Uma ideia, centenas de execuções
Um único backtest é barato. Uma validação em que confiaríamos implica centenas deles:
- Análise walk-forward: ajustar numa janela, testar na seguinte e avançar ao longo de diferentes regimes de mercado.
- Verificações fora da amostra com dados e instrumentos que a lógica nunca viu.
- Varrimentos de parâmetros, para ver se os resultados assentam num planalto amplo ou num pico estreito.
- Reamostragem Monte Carlo da ordem das operações, dos custos e do slippage, para pôr à prova o perfil de drawdown.
Numa só máquina, esse trabalho transforma a investigação numa fila de espera.
Cada execução é independente
Nenhuma destas execuções precisa do resultado de outra. Cada janela walk-forward, conjunto de parâmetros e trajetória Monte Carlo pode ir para o seu próprio worker, pelo que a tarefa escala de forma quase linear com o número de workers. Os limites são o carregamento dos dados no início e a recolha dos resultados no fim.
- 2000 backtests × 20 min
- 40 000 min
- 1 worker
- cerca de 667 horas, aproximadamente 28 dias
- 64 workers
- cerca de 625 min, aproximadamente 10,4 horas
Os tempos reais de execução dependem da complexidade da estratégia, da resolução dos dados e das operações de I/O.
Com 64 workers, um varrimento iniciado ao fim do dia fica concluído de manhã. É por isso que a ronda seed que estamos a angariar financia computação e hardware, e não capital de negociação. A visão geral para investidores apresenta a repartição.
Mais testes, mais formas de nos enganarmos a nós próprios
A velocidade tem um custo. Se conseguimos correr 2000 variantes durante a noite, também conseguimos encontrar uma que parece brilhante por acaso. As salvaguardas têm de crescer com o cluster:
- Um período final de reserva (hold-out) mantém-se bloqueado durante o desenvolvimento e é usado uma única vez.
- A fasquia sobe com o número de variantes testadas. Registamos quantas configurações foram testadas e avaliamos a vencedora face a esse número.
- Uma estratégia tem de se aguentar ao longo de muitas janelas walk-forward sequenciais. Uma única divisão favorável prova pouco.
- Preferimos regiões de parâmetros com desempenho consistente à configuração isolada com a melhor pontuação.
Com o cluster, cada candidata passa pelo conjunto completo de verificações.
O que os clientes ganham com isso
As empresas operam o nosso motor com a sua marca ou pedem-nos que desenvolvamos e operemos estratégias para elas. Um ciclo mais rápido significa uma espera mais curta entre o pedido de uma estratégia e uma candidata validada. A revalidação com dados novos torna-se uma tarefa de rotina, e as alterações à lógica de execução são testadas com todo o histórico antes de chegarem à produção.
O motor em si é descrito na página Tecnologia.