Trading strategy degrees of freedom

Graus de liberdade O que são graus de liberdade Graus de liberdade são o número de valores em um estudo que têm a liberdade de variar. Eles são comumente discutidos em relação a várias formas de testes de hipótese em estatísticas, como um qui-quadrado. É essencial calcular graus de liberdade ao tentar entender a importância de uma estatística do qui-quadrado ea validade da hipótese nula. BREAKING DOWN Graus de liberdade Por exemplo, considere um aluno precisa ter nove cursos para se formar, e há apenas nove cursos oferecidos o aluno pode tomar. Neste exemplo, há oito graus de liberdade o aluno é capaz de escolher oito das classes que estão disponíveis, mas a nona classe é a única classe à esquerda, eo estudante tem que se inscrever nele para se formar. Há dois tipos diferentes de testes do qui-quadrado: o teste de independência, que faz uma pergunta de relacionamento, como: Existe uma relação entre o sexo e as pontuações SAT eo teste de bondade de ajuste, que pergunta algo como Se uma moeda é lançada 100 vezes, ele vai chegar cabeças 50 vezes e caudas 50 vezes Para esses testes, os graus de liberdade são utilizados para determinar se uma determinada hipótese nula pode ser rejeitada com base no número total de variáveis ​​e amostras dentro da experiência . Por exemplo, ao considerar os alunos ea escolha do curso, um tamanho de amostra de 30 ou 40 alunos provavelmente não é grande o suficiente para gerar dados significativos. Obter os mesmos ou resultados semelhantes de um estudo usando um tamanho de amostra de 400 ou 500 alunos é mais válido. História dos Graus de Liberdade O conceito mais antigo e mais básico de graus de liberdade foi observado no início do século XIX, entrelaçado nas obras do matemático e astrônomo Carl Friedrich Gauss. O uso e a compreensão modernos do termo foram expostos primeiramente por William Sealy Gosset, um statistican inglês, em seu artigo o erro provável de uma média, publicado em Biometrika em 1908 sob um pseudônimo para preservar seu anonymity. Em seus escritos, Gosset não usou especificamente o termo graus de liberdade. Ele, no entanto, deu uma explicação para o conceito ao longo do desenvolvimento do que seria eventualmente conhecido como Student t-distribuição. O termo real não foi feito popular até 1922. Inglês biólogo e estatístico Ronald Fisher começou a usar o termo graus de liberdade quando ele começou a publicar relatórios e dados sobre o seu trabalho desenvolvendo chi quadrados. Eu estava realmente animado sobre a minha estratégia Pilum dois meses atrás. A pesquisa parecia ótimo e tudo estava pronto para o rock and roll. Os testes de demonstração começaram e depois não aconteceu muita coisa. O Quantilator é (na maior parte) terminado, que finalmente me deu tempo para círculo volta e rever o que aconteceu com Pilum. Negociação de demonstração ao vivo de Pilum. 9 de dezembro de 2017 a 7 de fevereiro de 2017 O resultado esperado era que eu iria ganhar 75 der Zeit. As negociações eram raras, então eu pensei que talvez eu só tivesse má sorte. Mas então minha taxa da vitória permaneceu stuck em torno de 50. Os testes estatísticos simples disseram-me que este era improvável ser azar. Eu usei o tempo de pesquisa para derramar sobre o meu código de pesquisa e para compará-lo com trades ao vivo. O que eu encontrei foi que uma única linha de código (AHHHHHHHHHHHHHHH) estava incorretamente calculando o meu preço de entrada, dramaticamente exagerando os lucros. Quando o resultado real, correto olha como este com aquelas mesmas definições: O backtest exato de Pilum I8217ll seja honest8230 Eu gosto do backtest falho muito mais O novo, único-ajuste backtest isn8217t como bom, mas it8217s ainda trade-worthy. Existem algumas características que eu não gosto e características que eu amo. Let8217s cavar nesses. O que eu não gosto A freqüência dos comércios é muito baixa. Fora de 19 meses havia um total de 43 Facharbeit. 43 operações para compor um backtest em 40 instrumentos é um número muito pequeno. Se fosse para o padrão estatístico que suportava a freqüência, eu não consideraria o teste. Jedoch, há 20.000 barras cada um nos 44 instrumentos. Es gibt 880.000 barras totais usadas para analisar se o meu padrão Pilum oferece qualquer valor preditivo. As predições mais valiosas, jedoch, também são excepcionalmente raras. That8217s porque I8217m não é capaz de obter a freqüência de negociação mais elevada, o que potencialmente suavizar os retornos. O que eu amo Meus sistemas anteriores, como QB Pro e Dominari trocaram ativamente por vitórias relativamente pequenas. Os custos de negociação exerceram um impacto maciço no desempenho geral. O backtest preciso de Pilum Agora olhe novamente para a correta curva de equidade (a imagem para a direita). Você vê o lucro final de aproximadamente 0.14 That8217s um retorno 14 desalavancado sobre um Monatszeitraum 19. Alocação 2: 1 ou 3: 1 alavancagem sobre esta estratégia poderia rendimentos médios anuais de 15-25. Detectando o risco oculto Uma medida chave do risco é a skewness. Você não pode usar esse termo você mesmo, mas é algo que a maioria de vocês já entende. A maior reclamação sobre as pessoas que negociam Dominari foi que o vencedor médio em relação ao perdedor médio foi fortemente inclinado para os perdedores. Dominari vence na maioria dos meses, mas quando perdeu em dezembro foi devastador. Eu implementei o que eu pensei era um batente da carteira após as consequências do 9 de dezembro. Então eu tive uma perda menor, mas ainda muito dolorosa, em janeiro. O nível de carteira stop loss de 3 deve evitar futuros blowouts agora que eu sei o que vai mal. Eu ainda acredito em Dominari. Aber, eu obviamente perdi o trabalho da maior parte do ano devido a esses eventos. Sabendo que skewness é uma boa medida de risco de explosão (mesmo se você nunca viu em um backtest, como aconteceu com Dominari), Pilum parece extremamente encorajador. Este é um histograma de lucro e perda por dias. Você deve notar algumas coisas. A barra mais alta está à direita de 0. Isso significa que o resultado mais freqüente é ganhar. O maior dia vencedor é dramaticamente melhor do que o pior dia perdedor. O pior resultado foi uma perda de 2. O melhor resultado é ganhos perto de 10 einem einzigen Tag (desalavancado). Este é o perfil estatístico de uma ideia que é muito mais provável para agarrar uma avalanche de lucros do que é para ser soprado para fora. Ele fica ainda melhor Você diria que as curvas de capital azul e vermelho são altamente ou vagamente correlacionados Olhe atentamente. Escrever este post no blog me fez pensar cuidadosamente sobre a estratégia Pilum. Eu decidi que talvez eu deveria ver se todos os lucros vêm de diferentes configurações ao mesmo tempo. Há muito pouco risco de sobrecarregar os dados, pois minha estratégia só tem 1 grau de liberdade. As barras azuis são a curva de equidade da Configuração 1. As barras vermelhas são para a Configuração 2. Você acha que estas são estreitamente ou vagamente correlacionadas Se você disse vagamente correlacionado, então você está correto. Observe como cada curva de patrimônio mostra grandes saltos de lucro. Você notou como esses saltos de lucro ocorrem em dias diferentes A configuração azul dispara em um único dia em novembro de 2017. Ele deixa a curva de equidade vermelho sufocando em sua poeira. Dann aber, olha o que acontece como eu avançar em dezembro. A curva vermelha atrai dramaticamente até a curva azul e até mesmo ultrapassa. A correlação entre as duas estratégias é de apenas 57. Combine configurações múltiplas em 1 portfólio Esta é uma curva de patrimônio muito mais agradável correlações soltas são um presente. Combinar duas curvas acidentadas em uma única estratégia torna o desempenho muito, muito mais suave. As porcentagens de dias que são rentáveis ​​também aumentam. A definição 1 é rentável em 58,0 dias. A configuração 2 é rentável em 53,5 dias. Aber8230 combiná-los torna Pilum rentável em 68,2 dias. Prima Isso também fornece mais dados, o que me coloca em uma posição mais forte para analisar a skewness da estratégia. Veja os histogramas de freqüência abaixo. Eles são o mesmo tipo de histogramas que eu mostrei na primeira seção deste post do blog. Como você perceberá, eles parecem muito diferentes. O resultado mais provável para um dado dia é um pequeno vencedor A barra verde alta é o resultado de negociação mais provável para qualquer dia com ordens cheias. O dia médio é um retorno positivo de 0-1. A barra vermelha pequena é o pior dia de negociação da estratégia combinada. As pequenas barras verdes são os melhores dias de negociação da estratégia combinada. Olhe o quão longe à direita as barras verdes vão. O maior vencedor é mais do que 3x a maior perda. Und, há tantos vencedores mais grandes comparados aos perdedores. Os vencedores gigantes são muito mais prováveis ​​do que perdas comparáveis. Imediatamente empurrei Pilum em negociação ao vivo esta combinação de duas estratégias. Espero que adicionando um segundo grau de liberdade e executando cerca de 30 versões diferentes da estratégia 8211 todos com configurações diferentes 8211 irá adicionar ao desempenho e suavizar os retornos ainda mais. Dominari hasn8217t trabalhando em minha conta FXCM, o que é muito difícil de aceitar porque a falta de desempenho parece ser um problema de execução enterrado. Pilum, jedoch, comércios muito raramente. É improvável que a qualidade da execução faça uma diferença dramática nos resultados a longo prazo. Além disso, I8217m vai converter a conta FXCM para negociação Pilum exclusivamente. Isso será oferecido como uma estratégia para a Collective2 dentro das próximas semanas, uma empresa com a qual tenho trabalhado de perto. Seus usuários são mais investidores do que orientados para o comércio, muito mais propensos a ver baixa freqüência de negociação como uma coisa boa. Eu suspeito que a maioria de povos aqui têm uma opinião diferente e querem ver muita ação do mercado. Um dos maiores apelos das estratégias de negociação mecânica é que há um número infinito de parâmetros e indicadores que um desenvolvedor pode adicionar a qualquer sistema. O primeiro instinto de cada comerciante novo sistema é tentar melhorar um sistema básico, adicionando um outro componente para ele. Isso geralmente resulta em um sistema que parece melhor em backtesting, mas não executa bem avançando. Quase todos os comerciantes do sistema começar por projetar estratégias mais complicadas, apenas para descobrir que mais simples é geralmente melhor. Enquanto os comerciantes do sistema continuam experimentando com estratégias diferentes, muitos vêm apreciar que os sistemas over-complicated são mais prone ao viés curve-fitting. Estratégias mais simples podem parecer menos impressionantes em backtests, mas geralmente são opções mais robustas para o comércio avançar. Comparando System Trading To Cooking Os autores de GESTALTU publicou um post onde eles compararam o desenvolvimento do sistema de comércio para cozinhar. A semelhança que identificaram em ambos os campos é que mais ingredientes não necessariamente equivale a um melhor resultado geral. O artigo explica que a adição de mais ingredientes para uma receita provavelmente irá prejudicar a forma como os ingredientes originais trabalharam juntos. Em hnlicher Weise, adicionar mais indicadores a uma estratégia influenciará provavelmente como essa estratégia executa em determinados ambientes de mercado. O autor descreve uma estratégia que desenvolveu no início de sua carreira e que continha 37 parâmetros diferentes. Com isso muitas entradas diferentes, encontrar uma versão otimizada da estratégia tornou-se quase impossível. Zustzlich, qualquer backtesting resultados usando que muitas variáveis ​​são susceptíveis de ser expostos à curva-montagem viés. Limitando Graus de Liberdade No post de ontem, tocamos as diferentes maneiras que a ação de preço e os indicadores técnicos podem ser expostos à curva de ajuste. Em cada caso, a chave era limitar os graus de liberdade no sistema. O fato de que a ação de preço geralmente usou menos parâmetros do que os indicadores técnicos faz com que a ação de preço seja menos provável de ser exposta à curva de ajuste. Aplicando essa lógica de forma mais ampla, quanto mais parâmetros uma estratégia tem, mais provável é conter algum grau de ajuste de curva. Backtesting com múltiplos parâmetros Embora backtesting estratégias com grande número de parâmetros é certamente possível, é exponencialmente mais difícil. Aumentar o número de parâmetros exigirá um tamanho de amostra muito maior, a fim de produzir backtesting resultados que valem a pena. Como os resultados de backtesting de sistemas com mais graus de liberdade são mais propensos a ajustar a curva, podemos razoavelmente supor que os resultados de sistemas com menos parâmetros são mais sólidos. Daher, podemos ter mais confiança de que os sistemas de parâmetros mais baixos continuarão a produzir resultados similares em frente. Estratégia de negociação livre por estratégia de e-mailTrading graus de liberdade da1 Eu acho que você está enganado. Vamos discutir isso. O teste requer o número de regras e / ou restrições impostas pelo sistema ou método de negociação. O número de regras e / ou restrições é usado para calcular o número de graus de liberdade. Que é necessário para calcular o valor t para o teste t. É necessário haver um número suficiente de graus de liberdade para garantir que o sistema não seja excessivamente ajustado ou otimizado para o mercado. Over-fitting ou sobre-otimização significa que os parâmetros de sistemas de negociação foram selecionados para trabalhar em mercados específicos ou em condições de mercado limitado. É improvável que um sistema de negociação exagerado ou super-otimizado atinja bem em outros mercados ou quando as condições de mercado mudem. A maioria de peritos negociando concordam que os sistemas over-optimized devem ser evitados. O número de graus de liberdade é o número de negócios menos o número de restrições. Com muito poucos negócios, a rentabilidade do sistema ou método pode ser devido a um arranjo casual de comércios. Quanto mais negociações, maior o número de graus de liberdade e mais provável é que o lucro médio calculado não é um acaso estatístico, mas um número real que é susceptível de manter-se no futuro. Para contar o número de restrições, Thomas Hoffman (Babcock, Bruce, The Business One, Irwin Guide to Trading Systems, Richard D. Irwin, Inc., 1989) sugere examinar regras de sistemas de negociação e contar qualquer condição que Resultantes. Por exemplo, suponha que você tenha um sistema de negociação que compra quando fechar de hoje é menos do que ontem fechar em uma tendência ascendente. Define uma tendência ascendente como quando uma média móvel mais curta é maior do que uma média móvel mais longa. Para simplificar, suponha que o lado de venda é o inverso, e não há paradas. Seu um sistema simples do batente e do reverso. A condição de cross-over média móvel provavelmente seria contada como três restrições: uma para a condição em si, e uma para cada período de média móvel. O padrão de preços seria outra restrição para um total de quatro restrições para o lado longo. Haveria mais quatro para o lado curto para um total de oito restrições. Se houvesse apenas oito ofícios, por exemplo, não haveria graus de liberdade, e você não deveria ter confiança no número médio de negócios, mesmo que fosse muito alto. Por outro lado, se houvesse 100 negócios, haveria 92 graus de liberdade, o que deveria dar-lhe muito mais confiança no número médio de comércio. O teste t pode ser expresso como um intervalo de confiança para o comércio médio: onde CI é o intervalo de confiança em torno da média do comércio, t é a estatística Student t, SD é o desvio padrão dos comércios, N é o número de comércios, E sqrt representa a raiz quadrada. A estatística t depende do número de graus de liberdade e do nível de confiança. O intervalo de confiança significa que o comércio médio é susceptível de se situar entre T - CI e T CI. Para que o sistema seja rentável no nível de confiança especificado, o comércio médio, T. precisa ser maior que zero no limite inferior, T - CI i. E. Se esta condição for verdadeira no nível de confiança especificado, isso significa que o sistema ou método é intrinsecamente lucrativo sujeito às suposições do teste. Uma dessas suposições é que as propriedades estatísticas dos negócios permanecem as mesmas. Especificamente, se o comércio médio e seu desvio padrão permanecerem os mesmos no futuro, os resultados continuarão a ser válidos. Contudo, à medida que os mercados mudam e evoluem ao longo do tempo, as propriedades da distribuição estatística dos negócios também podem mudar, pelo que é necessário ter cautela na interpretação dos resultados. Definir graus de liberdade Estimativa da variância de uma amostra de 1 se a média da população é conhecida Estado por que os desvios da média da amostra não são independentes Especifique a fórmula geral para graus de liberdade em termos do número de valores e do número de parâmetros estimados Alguns As estimativas são baseadas em mais informações do que outras. Por exemplo, uma estimativa da variância baseada em um tamanho de amostra de 100 baseia-se em mais informações do que uma estimativa da variância baseada em um tamanho de amostra de 5. Os graus de liberdade (df) de uma estimativa é o número de peças independentes Informações em que se baseia a estimativa. Como exemplo, digamos que sabemos que a altura média dos marcianos é 6 e desejamos estimar a variância de suas alturas. Nós aleatoriamente amostra um marciano e descobrir que sua altura é 8. Lembre-se que a variância é definida como o desvio quadrático médio dos valores de sua média populacional. Podemos calcular o desvio quadrado do nosso valor de 8 da média populacional de 6 para encontrar um único desvio quadrado da média. Este único desvio quadrado da média, (8-6) 2 4, é uma estimativa do desvio quadrático médio para todos os marcianos. Portanto, com base nessa amostra de um, estimamos que a variância da população é 4. Esta estimativa é baseada em uma única informação e, portanto, tem 1 df. Se amostrássemos outro marciano e obtivéssemos uma altura de 5, poderíamos calcular uma segunda estimativa da variância, (5-6) 2 1. Poderíamos então fazer a média de nossas duas estimativas (4 e 1) para obter uma estimativa de 2,5. Uma vez que esta estimativa é baseada em duas informações independentes, tem dois graus de liberdade. As duas estimativas são independentes porque são baseadas em dois marcianos independentemente e aleatoriamente selecionados. As estimativas não seriam independentes se após a amostragem de um marciano, decidimos escolher seu irmão como nosso segundo marciano. Como você provavelmente está pensando, é bastante raro que nós sabemos a média da população quando estamos estimando a variância. Em vez disso, temos que primeiro estimar a média populacional (mu) com a média da amostra (M). O processo de estimar a média afeta nossos graus de liberdade como mostrado abaixo. Voltando ao nosso problema de estimar a variância nas alturas marcianas, vamos supor que não sabemos a média da população e, portanto, temos que estimá-la a partir da amostra. Nós amostrámos dois marcianos e descobrimos que suas alturas são 8 e 5. Portanto, M, nossa estimativa da média da população, é Agora podemos calcular duas estimativas de variância: Estimativa 1 (8-6,5) 2 2,25 Estimativa 2 (5-6,5 ) 2 2.25 Agora, para a questão-chave: estas duas estimativas são independentes? A resposta é não porque cada altura contribuiu para o cálculo de M. Desde a primeira altura marciana de 8 influenciou M, também influenciou a Estimativa 2. Se a primeira altura tivesse sido , Por exemplo, 10, então M teria sido 7,5 e Estimativa 2 teria sido (5-7,5) 2 6,25 em vez de 2,25. O ponto importante é que as duas estimativas não são independentes e, portanto, não temos dois graus de liberdade. Outra maneira de pensar sobre a não-independência é considerar que se você soubesse a média e uma das pontuações, você saberia a outra pontuação. Por exemplo, se uma pontuação é 5 ea média é 6,5, você pode calcular que o total das duas pontuações é 13 e, portanto, que a outra pontuação deve ser 13-5 8. Em geral, os graus de liberdade para uma estimativa é Igual ao número de valores menos o número de parâmetros estimados em rota para a estimativa em questão. No exemplo marciano, existem dois valores (8 e 5) e tivemos que estimar um parâmetro (mu) no caminho para estimar o parâmetro de interesse (sigma 2). Portanto, a estimativa de variância tem 2 - 1 1 grau de liberdade. Se tivéssemos amostrado 12 marcianos, então nossa estimativa de variância teria 11 graus de liberdade. Portanto, os graus de liberdade de uma estimativa de variância são iguais a N - 1, onde N é o número de observações. Lembre-se da seção sobre variabilidade que a fórmula para estimar a variância em uma amostra é: O denominador dessa fórmula é os graus de liberdade. Por favor, responda às perguntas: Rumo a um paladar mais simples O meu paladar é mais simples do que costumava ser. Um jovem chef acrescenta e acrescenta e acrescenta ao prato. À medida que você envelhece, você começa a tirar. Jacques Pepin, famoso chef francês A série de artigos atuais lida com o conceito de decadência de desempenho, que ocorre quando o desempenho de uma estratégia de negociação sistemática é materialmente pior na aplicação do que apareceu durante o teste. Tratámos do conceito de arbitragem no nosso último post, desenhando um paralelo com o fenómeno da descoberta múltipla na ciência. Essencialmente, nós a hipótese de que muitos desenvolvedores de desenho de um corpo semelhante de investigação irá tropeçar em aplicações semelhantes, aproximadamente ao mesmo tempo. Como esses investidores competem para colher anomalias idênticas ou similares, cada investidor irá colher uma parcela menor do alfa disponível. Também abordamos as razões pelas quais estamos confiantes de que as estratégias de alocação ativa de ativos ativas provavelmente preservarão seu forte perfil de retorno ajustado ao risco para o futuro previsível. Lembre-se de que uma variedade de impedimentos estruturais impedem que os interesses contemporâneos de grandes capitais como pensões, doações e outras grandes instituições explorem esta oportunidade de arbitragem. Na raiz, essas grandes reservas de capital são limitadas pelo grupo-pensar, estrutura corporativa e procedimentos de governança lento. Essas restrições impedem que eles migrem seu foco de fontes tradicionais de alfa (isto é, seleção de segurança) para fontes táticas. Este post começa a nossa exploração do conceito de graus de liberdade no desenvolvimento do sistema. O termo graus de liberdade tem significados ligeiramente diferentes dependendo se o contexto é estatística formal ou sistemas mecânicos. Embora a concepção do sistema de Investimento muitas vezes desenha a partir de ambos os contextos, para o propósito desta série, nos distanciaremos muito mais do segundo. Essencialmente, o número de graus de liberdade em um sistema refere-se ao número de parâmetros independentes no sistema que podem afetar os resultados. Quando eu primeiro descobriu o investimento sistemático, minha intuição foi encontrar tantas maneiras de medir e filtrar séries de tempo como poderia caber em uma planilha do Excel. Eu era como um menino que tinha provado um bouillabaisse inspirado pela primeira vez, e só tive que tentar replicar-me. Mas, em vez de explorar a infinita nuance da cozinha francesa, acabei de jogar todas as ervas francesas concebíveis no pote ao mesmo tempo. Um dos meus primeiros projetos não tinha menos de 37 classificadores, incluindo filtros relacionados a regressões, médias móveis, impulso bruto, indicadores técnicos como RSI e estocástica, bem como tendência mais chique e filtros de reversão de média como TSI, DVI, DVO, E uma série de outros três e quatro siglas de carta. Cada indicador foi finamente sintonizado com valores ótimos, a fim de maximizar os retornos históricos, e esses valores mudaram conforme eu otimizado contra diferentes títulos. Em um ponto eu projetei um sistema para negociar IWM com um retorno histórico acima de 50 e uma relação de Sharpe sobre 4. Estes são os tipos de sistemas que executam incrivelmente bem em retrospecto e explodem então na produção, e aquele é exatamente o que aconteceu. Meu parceiro aplicou o sistema IWM para tempo EU estoques por algumas semanas, e perdeu 25. Dezenas de horas e semanas de noites no computador para baixo o dreno. O problema com sistemas complicados com muitas partes móveis é que eles exigem que você encontre o ponto exato perfeito de otimização em muitas dimensões diferentes no meu caso, 37. Para entender o que quero dizer com isso, imagine tentando criar um prato saboroso com 37 diferentes Ingredientes. Como você poderia encontrar a combinação perfeita Um pouco mais de sal pode trazer o sabor do alecrim, mas pode dominar o óleo de trufas. O que fazer Adicione mais sal e mais óleo de trufa Mas mais óleo de trufa não pode complementar a terrosidade das chanterelles. Você vê que não é suficiente para simplesmente encontrar o melhor local para cada classificador individualmente, mais do que você pode decidir sobre a quantidade ideal de qualquer ingrediente em um prato sem considerar o seu impacto sobre os outros ingredientes. Isso ocorre porque, na maioria dos casos, o sinal de um classificador interage com outros classificadores de maneiras não-lineares. Por exemplo, se você opera com dois filtros em combinação, digamos uma cruz de média móvel e um oscilador você não está mais preocupado com o comprimento ideal da média móvel ou os períodos de retorno para o oscilador independentemente, em vez disso, você deve examinar os resultados Do oscilador durante os períodos em que o preço está acima da média móvel e novamente quando o preço está abaixo da média móvel. Você pode achar que o oscilador se comporta de forma bastante diferente quando o filtro de média móvel está em um estado do que em outro estado. Para dar uma idéia do escopo deste desafio, considere uma simplificação em que cada classificador tem apenas 12 configurações possíveis, digamos um intervalo de lookback de 1 a 12 meses. 37 classificadores com 12 opções possíveis por classificador representa 6,6 x 1018 permutações possíveis. Embora uma permutação de quintilhão possa não parecer uma simplificação, considero que muitos dos classificadores no meu sistema IWM de 37 dimensões tinham dois ou três parâmetros próprios (lookback curto, lookback longo, pontuação z, valor p, etc.) e cada um Desses parâmetros também foi otimizado. Não importa encontrar uma agulha em um palheiro, isso é como encontrar um grão de areia particular na praia. Há um outro problema também: cada vez que você divide o sistema em dois ou mais estados que você define o número de observações em cada estado. Para ilustrar, imagine se cada um dos 37 classificadores em meu sistema IWM tivesse apenas 2 estados longos ou em dinheiro. Então haveria 237 137 bilhões de estados possíveis do sistema. Lembre-se que a significância estatística depende do número de observações, reduzindo assim o número de observações por estado do sistema reduz a significância estatística dos resultados observados para cada estado, e também para o sistema em agregado. Por exemplo, pegue um sistema comercial diário com 20 anos de história de testes. Se você dividir um período de 20 anos (5000 dias) em 137 bilhões de estados possíveis, cada estado terá em média apenas 5000137 bilhões0.00000004 observações por estado Claramente 20 anos de história não é suficiente para ter qualquer confiança neste sistema você precisaria de um teste Período de mais de 3 milhões de anos para obter significância estatística. Como regra geral, quanto mais graus de liberdade tiver seu modelo, maior será o tamanho da amostra que é necessário para provar significância estatística. O inverso também é verdadeiro: dado o mesmo tamanho da amostra, é provável que um modelo com menos graus de liberdade tenha maior significância estatística. No mundo do investimento, se você estiver olhando para os resultados back-tested de dois modelos de investimento com desempenho semelhante, você geralmente deve ter mais confiança no modelo com menos graus de liberdade. No mínimo, podemos dizer que os resultados desse modelo teriam maior significância estatística e maior probabilidade de produzir resultados que sejam consistentes com o que foi observado na simulação. Quantas tigelas de bouillabaisse você teria que provar para ter certeza de que encontrou a combinação perfeita de ingredientes? Por isso, a otimização, como cozinhar, deve ser conduzida de forma integrada que responde por todas as dimensões do problema de uma só vez. E esta é a força motriz por trás da estranha realidade que muitas vezes no mundo do investimento, como com cozinhar, os novatos procuram complexidade, enquanto os veteranos procuram a simplicidade. Isso é contra-intuitivo, mesmo para os profissionais de investimento, razão pela qual o projeto do sistema tem uma estranha curva de aprendizado onde a tendência é mover-se muito rapidamente longe da abordagem simples que introduziu-lhe a negociação sistemática em primeiro lugar (no nosso caso Fabers trabalhar com The Chartist E Dorsey Wright) para projetos extremamente complexos, cada um com um ajuste ótimo muito preciso. Eventualmente, você reconhece a loucura dessa busca, e trabalha para trás em direção à coerência e simplicidade. Claro, simples doesnt significa fácil, mais do que um novato pode seguir uma receita simples para recriar uma obra-prima culinária. Como você vai descobrir, simplicidade pensativa pode ser enganosamente complexa. Vamos dar-lhe um exemplo disso no nosso próximo artigo. Por enquanto, passe o sal e a pimenta. Escrito por GestaltU na quarta-feira, 5 de fevereiro de 2017 às 5:30 am. Esboço antecipado sujeito a alterações. Uma das perguntas que um instrutor teme mais de uma audiência matematicamente sofisticada é, o que exatamente é graus de liberdade não é que theres nenhuma resposta. A resposta matemática é uma única frase, O grau de uma forma quadrática. O problema é traduzir isso para uma audiência cujo conhecimento de matemática não se estende além da matemática do ensino médio. Uma coisa é dizer que graus de liberdade é um índice e descrever como calculá-lo para certas situações, mas nenhuma dessas informações diz o que significa graus de liberdade. Como alternativa ao grau de uma forma quadrática, sempre gostei do artigo de Jack Goods, no American Statistician, no qual ele grava os graus de liberdade à diferença das dimensões dos espaços dos parâmetros. No entanto, esta é uma resposta parcial. Ele explica que graus de liberdade é para muitos testes de qui-quadrado e os graus de liberdade de numerador para os testes F, mas não faz tão bem com t testes ou o denominador graus de liberdade para testes F. No momento, estou inclinado a definir graus de liberdade como uma maneira de manter pontuação. Um conjunto de dados contém um número de observações, digamos, n. Eles constituem n informações individuais. Essas informações podem ser usadas para estimar parâmetros ou variabilidade. Em geral, cada item a ser estimado custa um grau de liberdade. Os restantes graus de liberdade são usados ​​para estimar a variabilidade. Tudo o que temos a fazer é contar corretamente. Uma única amostra: Existem n observações. Há um parâmetro (a média) que precisa ser estimado. Isso deixa n-1 graus de liberdade para estimar a variabilidade. Duas amostras: Há n 1 n 2 observações. Há dois meios a serem estimados. Isso deixa n 1 n 2 -2 graus de liberdade para estimar a variabilidade. ANOVA unidirecional com grupos g: Existem observações n 1 ..n g. Existem g meios a serem estimados. Isso deixa n 1 ..n g - g graus de liberdade para estimar a variabilidade. Isso explica os graus de liberdade do denominador para a estatística F. A hipótese nula primária que está sendo testada pela ANOVA unidirecional é que os meios da população g são iguais. A hipótese nula é que existe uma única média. A hipótese alternativa é que existem g meios individuais. Portanto, existem g-1 - isto é g (H 1) menos 1 (H 0) - graus de liberdade para testar a hipótese nula. Isso explica os graus de liberdade do numerador para a relação F. Existe uma outra maneira de ver os graus de liberdade do numerador para a relação F. The null hypothesis says there is no variability in the g population means. There are g sample means. Therefore, there are g-1 degrees of freedom for assessing variability among the g means. Multiple regression with p predictors: There are n observations with p1 parameters to be estimated--one regression coeffient for each of the predictors plus the intercept. This leaves n-p-1 degrees of freedom for error, which accounts for the error degrees of freedom in the ANOVA table. The null hypothesis tested in the ANOVA table is that all of coefficients of the predictors are 0. The null hypothesis is that there are no coefficients to be estimated. The alternative hypothesis is that there are p coefficients to be estimated. herefore, there are p-0 or p degrees of freedom for testing the null hypothesis. This accounts for the Regression degrees of freedom in the ANOVA table. There is another way of viewing the Regression degrees of freedom. The null hypothesis says the expected response is the same for all values of the predictors. Therefore there is one parameter to estimate--the common response. The alternative hypothesis specifies a model with p1 parameters-- p regression coefficients plus an intercept. Therefore, there are p --that is p1 (H 1 ) minus 1 (H 0 )--regression degrees of freedom for testing the null hypothesis. Okay, so wheres the quadratic form Lets look at the variance of a single sample. If y is an n by 1 vector of observations, then The number of degrees of freedom is equal to the rank of the n by n matrix M. which is n-1. back to The Little Handbook of Statistical Practice Walk Forward Analysis: Degrees of Freedom, Adaptability and Survivability A few days ago I wrote a post about the inherent problems of walk forward analysis (WFA) and why this technique 8211 in itself 8211 does not constitute a holy grail for automated trading. Since this post I have done deeper research into the matter and 8211 by comparing results for several systems 8211 I have been able to find interesting relationships between the number of degrees of freedom and the survivability in walk forward analysis (using simple selection algorithms). Within this post I will expand on this topic, attempting to explain why systems that are given more freedom are able to exercise a better ability to adapt and why this ability causes fundamental problems that lead to unprofitable walk forward analysis. I will also go into why this tells us something fundamental about the inability of systems to evolve towards unknown market conditions and how we may possibly deal with this. As I went deeper into the area of walk forward analysis, it soon became clear that systems with successful WFA results have some very clear characteristics in common. The first obvious relationship between them was a very simple trading strategy setup, a higher trading frequency and a low number of possible parameter selections. Upon a closer analysis of the results it became clear that these systems were not changing dramatically over the course of the WFA but they were simply having small changes across a wide variety of market conditions. A closer look also revealed that the systems that give profitable WFA results tend to work only on pairs for which the inefficiency they trade seems to be practically ever-present, only failing under very specific market conditions and for short periods of time. The above is important because it spoke to me about a general lack of adaptability. What we have here are systems that trade in a very fixed way 8211 like a volatility breakout strategy does for example 8211 and the ability to survive the WFA comes from the fact that the efficiency exploited by the system changes little across the instrument it is trading. For example volatility breakout systems will find very profitable results in symbols like the EURUSD but they will fail bluntly on symbols where this inefficiency is not ever-present. such as the USDJPY. More clearly, these systems will be unable to fend periods when the market has changed, for example in the case of the GBPUSD after 2009, where the market changed to make volatility breakouts almost obsolete. Although WFA may show reduced drawdown such periods, it does become clear that the drawdown in itself is unavoidable and if lasted long enough it would potentially destroy the account. If a good ability to adapt was present, the drawdown would have been easily avoided at least after the first part of the drawdown period made changing market conditions evident. A system that adapts to changing market conditions should easily avoid drawdown periods longer than a few WFA window lengths, especially if there is a complete and dramatic market change. In my view, it would be foolish to believe that such systems are truly adapting, because they never need to adapt to a dramatic change that removes the inefficiency they trade from the market and when they have to, they fail . However this poses a big question which is how we can give a system a larger ability to adapt in order to see if it can truly tackle dramatic changes in market conditions. At this point I decided to try systems with larger degrees of freedom, especially those systems that could generate dramatic adaptations to changes in market behaviour. The most obvious initial test is to try a system that can 8220switch8221 the way in which it trades in a very dramatic manner a breakout strategy that can either fade or trade breakouts. The results of this experiment were very interesting because they showed that under competing opposite market strategies there are optimization periods where both can give profitable results but only one gives profitable results in the subsequent walk forward trading period. However there were also times when one of the two system switches was dominant, achieving profitable trading through several different periods at a time, only failing when the other strategy started to become dominant. In essence what we have when we introduce freedom that allows for a completely different trading logic to enter the picture is a system that is 8220split8221 in duality between what it can achieve through both trading techniques. Such a system has enough freedom to adapt to two opposing inefficiencies and it only fails when the ground is neutral between the two (as the result is equivalent to a guess since none of the two techniques is dominant). Perhaps the most dramatic effect is that the trading logic in fact changes in periods where you would expect it to, as the breakout inefficiency becomes less effective, the fadeout inefficiency becomes more predominant and the system starts to trade in a completely opposing manner. This is alike what traders generally call the 8220switch8221 a flip between two opposing market views that happens under changing market conditions. Clearly you have losing periods while this happens 8211 while the change takes place 8211 but if the change is long lasting you actually get a few periods of very good profitability. Obviously if the change is short lasting you hesitate between the two logics and you end up with drawdown accumulated on either case. The market is very efficient in this case because it fails to imitate its past behaviour. The above is only the beginning of the story but it does show that walk forward analysis success only seems to make sense when you give your system enough freedom to completely change the way in which it8217s trading. Using WFA to adapt a system that is 8220stuck8221 in a box is not a good idea because you8217re fooling yourself into thinking you have a true ability to adapt to market changes when you are simply observing a positive effect because the inefficiency you want to trade is practically constant under the pair you8217re analysing. By giving your system the ability to tap into logic that trades in a naturally opposing manner you ensure that you give your system the 8220ultimate choice8221 regarding the way in which it should be trading. Granted, the above is not easy to achieve and you will see that WFA fails bluntly under many different conditions when you increase degrees of freedom. However, profitable WFA is indeed possible for systems with very complex makeups (even genetic frameworks) but we will get into this topic on future posts. If you would like to learn more about trading systems and how you can learn to trade and analyse them please consider joining Asirikuy. a website filled with educational videos, trading systems, development and a sound, honest and transparent approach towards automated trading in general. I hope you enjoyed this article. o)